A Multi-Feature Fusion Using Deep Transfer Learning for Earthquake Building Damage Detection

Abstract

With the recent tremendous improvements in the spatial, spectral, and temporal resolutions of remote sensing imaging systems, there has been a dramatic increase in their applications. Amongst different applications of very high-resolution remote sensing images, damage detection for rapid emergency response is one of the most challenging ones. Recently, deep learning frameworks have enhanced the performance of earthquake damage detection by automatic extraction of strong deep features. However, most of the existing studies in this area focus on using nadir satellite images or orthophotos which limits the available data sources. The objective of this study is to present a multi-modal integrated structure to combine orthophoto and off-nadir images for earthquake building damage detection. In this context, a multi-feature fusion method based on deep transfer learning is presented, which contains four different steps, namely pre-processing, deep feature extraction, deep feature fusion, and transfer learning. To validate the presented framework, two comparative experiments are conducted on the 2010 Haiti earthquake, using pre- and post-event off-nadir satellite images, which were collected by WorldView-2 (WV-2) satellite platform as well as a post-event airborne orthophoto. The results demonstrate considerable advantages in identifying damaged and non-damaged buildings with over 83% for the overall accuracy.

RÉSUMÉ

Avec les nombreuses améliorations récentes dans les résolutions spatiales, spectrales, et temporelles des systèmes d’imagerie de télédétection, il y a eu une augmentation significative de leurs applications. Parmi les diverses applications d’images de télédétection à très haute résolution, la détection des dommages pour une intervention d’urgence rapide est l’une des plus difficiles. Récemment, les approches d’apprentissage profond ont amélioré les performances de détection des dommages causés par les tremblements de terre par l’extraction automatique de caractéristiques significatives. Toutefois, la plupart des études existantes dans ce domaine se concentrent sur l’utilisation d’images satellites au nadir ou d’orthophotos qui limitent les sources de données disponibles. Dans ce contexte, une méthode de fusion multifonctionnelle basée sur l’apprentissage par transfert profond est présentée. Elle comporte quatre étapes, à savoir le prétraitement, l’extraction de fonctionnalités profondes, la fusion des entités profondes et l’apprentissage par transfert. Pour valider l’approche présentée, deux expériences comparatives ont été menées sur le tremblement de terre de 2010 en Haïti; l’une, à l’aide d’images satellites hors nadir acquises avant et après l’événement et recueillies par la plate-forme satellite WorldView-2 (WV-2), l’autre, au moyen d’une orthophoto aéroportée post-événement. Les résultats démontrent des avantages considérables dans l’identification des bâtiments endommagés et non endommagés avec une précision globale de plus de 83%,

Acknowledgments

This research has been funded by Mitacs and 3D Planeta Inc. The pre- and post-event off-nadir satellite images were provided by the DigitalGlobe Foundation. LiDAR data were acquired by the Centre for Imaging Science at Rochester Institute of Technology (RIT) and Kucera International under sub-contract to ImageCat, Inc., and funded by the Global Facility for Disaster Recovery and Recovery (GFDRR) hosted at the World Bank. The authors acknowledge the contribution of the aforementioned organizations for their generous financial support or for providing the study datasets.

Disclosure statement

No potential conflict of interest was reported by the author(s).