Large-Scale LoD2 Building Modeling using Deep Multimodal Feature Fusion

Abstract

In today’s rapidly urbanizing world, accurate 3D city models are crucial for sustainable urban management. The existing technology for 3D city modeling still relies on an extensive amount of manual work and the provided solutions may vary depending on the urban structure of different places. According to the CityGML3 standard of 3D city modeling, in LoD2, the roof structures need to be modeled which is a challenging task due to the complexity and diversity of roof types. While high-resolution images can be utilized to classify roof types, they have difficulties in areas with poor contrast or shadows. This study proposes a deep learning approach that combines RGB optical and height information of buildings to improve the accuracy of roof type classification and automatically generate a 3D city model. The proposed methodology is divided into two phases: (1) classifying roof types into the nine most popular roof types in New Brunswick, Canada, using a multimodal feature fusion network, and (2) generating a large-scale LoD2 3D city model using a model-driven approach. The evaluation results show an overall accuracy of 97.58% and a Kappa coefficient of 0.9705 for the classification phase and an RMSE of 1.03 (m) for the 3D modeling.

Résumé

Dans le monde d’aujourd’hui qui s’urbanise rapidement, des modèles de ville 3D précis sont cruciaux pour une gestion urbaine durable. La technologie existante pour la modélisation 3D de la ville repose encore sur une grande quantité de travail manuel et les solutions fournies peuvent varier en fonction de la structure urbaine des différents lieux. Selon la norme CityGML3 de modélisation 3D de la ville, dans LoD2, les structures de toit doivent être Split it as modélisées, ce qui est une tâche difficile en raison de la complexité et de la diversité des types de toitures. Bien que les images haute résolution puissent être utilisées pour classer les types de toitures, elles ont des difficultés dans les zones à faible contraste ou ombragées. Cette étude propose une approche d’apprentissage en profondeur qui combine les informations RVB optiques et de hauteur des bâtiments pour améliorer la précision de la classification des types de toitures et générer automatiquement un modèle de ville 3D. La méthodologie proposée est divisée en deux phases: (1) classer les types de toitures pour les neuf types les plus populaires au Nouveau-Brunswick, Canada, à l’aide d’un réseau de fusion d’entités multimodales, et (2) générer un modèle de ville 3D LoD2 à grande échelle à l’aide d’une approche basée sur la modélisation. Les résultats de l’évaluation montrent une précision globale de 97,58% et un coefficient Kappa de 0,9705 pour la phase de classification et un RMSE de 1,03 (m) pour la modélisation 3D.

Acknowledgment

This project is partially funded by NBIF-POSS (Priority Occupation Student Support) and NSERC-Discovery grant. The authors would like to thank the funding agencies for their support. Authors would like to thank GeoNB, a government subsidiary for geospatial information, and Municipalities for providing airborne images, LiDAR point cloud data and ESRI. The deep learning framework was developed using PyTorch and implemented over Google Collaboratory. The authors also thank these organizations for providing such a valuable platform.