HSI Classification Based on Multimodal CNN and Shadow Enhance by DSR Spatial-Spectral Fusion

Abstract

Dynamic stochastic resonance (DSR) has been proved to be able to enhance the shadow region of HSIs. However, DSR can only be used for the enhancement on the spatial or spectral dimensions respectively, which destroy the correlation and integrality of HSI. Therefore, in this paper, to maintain the 3D characteristic of HSI, the spatial and spectral enhanced HSI has been fused. Furthermore, to make full use of two-modal information of HSI, a multimodal convolutional neural net-work (${\mathit{CNN}}_{MM}$) has been proposed for classification. In ${\mathit{CNN}}_{MM},$ both 2D spatial modal and 3D tensor information can be integrated to improve the classification. Firstly, the shadow areas of HSI could be enhanced by DSR from spatial and spectral dimensions to get spatial enhanced HIS $R_{\mathit{spa}}$ and spectral enhanced HSI $R_{\mathit{spe}}$ respectively. Secondly, the enhanced HIS $R_{fu}$ can be obtained by fuzing $R_{\mathit{spa}}$ and $R_{\mathit{spe}}$ in different proportions. Finally, $R_{fu}$ can be classified by ${\mathit{CNN}}_{MM}.$ Two scenes containing shadow areas of a real-world HSI have been used in the experiment to evaluate the performance of the proposed ${\mathit{DSR}}_{fu}-{\mathit{CNN}}_{MM}$ method. The results have shown that the proposed method has a promising prospect in the classification of HSI with shadow.

RÉSUMÉ

La résonance stochastique dynamique (DSR) s’est avérée capable d’améliorer les régions dans l’ombre des images hyperspectrales (HSI). Cependant, la DSR ne peut être utilisée que pour rehausser la dimension spatiale ou la dimension spectrale, ce qui détruit la corrélation et l’intégralité des HSI. Par conséquent, dans cet article, pour maintenir la caractéristique 3D des HSI, les images hyperspectrales rehaussées spatialement et spectralement ont été fusionnées. En outre, pour tirer pleinement usage des informations bimodales des HSI, un réseau neuronal convolutif et multimodal (${\mathit{CNN}}_{MM}$) a été proposé pour la classification. Dans (${\mathit{CNN}}_{MM}$), les informations spatiales modales 2D et tenseurs 3D peuvent être intégrées pour améliorer la classification. Tout d’abord, les zones d’ombre des HSI sont améliorées par DSR à partir de leur dimension spatiale et spectrale pour obtenir une image spatialement rehaussée (HIS $R_{\mathit{spa}})\mathrm{ }$ et une image spectrale améliorée (HSI${\mathrm{ }R}_{\mathit{spe}}).$ Deuxièmement, l’image améliorée HIS $R_{fu}\mathrm{ }$ peut être obtenue en fusionnant $R_{\mathit{spa}}$ and $R_{\mathit{spe}}$ dans des proportions différentes. Enfin, ${\mathrm{HIS}\mathrm{ }R}_{fu}\mathrm{ }$ peut être classée par (${\mathit{CNN}}_{MM}$). Deux scènes HSI réelles contenant des zones d’ombre ont été utilisées pour évaluer la performance de la méthode ${\mathit{DSR}}_{fu}-{\mathit{CNN}}_{MM}$ proposée. Les résultats ont montré que la méthode proposée a un potentiel prometteur dans la classification de HSI avec de l’ombre.