Abstract
Dynamic stochastic resonance (DSR) has been proved to be able to enhance the shadow region of HSIs. However, DSR can only be used for the enhancement on the spatial or spectral dimensions respectively, which destroy the correlation and integrality of HSI. Therefore, in this paper, to maintain the 3D characteristic of HSI, the spatial and spectral enhanced HSI has been fused. Furthermore, to make full use of two-modal information of HSI, a multimodal convolutional neural net-work () has been proposed for classification. In both 2D spatial modal and 3D tensor information can be integrated to improve the classification. Firstly, the shadow areas of HSI could be enhanced by DSR from spatial and spectral dimensions to get spatial enhanced HIS and spectral enhanced HSI respectively. Secondly, the enhanced HIS can be obtained by fuzing and in different proportions. Finally, can be classified by Two scenes containing shadow areas of a real-world HSI have been used in the experiment to evaluate the performance of the proposed method. The results have shown that the proposed method has a promising prospect in the classification of HSI with shadow.
RÉSUMÉ
La résonance stochastique dynamique (DSR) s’est avérée capable d’améliorer les régions dans l’ombre des images hyperspectrales (HSI). Cependant, la DSR ne peut être utilisée que pour rehausser la dimension spatiale ou la dimension spectrale, ce qui détruit la corrélation et l’intégralité des HSI. Par conséquent, dans cet article, pour maintenir la caractéristique 3D des HSI, les images hyperspectrales rehaussées spatialement et spectralement ont été fusionnées. En outre, pour tirer pleinement usage des informations bimodales des HSI, un réseau neuronal convolutif et multimodal () a été proposé pour la classification. Dans (), les informations spatiales modales 2D et tenseurs 3D peuvent être intégrées pour améliorer la classification. Tout d’abord, les zones d’ombre des HSI sont améliorées par DSR à partir de leur dimension spatiale et spectrale pour obtenir une image spatialement rehaussée (HIS et une image spectrale améliorée (HSI Deuxièmement, l’image améliorée HIS peut être obtenue en fusionnant and dans des proportions différentes. Enfin, peut être classée par (). Deux scènes HSI réelles contenant des zones d’ombre ont été utilisées pour évaluer la performance de la méthode proposée. Les résultats ont montré que la méthode proposée a un potentiel prometteur dans la classification de HSI avec de l’ombre.