Multi-Scale Dense Graph Attention Network for Hyperspectral Classification

Abstract

In recent years, numerous deep learning-based methods have gained increasing attention in hyperspectral classification, particularly the Graph Neural Network, which exhibits superior capabilities in structural description. However, a single graph structure is not suitable for hyperspectral feature representation. Therefore, we propose a novel Multiple-Scale graph network structure, known as the Multi-Scale Dense Graph Attention network for hyperspectral classification. Firstly, semi-supervised local Fisher discriminant analysis and superpixel segmentation were employed for dimensionality reduction and multi-scale graph construction, respectively. Secondly, Spectral-Spatial convolution is applied to extract shallow features from the image. Subsequently, an improved graph self-attention network is sequentially applied to each scale graph, and the different scale graphs are densely connected through spatial feature alignment modules, designed using twice matrix multiplication. Finally, the combined pixel-level feature map from multiple graph spaces is derived, and Spectral-Spatial convolution is employed to fuse the abundant feature maps for hyperspectral classification. Experimental results on various hyperspectral datasets demonstrate the superiority of our MSDesGATnet over many state-of-the-art methods. The code is available at https://github.com/l7170/MSDesGAT.git.

RÉSUMÉ

Ces dernières années, de nombreuses méthodes basées sur l’apprentissage profond ont suscité une attention croissante dans la classification hyperspectrale, en particulier le réseau neuronal graphique, qui présente des capacités supérieures en termes de description structurelle. Cependant, une seule structure de graphe n’est pas adaptée à la représentation des caractéristiques hyperspectrales. C’est pourquoi nous proposons une nouvelle structure de réseau graphique à plusieurs échelles, connue sous le nom de réseau d’attention graphique dense à plusieurs échelles pour la classification hyperspectrale. Tout d’abord, une analyze discriminante de Fisher locale semi-supervisée et une segmentation de superpixel ont été utilisées respectivement pour la réduction de la dimensionnalité et la construction de graphes à plusieurs échelles. Ensuite, une convolution spectrale-spatiale est appliquée pour extraire des caractéristiques de niveau supérieur à partir de l’image. Par la suite, un réseau d’attention graphique amélioré est appliqué séquentiellement à chaque graphe à différentes échelles, et les graphes à différentes échelles sont connectés de manière dense grâce à des modules d’alignement des caractéristiques spatiales, conçus à l’aide de deux multiplications matricielles. Enfin, la carte des caractéristiques combinées au niveau des pixels à partir de plusieurs espaces de graphe est obtenue, et une convolution spectrale-spatiale est utilisée pour fusionner les nombreuses cartes de caractéristiques pour la classification hyperspectrale. Les résultats expérimentaux sur divers ensembles de données hyperspectrales démontrent la supériorité de notre réseau MSDesGAT par rapport à de nombreuses méthodes de pointe. Le code est disponible sur https://github.com/l7170/MSDesGAT.git.

Additional information

Funding

This work was supported by the National Natural Science Foundation of China (61901471, 61421001), the Project of Construction and Support for high-level Innovative Teams of Beijing Municipal Institutions (BPHR20220123), College Students’ Innovative Entrepreneurial Training Plan Program of China (202211232031) and Beijing Natural Science Foundation (4214072).