Spectral Spatial Neighborhood Attention Transformer for Hyperspectral Image Classification

Abstract

Hyperspectral image (HSI) can provide rich spectral information, which can be helpful for accurate classification in many applications. However, the hyperspectral image classification task has challenges, including limited labeled data, data redundancy, data sparsity, and imbalanced class samples. Over time, various methods have been proposed to solve the above-mentioned problems. To mitigate the issue mentioned above in this paper, we present the neighborhood attention transformer with a channel-wise shift technique for hyperspectral image classification. The neighborhood attention transformer leverages the power of the attention mechanism to capture the spatial relationship between neighboring pixels and extract discriminative features. The channel-wise shift techniques empower the model to adjust the spectral characteristics of each channel adaptively, enhancing its ability to handle the spectral variations present in hyperspectral data. To validate the effectiveness of the proposed model, we conduct comprehensive experiments on the publically available dataset. The results demonstrate that our model consistently outperforms other state-of-the-art methods. The overall accuracy of the proposed model reached $99.41\%,$ $99.93\%,$ $98.35\%$ $99.59\%$ four datasets.

Résumé

L’image hyperspectrale (HSI) peut fournir des informations spectrales riches, ce qui peut être utile pour une classification précise dans de nombreuses applications. Cependant, la classification d’images hyperspectrales présente des défis, notamment en ce qui concerne le nombre limité des données étiquetées, la redondance des données, une rareté des données et un déséquilibre dans le nombre d’échantillons par classe. Au fil du temps, diverses méthodes ont été proposées pour résoudre les problèmes susmentionnés. Dans cet article, nous présentons le transformateur d’attention de voisinage avec une technique de décalage par canal pour la classification d’images hyperspectrales. Le transformateur d’attention de voisinage tire parti de la puissance du mécanisme d’attention pour capturer la relation spatiale entre les pixels voisins et extraire des entités discriminantes. Les techniques de décalage par canal permettent au modèle d’ajuster les caractéristiques spectrales de chaque canal de manière adaptative, améliorant ainsi sa capacité à gérer les variations spectrales présentes dans les données hyperspectrales. Pour valider l’efficacité du modèle proposé, nous avons mené des expériences exhaustives sur l’ensemble de données accessible au public. Les résultats montrent que notre modèle surpasse constamment les autres méthodes de la litératire. La précision globale du modèle proposé a atteint $99.41\%,$ $99.93\%,$ $98.35\%$ $99.59\%$ dans le cas de quatre ensembles de données.

Keywords:

• Attention Module
• Convolutional Neural Network
• Hyperspectral image Classification
• Vision Transformer

Acknowledgments

The author would like to thank potential supervisors, editors, and reviewers for their advice and comments.

Disclosure Statement

The author reported no conflict of interest.

Data Availability Statement

The data use for this research available on http://www.ehu.eus/ccwintco/index.php?title = Hyperspectral_Remote_Sensing_Scenes

Additional information

Funding

The work was supported by National Natural science foundation of china under Grant 62271171.