Pix2Pix Network to Estimate Agricultural Near Infrared Images from RGB Data

Abstract

Remote sensing has been applied to agriculture, making it possible to acquire a large amount of data far away from crops, providing information for decision making by producers that can impact production costs and crops quality. One way of getting the production information is through vegetation indices, arithmetic operations that use spectral bands, especially the Near Infrared (NIR). However, sensors that capture this spectral information are very expensive for small producers to afford it. In a previous article, a pixel-to-pixel image synthesis model to estimate NIR images from RGB data using hyperspectral endmembers (pure hyperspectral signatures) was described. In this work, an image-to-image synthesis model, known as Pix2Pix, is used for estimating NIR images from low-cost RGB camera images. Pix2Pix is a kind of Generative Adversarial Networks (GANs), composed by two neural networks, a generator (G) and a discriminator (D), that compete. G learns to create images from a random noise inputs and D learns to verify if these images are real or fake. The results showed that the presented method generated NIR images quite similar to real ones, reaching a value of 0.912 on M3SIM similarity metric, outperforming results obtained with the previous endmembers method (0.775 on M3SIM).

RÉSUMÉ

Les données de télédétection sont utilisées en agriculture et permettent d'acquérir une grande quantité d’information sans perturber les cultures. Ces informations servent à la prise de décision des producteurs et peuvent impacter les coûts de production et la qualité des cultures. Une façon d'obtenir des informations sur la production consiste à utilizer des indices de végétation, des opérations arithmétiques faites sur les bandes spectrales, en particulier sur la bande proche infrarouge (NIR). Néanmoins, les capteurs collectant cette information spectrale sont très coûteux pour les petits producteurs. Dans un article précédent, un modèle de synthèse d'images pixel à pixel pour estimer les images NIR à partir de données RVB en utilisant des endmembers hyperspectraux (signatures hyper-spectrales pures) a été décrit. Dans ce travail, un modèle de synthèse image-à-image, connu sous le nom de Pix2Pix, est utilisé pour générer des images NIR à partir d’images de caméras RVB à faible coût. Pix2Pix est une sorte de Generative Adversarial Networks (GANs), compose de deux réseaux de neurones, un générateur (G) et un discriminateur (D), qui se font concurrence. G apprend à créer des images à partir d’entrées de bruit aléatoires et D apprend à vérifier si ces images sont réelles ou fausses. La méthode présentée dans cet article a généré des images NIR assez similaires aux images réelles, atteignant une valeur de 0,912 sur la métrique de similarité M3SIM, surpassant les résultats obtenus avec la méthode des endmembers précédente (0,775 sur M3SIM).

Acknowledgements

The authors thank Dr. Lucio Jorge and Dr. Ednaldo José Ferreira from Embrapa Instrumentation to support the research with multispectral images and his attention to this research.

Additional information

Funding

The authors acknowledge CAPES (Coordenação de Aperfeiçoamento de Pessoal de Ensino Superior), Ministry of Education, Brazil, Financing Code [001].