Computational Cartographic Recognition: Identifying Maps, Geographic Regions, and Projections from Images Using Machine Learning

Abstract

Map reading is a challenging task for computer programs. This article explores how artificial intelligence and machine learning methods can be used to understand maps, an area we broadly refer to as computational cartographic recognition. Specifically, we use machine learning methods to (1) identify whether an image is a map, (2) recognize the geographic region on the map, and (3) recognize the projection used on the map. Four machine learning models—support vector machine, multilayer perceptrons, convolutional neural networks (CNNs) developed from scratch using our own architecture (CNNS), and pretrained CNN models through transfer learning (CNNT)—are applied in these tasks. We use 2,200 online map images, 500 nonmap images, and 1,050 synthetic map images to train and evaluate the models. Results show that the CNNT models achieve the highest performance among all models, with an accuracy rate above 90 percent for the tasks. The CNNS models come in second. We also conduct a round of stress tests using 3,600 additional synthetic maps where the shape and layout are systematically distorted and test if the models can still identify the maps and recognize the region and projection on the maps. The results of the stress tests show that the models can reliably recognize some of the modified maps even when exhibiting performance inferior to even random models for other maps. This unpredictable nature of the methods when applied to maps that are not represented in the training data suggests both promises and limitations of the current machine learning approaches to cartographic recognition.

地图阅读是计算机程序面临的挑战性任务。本文探讨如何通过人工智能和机器学习来理解地图(即, 计算地图识别)。具体地, 我们利用机器学习方法去识别图像是否为地图、识别地图的地理范围和投影。本文采用四个机器学习模型：支持向量机、多层感知器、基于卷积神经网络框架(CNNS)的卷积神经网络、预训练的迁移学习卷积神经网络模型(CNNT)。模型的训练和评估, 采用了2,200张在线地图图像、500张非地图图像和1,050张合成地图图像。结果表明, 在所有模型中, CNNT模型性能最佳(准确率超过90%), 其次是CNNS模型。我们还使用另外3,600张形状和布局被系统性扭曲的合成地图进行了应力测试, 以测试模型是否仍然能够识别地图及其范围和投影。压力测试结果表明, 即使随机模型在某些地图的效果更优, 这四个模型也能可靠地识别部分合成地图。在采用训练数据以外的地图时, 这些模型的不可预测性表明了机器学习在地图识别的前景和局限性。

La lectura de mapas es tarea complicada para los programas de computadores. Este artículo explora cómo la inteligencia artificial y los métodos de aprendizaje automático pueden usarse para entender los mapas, un área a la que en general nos referimos como reconocimiento cartográfico computacional. Específicamente, usamos métodos de aprendizaje automático para (1) identificar si una imagen es un mapa, (2) reconocer la región geográfica en el mapa, y (3) reconocer la proyección usada en el mapa. En estas tareas se aplicaron cuatro modelos de aprendizaje automático, a saber: máquinas de vectores soporte, perceptrones multicapa, redes neuronales convolucionales (CNN) desarrolladas desde cero usando nuestra propia arquitectura (CNNS), y modelos CNN pre-entrenados por medio de aprendizaje por transferencia (CNNT). Usamos 2.200 imágenes de mapas en línea, 500 imágenes no cartográficas y 1.050 imágenes de mapas sintéticos para ensayar y evaluar los modelos. Los resultados muestran que los modelos CNNT obtuvieron el máximo desempeño entre todos los modelos, con una tasa de exactitud para las tareas por encima del 90 por ciento Los modelos CNNS ocupan el segundo lugar. También efectuamos una ronda de pruebas de estrés usando 3.600 mapas sintéticos adicionales donde la forma y el diseño se distorsionaron sistemáticamente y comprobamos si los modelos todavía podían identificar los mapas y reconocer la región y la proyección de los mapas. Los resultados de las pruebas de estrés muestran que los modelos pueden reconocer fiablemente algunos de los mapas modificados incluso cuando exhiben un desempeño inferior a los modelos aleatorios de otros mapas. Esta naturaleza impredecible de los métodos cuando se aplican a mapas que no están representados en los datos de entrenamiento sugiere tanto las promesas como las limitaciones de los actuales enfoques de aprendizaje automático para el reconocimiento cartográfico.

Key Words:

• cartogram
• computational cartographic recognition
• convolutional neural network
• machine learning
• map

关键词：:

• 变形地图
• 计算地图识别
• 卷积神经网络
• 机器学习
• 地图。

Palabras clave::

• aprendizaje automático
• cartograma
• mapa
• reconocimiento cartográfico computacional
• red neuronal convolucional

Acknowledgments

We wish to thank Rui Li for his help with map generation and the reviewers for their comments on previous drafts of this article.

Notes

1 See https://www.turing.ac.uk/research/research-projects/machines-reading-maps.

2 See https://qgis.org.

3 See https://www.esri.com/en-us/arcgis/products/arcgis-pro/overview.

4 See https://leafletjs.com/.

5 See https://d3js.org.

6 See https://images.google.com/.

7 See https://matplotlib.org/basemap/.

8 See https://www.nltk.org/.

9 Due to the large number of online images, it is impractical to obtain permissions to display them in this article. The collected images are stored in a GitHub repository at https://github.com/JialinLiOSU/CompCartoRecognitionImages.

10 See https://github.com/informeren/qgis-cartogram.

11 See https://worldmapper.org/.

12 See https://keras.io/.

13 See https://www.tensorflow.org/.

14 See https://www.csie.ntu.edu.tw/∼cjlin/libsvm/.

15 See https://colab.research.google.com/.

16 For more details see https://cloud.google.com/vision.

17 https://www.lywam.org/exhibition/handstitched-worlds-the-cartography-of-quilts/.

18 https://www.robots.ox.ac.uk/∼vgg/.

Additional information

Notes on contributors

Jialin Li

JIALIN LI is a PhD Student in the Department of Geography, The Ohio State University, Columbus, OH 43210. E-mail: [email protected]. His research interests include applying computational methods, especially machine learning and deep learning, in cartography.

Ningchuan Xiao

NINGCHUAN XIAO is Professor in the Department of Geography, The Ohio State University, Columbus, OH 43210. E-mail: [email protected]. He is interested in a wide range of research topics in spatial data science, including computational methods, visualization, and spatial optimization.