Motivations and Methods for Replication in Geography: Working with Data Streams

Abstract

The article begins with a historical account of Hudson’s rural settlement theory and the various attempts to replicate Hudson’s research. Harvey’s exhortation “by our theories you shall know us” is discussed as a motivation for replication. Motivations not considered are the detection of fraud, mendacity, and incompetence, because these are the domain of reproducible research. Replication research in medicine, psychology, economics, and criminology is reviewed. The varying distinctions between replication and reproducible (R&R) research in each discipline are described. In each discipline the essential papers that have defined the “replication crisis” and the strategies that researchers have presented are discussed. These strategies include recommendations for systematic reviews and the standardization of research protocols, including the PRISMA and STROBE protocols that are now the accepted format for research in medicine. All four disciplines recommend the use of a formal meta-analysis following the systematic reviews of previous research contributions. There follows a brief discussion of a case study of a meta-analysis in geography that represents a model for others to follow and, second, the suggestion that geographically weighted regression analyses can be seen as a method for replicating the validity of a model across space. The article concludes with a review of the recently developed technology of computer and Jupyter Notebook as a way of facilitating research replication.

本文首先描述了哈德逊的农村居住点理论, 以及重复哈德逊研究的各种尝试。本文认为, 哈维的格言“采用我们的理论, 你就会了解我们”, 就是重复的动力。本文没有考虑的动力包括对欺诈、谎言和缺陷的检测, 因为它们属于可再现研究范畴。本文回顾了医学、心理学、经济学和犯罪学四个领域内的重复研究, 描述了各领域内重复和可再现研究的各种区别, 讨论了定义“重复危机”并提供策略的主要文献。这些策略包括：系统性文献综述给出的建议、研究协议的标准化（例如在医学研究中采用的PRISMA和STROBE协议）。四个领域都推荐了基于系统性文献综述的元分析。本文简短地讨论了一个地理学元分析的案例, 供研究人员参考；还建议, 地理加权回归分析能够在空间上实现对模型有效性的重复。最后, 本文回顾了计算机技术的最新发展, 以及使用Jupyter notebook实现重复研究。

El artículo empieza con un recuento histórico de la teoría del poblamiento rural de Hudson y los diferentes intentos de reproducir su investigación. La exhortación de Harvey de que “por nuestras teorías nos conoceréis” es discutida a título de motivación para la replicación. Las motivaciones que no se consideran son la detección de fraude, la mendacidad y la incompetencia, en cuanto que éstas son el dominio de la investigación duplicable. Se revisó la investigación de la replicación en medicina, psicología, economía y criminología. Se describen las variadas distinciones entre replicación e investigación reproducible (R&R) en cada disciplina. Se discuten también en cada disciplina los trabajos esenciales que han definido la “crisis de la replicación” y las estrategias que los investigadores han formulado. Estas estrategias incluyen recomendaciones de revisiones sistemáticas y la estandarización de los protocolos de investigación, incluyendo los protocolos PRISMA y STROBE, que ahora son el formato de investigación aceptado en medicina. Todas las cuatro disciplinas recomiendan el uso de un meta-análisis formal que siga las revisiones sistemáticas de las contribuciones de investigación anterior. Enseguida hay una breve discusión sobre un estudio de caso de un meta-análisis en geografía que representa un modelo a seguir por otros, y, en segundo término, la sugerencia de que el análisis de regresión geográficamente ponderada puede verse como un método para replicar la validez de un modelo a través del espacio. Concluye el artículo con una revisión de una tecnología de computadora recientemente desarrollada y del Jupyter Notebook, como una manera de facilitar la replicación de la investigación.

Key Words:

• geographically weighted models
• Jupyter notebook
• meta-analysis
• replication

关键词:

• 地理加权模型
• Jupyter notebook
• 元分析
• 重复

Palabras clave:

• meta-análisis
• modelos geográficamente ponderados
• notebook Jupyter
• replicación

Acknowledgments

I thank Michael Goodchild, Peter Kedron, and Stewart Fotheringham for their insightful comments and suggestions on an earlier draft of the article and Margaret Skwara for introducing me to Jupyter notebooks. I also thank two reviewers for their meticulous and thoughtful reading of the article that was originally submitted to the Annals Forum and for their comments and suggestions.

Additional information

Notes on contributors

Nigel Waters

NIGEL WATERS is a Professor Emeritus of Geography and an Adjunct Professor of Civil Engineering at the University of Calgary, Calgary, Alberta T2N 1N4, Canada. E-mail: [email protected]. His research includes social media and electoral geography and transportation, environmental, and medical applications of GIS. This work has been supported by the Carter Center, Social Sciences and Humanities Research Council (Canada), the U.S. Department of Transportation, and the National Institutes of Health.