Are many sets of eyes better than one? Evaluating multiple databases of armed actors in Colombia

Abstract

In contrast to the pervasive scarcity of disaggregated data affecting sub-national conflict studies, Colombia concentrates a wealth of databases measuring armed actors. How comparable are these databases? What are the implications of their differences for statistical inference? This research compares seven prominent sub-national measures of armed actors in Colombia. Using the Jaccard Similarity Index, the analysis reveals low similarity between measures. At best, results show 28.7% similarity when considering aggregated actor types, but similarity drops to 14.4% when considering specific armed groups. These measures also yield diverging statistical results when used as dependent or independent variables. In addition to their conceptual and methodological differences, pervasive missing data seem to be driving estimate discrepancies. The nuances of these measurement sets make it difficult to categorically determine if this low similarity is an asset or a limitation for empirical research. Yet, the analysis provides clear prescriptions for researchers in data-abundant settings.

En contraste con la escasez generalizada de datos desglosados que afecta a los estudios de conflictos subnacionales, Colombia concentra una gran cantidad de bases de datos que cuantifican agentes armados. ¿Qué tan comparables son estas bases de datos? ¿Cuáles son las implicaciones de sus diferencias para la inferencia estadística? Este estudio compara siete prominentes medidas subnacionales de agentes armados en Colombia. Utilizando el índice de similitud de Jaccard, el análisis revela una baja similitud entre estas medidas. En el mejor de los casos, los resultados muestran una similitud del 28.7% cuando se consideran los tipos agregados de actores. Sin embargo, la similitud desciende al 14.4% cuando se consideran grupos armados específicos. Estas medidas también devengan resultados estadísticos divergentes cuando se utilizan como variables dependientes o independientes. Además de las diferencias conceptuales y metodológicas entre ellas, la falta de datos generalizada parece generar las discrepancias en las estimaciones. Los matices de estos conjuntos de medición hacen que sea difícil determinar categóricamente si esta baja similitud es una ventaja o una limitación para la investigación empírica. Aun así, el análisis proporciona recomendaciones claras para los investigadores en entornos en los que existen abundantes datos.

Les études sur les conflits sous-nationaux disposent généralement d’un accès très limité aux données, mais la Colombie, elle, possède nombre de bases de données pour mesurer les acteurs armés. Dans quelle mesure sont-elles comparables ? Que signifient leurs différences pour l’inférence statistique ? Ce travail de recherche compare sept mesures sous-nationales importantes des acteurs armés en Colombie. À l’aide de l’indice de similarité de Jaccard, l’analyse révèle un faible niveau de similarités entre les mesures. Au mieux, les résultats révèlent une similarité de 28,7 % pour les agrégations de types d’acteurs, mais elle chute pour atteindre 14,4 % quand on s’intéresse à des groupes armés spécifiques. Ces mesures génèrent aussi des résultats statistiques différents quand elles sont employées comme variables dépendantes ou indépendantes. Outre les différences conceptuelles et méthodologiques, le grand nombre de données encore absentes permettrait d’expliquer les écarts entre les estimations. Cet ensemble de mesures étant nuancé, il est difficile d’établir de façon catégorique si ce faible niveau de similarités représente un atout ou un inconvénient pour la recherche empirique. Néanmoins, l’analyse fournit des recommandations claires pour les chercheurs qui évoluent dans des milieux où les données sont abondantes.

Keywords:

• Colombia
• insurgents
• measurement
• paramilitaries
• similarity

Additional information

Funding

The research reported here was funded in part by the Minerva Research Initiative (OUSD [RandE]) and the Army Research Office/Army Research Laboratory via [grant W911-NF-17-1-0569] to George Mason University.