Methodological issues in measuring the impact of interventions against female genital cutting

Abstract

With increasing efforts being made to introduce systematic interventions for encouraging abandonment of female genital cutting (FGC) comes the need to better understand how such interventions work and what effects they have. Many interventions are based on theoretical models of behaviour change and so studies to evaluate them should develop indicators appropriate to the type of behaviour change anticipated. Systematic evaluations need also to use some form of quasi‐experimental design to be able to attribute change to the intervention and not to any ‘natural’ change in FGC behaviour or other activities that may be concurrent. A sustained change in the prevalence of FGC is the ultimate indicator and there are several ways this can be measured, although with many limitations given the intimate nature of the practice. Moreover, appropriate sample sizes must be calculated and used to be able to draw valid conclusions. Many of those implementing FGC interventions are not familiar with such basic research principles and so there is an urgent need to ensure that projects are well designed so that valid conclusions concerning their effectiveness can be drawn.

Résumé

Les efforts croissants de mise en place d'interventions systématiques visant à encourager l'abandon de l'excision sont accompagnés du besoin de mieux comprendre le fonctionnement et les effets de ces interventions. Beaucoup de ces interventions s'appuyant sur des modèles théoriques de changement de comportements, leurs évaluations devraient permettre le développement d'indicateurs appropriés aux types de changement de comportements anticipés. Ces évaluations systématiques doivent être élaborées de manière quasi‐expérimentale pour permettre de préciser si les changements de comportement sont dus aux interventions, et non à un quelconque facteur «naturel» ou à toute autre activité concomitante à ces interventions.

Une baisse prolongée de la prévalence de l'excision est évidemment le meilleur indicateur, et il existe plusieurs outils pour la mesurer, bien que ceux‐ci soient limités par la nature intime de la pratique de l'excision. De plus, pour pouvoir tirer des conclusions valides, il faut utiliser des échantillons de dimensions appropriées. Beaucoup des personnes chargées des interventions sur l'excision ignorent ces principes de base de la recherche. Il est donc urgent de s'assurer que les projets sont correctement élaborés, afin que des conclusions valides sur leur efficacité puissent être tirées.

Resumen

Con los esfuerzos cada vez más numerosos que se están llevando a cabo para introducir intervenciones sistemáticas que convenzan a dejar de practicar el corte genital o ablación femenina aparece la necesidad de comprender mejor cómo funcionan esas intervenciones y cuáles son sus efectos. Muchas intervenciones se basan en modelos teóricos de cambio de conducta y, de este modo, los estudios para evaluarlos deberían tener en cuenta indicadores apropiados al tipo de cambio anticipado de comportamiento. Las evaluaciones sistemáticas también deben tener algún tipo de diseño casi experimental para ser capaz de atribuir el cambio a la intervención y no a cualquier cambio ‘natural’ en el comportamiento frente a la ablación femenina u otras actividades que pudiesen ser paralelas. Un indicador principal es el cambio sostenido en el predominio de la ablación del clítoris. Existen varios métodos para medirlo, aunque con muchas limitaciones dada la naturaleza íntima de esta práctica. Además, hay que tener en cuenta y utilizar los tamaños apropiados de muestras para sacar conclusiones válidas. Muchos de los que ponen en práctica las intervenciones frente a la ablación del clítoris no están familiarizados con estos principios básicos de investigación por lo que es necesario y urgente asegurar que los proyectos estén bien diseñados para poder extraer conclusiones válidas con respecto a su eficacia.

Acknowledgements

This paper is based on the report of a consultative meeting entitled ‘Using Operations Research to Strengthen Programmes for Encouraging Abandonment of Female Genital Cutting’ which was convened by the FRONTIERS programme of the Population Council and held in Nairobi, Kenya on 9–11 April 2002. Funding for the meeting was provided by USAID under the terms of Cooperative Agreement number HRN‐A‐00‐98‐00012‐00. The opinions expressed in this paper are those of the author and do not necessarily reflect the view of USAID or the participants at the meeting. The author is grateful to all of the participants for their insightful presentations and discussions during the meeting, and in particular would like to acknowledge the contributions made by Linda Morison, Elizabeth Jackson, Karin Ringheim, Samson Radeny, Nafissatou Diop and Jane Chege.

Notes

1. This practice is also known as female genital mutilation (FGM), female circumcision and female genital surgeries.

2. The findings showed that this was the case only in relation to increases in knowledge of the harmful effects of FGC. Changes in attitudes and intentions were greater or the same in the site having the single intervention as those observed in the site with combined interventions.