Challenges of Reliability and Validity in the Identification and Monitoring of Emerging Drug Trends

Abstract

There is increasing pressure on drug monitoring systems to achieve earlier detection and greater precision in reporting of emerging drug use trends. Such systems typically operate in settings where government interest and the drug use trends themselves can be fluid. To achieve the goal of informing timely policy and practice responses in this environment, drug use monitoring systems must be flexible and responsive, as well as reliable and valid. This paper explores three interrelated areas relevant to trend monitoring that can benefit from a clearer focus in terms of increasing validity and reliability: the research paradigm to which systems adhere; the selection of sources or drug use indicators utilized by systems; and the process of analysis used by systems to ensure valid results. The reliability and validity of currently utilized drug use related indicators is discussed, with a focus on the validity of data sources as measures of emerging drug use trends. The relevance and utility of current descriptives such as “lagged” and “leading edge” indicators are assessed. Five dimensions, against which the validity of drug use indicators may be assessed in a trend-monitoring context are proposed as an alternative. Faced with a lack of clear conceptual frameworks underpinning and driving monitoring systems, it is argued that a pragmatic research paradigm can be adopted as a basis for guiding selection of indicators and helping to make explicit the concurrent or supplementary triangulation and analysis procedures on which valid results are necessarily founded. The current trend of using triangulation as the primary means of ensuring the validity of systems is critically reviewed and a challenge is issued to the field to make the analysis process more overt. No external funding was received for this article.

RÉSUMÉ

Les problèmes de fiabilité et de validité en contrôlant l’identification des drogues qui émergent

Les systèmes en place pour contrôler les drogues sont constraints par une pression augmentée d’accomplir, dans les meilleurs délais, la découverte, et une précision plus minutieuse de faire un rapport sur les tendances émergentes. De tels systèmes opèrent dans un cadre ou l’intérêt gouvernemental et les tendances elles-mêmes sont tous les deux fluides. Pour atteindre le but d’informer une politique et une pratique opportune, les systèmes de contrôle doivent être flexibles et réagissants aux différents besoins, sans parler de leur fiabilité et de leur validité. Cet article explore trois domaines en correlation qui sont pertinents à la contrôle des drogues, et qui profiteront tous d’être soumis à une attention plus minutieuse pour augmenter leur validité et leur fiabilité: le paradigme de recherche auquel les systèmes sont rattachés: la sélection de sources ou d’indicateurs de drogues utilisés par les systèmes: et le processus d’analyse utilisé par les systèmes pour assurer la validité des resultats. La fiabilité et la validité des indicateurs de drogues couramment utilisés sont discutés avec une attention à la validité de sources de données brutes comme mesures de drogues qui émergent. Il y a une évaluation des termes descriptives courants tels que les indicateurs du bord d’attaque ou à la traîne. Cinq dimensions contre lesquelles la validité des indicateurs de drogues peuvent être évalués dans un contexte de contrôle des tendances sont proposées comme une alternative. Nous soutenons qu’un paradigme de recherches pragmatiques offre une structure utile pour la majorité des systèmes, guide la sélection des indicateurs et aide à rendre explicite les procédés de triangulation et d’analyse concurrents ou supplémentaires sur lesquels les resultats valides sont nécessairement fondés. La tendance actuelle d’employer la triangulation comme le moyen primaire d’assurer la validité des systèmes est réexaminée d’un oeil critique, et un défi est lancé aux practicients et practiciennes de rendre plus ouvert le processus d’analyse. Cet article n’a pa attiré de fonds externes.

RÉSUMÉN

Desafío a la confiabilidad y validez en la identificación y seguimiento de las tendencias emergentes en el uso de drogas.

Existe una creciente presión a los sistemas de supervisión para lograr una temprana detección y mayor precisión en la divulgación de las tendencias emergentes en el uso de drogas. Estos sistemas operan normalmente en condiciones donde los intereses gubernamentales y la tendencia de las drogas en si pueden cambiar muy rápido. Para cumplir con el propósito de informar de manera oportuna al ambiente político y la reaccion práctica de este sector, los sistemas de seguimiento deben ser flexibles y con capacidad de reacción/responsivos, y a la vez confiables y válidos. Este papel/escrito explora tres areas correlacionadas relevantes para el seguimiento de tendencias que pueden ser beneficiadas por un enfoque mas claro en terminos de incrementar su validez y confiabilidad: el paradigma de la investigación a la cual los sistemas se adhieren; la selección de fuentes de información o de indicadores utilizados por los sistemas; y el proceso de análisis utilizado por los sistemas para asegurar resultados válidos. La confiabilidad y validez de los indicadores relacionados a las drogas actualmente utilizados es discutida, enfocando a la validez de las fuentes de datos como medidas de tendencias emergentes de drogas. La relevancia y utilidad de los descriptivos actuales tales como indicadores “inactuales” y de “tendencias principales” son evaluados. Cinco dimensiones, contra las que se puede determinar la validez de los indicadores de drogas en un contexto de seguimiento de tendencias se proponen como una alternativa. Ante la carencia de una clara base de apoyo conceptual y sistemas guias de supervisión, se argumenta que se puede adoptar un paradigma de investigación pragmático como base para dirigir la elección/selección de indicadores y ayudar a hacer explícito la triangulación y los procedimientos de análisis en los cuales los resultados validos necesariamente se basan. La tendencia actual de usar la triangulación como el medio principal de asegurar la validez de los sistemas se repasa/revisa de manera crítica y se presenta un desafío al campo (practico) para hacer el proceso de análisis más abierto. No se recibió ningún financiamiento externo para este artículo.

Keywords :

• drug use trends
• reliability
• validity
• triangulation