Exploring Survey Participation, Data Combination, and Research Validity in a Substance Use Study: An Application of Hierarchical Linear Modeling

Abstract

A sound decision regarding combination of datasets is critical for research validity. Data were collected between 1996 and 2000 via a 99-item survey of substance use behaviors. Two groups of 7th–12th grade students in predominately White communities are compared: 166,578 students from 193 communities with high survey participation and 41,259 students from 65 communities with lower participation. Hierarchical logistic models are used to explore whether the two datasets may be combined for further study of community-level substance use effects. “Scenario analysis” is introduced. Results suggest the datasets may reasonably be combined. Limitations and further research are discussed.

RÉSUMÉ

EXPLORATION DE LA PARTICIPATION A L'ENQUETE, COMBINAISON DES DONNEES ET VALIDITE DE LA RECHERCHE DANS UNE ETUDE SUR LA TOXICOMANIE: UNE APPLICATION DU MODELE HIERARCHIQUE LINEAIRE

Une décision judicieuse concernant la combinaison des ensembles de données est cruciale pour rendre la recherche valide. Les données ont été recueillies de 1996 à 2000 par le biais d'une enquête contenant 99 questions sur les comportements toxicomanes. Deux groupes de lycéens de la 7^ème année (premier cycle du secondaire) à la 12^ème année (terminale) et issus de communautés où la race blanche prédomine sont comparés : 166 578 lycéens issus de 193 communautés qui ont connu un taux de participation élevé à l'enquête et 41 259 lycéens issus de 65 communautés qui ont connu un taux de participation moins élevé. Des modèles logistiques hiérarchiques sont utilisés pour explorer si les deux ensembles de données peuvent être combinés pour des études supplémentaires sur les effets de la toxicomanie au niveau des communautés. Une analyse de scénario est présentée. Les résultats suggèrent que les ensembles de données peuvent être combinés raisonnablement. Les limites de l'enquête et le besoin de recherches supplémentaires sont examinés.

RESUMEN

EXPLORACIÓN DE LA PARTICIPACIÓN EN LA ENCUESTA, COMBINACIÓN DE DATOS Y VALIDEZ DE LA INVESTIGACIÓN EN UN ESTUDIO DE USO DE SUSTANCIAS: UNA APLICACIÓN DEL MODELADO LINEAL JERÁRQUICO

Una decisión sólida respecto de la combinación de conjuntos de datos es esencial para la validez de la investigación. Se recopilaron datos entre 1996 y 2000 por medio de una encuesta de 99 puntos sobre comportamientos del uso de sustancias. Se comparan dos grupos de estudiantes de entre 7° y 12° grados en comunidades predominantemente blancas: 166.578 alumnos de 193 comunidades con alta participación en la encuesta y 41.259 alumnos de 65 comunidades con más baja participación. Se emplean modelos logísticos jerárquicos para explorar si los dos conjuntos de datos se pueden combinar para un estudio más a fondo de los efectos del uso de sustancias a nivel de la comunidad. Se introduce el “análisis de escenarios”. Los resultados sugieren que se pueden combinar razonablemente los conjuntos de datos. Se analizan las limitaciones y las investigaciones futuras.

Keywords :

• hierarchical linear modeling
• exploratory analysis
• research validity
• substance use
• participation
• adolescents
• rural populations
• response rate
• variability