Do supervisors and independent judges agree on evaluations of therapist adherence and competence in the treatment of cocaine dependence?

Abstract

The current study examined the agreement between supervisors' and independent judges' evaluations of therapist adherence and competence in three treatments of cocaine dependence: supportive expressive therapy (SE), cognitive therapy CT), and individual drug counseling (IDC). We used data from The National Institute on Drug Abuse Collaborative Cocaine Treatment Study (n = 295). Trained and experienced supervisors and independent judges rated treatment fidelity. At the therapist level of analysis, the agreement between supervisors' and independent judges' ratings was weak for SE competence, CT adherence, and CT competence. Moderate relations were found for IDC adherence and competence. Supervisors consistently rated adherence and competence more positively than judges in CT and IDC. The potential bias in supervisors' ratings is discussed.

O presente estudo examinou o acordo entre a avaliação de supervisores e juízes independentes da adesão terapêutica e competência em três tratamentos de dependência de cocaína: Terapia expressiva de suporte (ES), terapia cognitiva (TC) e aconselhamento individual de drogas (AID). Foram usados dados do Estudo no Tratamento Colaborativo para Cocaína do Instituto Nacional de Abuso de Drogas (n = 295). Supervisores treinados e experientes e juízes independentes cotaram a fidelidade do tratamento. Ao nível da análise do terapeuta, o acordo entre supervisores e juízes independentes foi fraco para a competências de ES, adesão nas TC e competência nas TC. Relações moderadas foram encontradas para adesão e competência no AID. Os supervisores cotaram consistentemente adesão e a competência mais positivamente do que os juízes nas TC e no AID. É discutido o viés potencial das cotações dos supervisores.

El presente estudio examinó el grado de concordancia entre supervisores y jueces independientes sobre el nivel de adherencia y competencia en terapeutas que atendieron casos de dependencia a la cocaína según tres modelos terapéuticos: la terapia soportativo-expresiva (SE), la terapia cognitiva (CT) y el counseling individual focalizado en el uso de drogas (IDC). Se tomaron datos del Estudio Colaborativo sobre Tratamiento de Consumidores de Cocaína del Instituto Nacional de Abuso de Sustancias (n- 294). Supervisores y jueces independientes (todos experimentados y capacitados) puntuaron el grado de fidelidad al modelo terapéutico por parte de los terapeutas. En relación al análisis de los terapeutas, puede decir que el grado de concordancia fue débil en relación a; competencia ( SE) y adherencia (CT) y competencia (CT).Se encontraron correspondencias moderadas para IDC tanto en competencia como en adherencia. Los supervisores consistentemente puntearon más alto tanto la adherencia como la competencia en relación a los jueces en CT e IDC. Se discute el sesgo potencial en la evaluaciones de los supervisores.

Il corrente studio ha esaminato l'accordo esistente tra le valutazioni di supervisori e giudici indipendenti riguardanti l'aderenza del terapeuta alla terapia e la competenza dello stesso in tre trattamenti per la dipendenza da cocaina: terapia espressiva-supportiva (SE), terapia cognitiva (CT) e counseling individuale sulla droga (IDC). Abbiamo usato i dati del “The National Institute on Drug Abuse Collaborative Cocaine Treatment Study (n.295). Supervisori addestrati e con esperienza e giudici indipendenti hanno valutato fedelmente il trattamento. A livello di analisi del terapeuta, l'accordo tra le valutazioni di supervisori e giudici indipendenti è stato povero per la competenza (SE), aderenza (CT) e competenza (CT). Sono state riscontrate relazioni moderate tra aderenza IDC e competenza. I supervisori hanno costantemente valutato aderenza e competenza in maniera più positiva che i giudici in CT e IDC.

Vengono discussi i potenziali bias riguardanti le valutazioni dei supervisori.

Die vorliegende Studie untersucht die Übereinstimmung zwischen Supervisoren und unabhängigen Ratern bezüglich deren Einschätzungen der Adhärenz und Kompetenz von Therapeuten in drei Behandlungsansätzen für Kokainabhängigkeit: supportiv expressive Therapie (SE), kognitive Therapie (CT) und individuelle Drogenberatung (IDC). Wir nutzten die Daten des National Institue on Drug Abuse Collaborative Cocaine Treatment Study (n = 295). Trainierte und erfahrene Supervisoren und unabhängige Rater schätzten ein, in wie fern die Behandlung manualgetreu durchgeführt wurde. Auf der Analyseebene der Therapeuten, war die Übereinstimmung zwischen Supervisoren und unabhängigen Ratern schwach bzgl. SE Kompetenz, CT Adhärenz und CT Kompetenz. Moderate zusammenhänge wurden für IDC Adhärenz und Kompetenz gefunden. Supervisoren schätzten die Adhärenz und Kompetenz in den CT und IDC Ansätzen konsistent positiver ein als Rater. Der potenzielle Bias in den Ratings der Supervisoren wird diskutiert.

Keywords:

• adherence
• competence
• cognitive therapy
• supportive expressive therapy
• drug counseling

Acknowledgements

This study used data from the National Institute on Drug Abuse Collaborative Cocaine Treatment Study (NIDA CCTS), Philadelphia, USA. The study was supported by the Psychotherapy Research Center, Philadelphia, USA, the Department of Psychology, Umeå, Sweden, and the Swedish Council for Working life and Social Research, Stockholm, Sweden.

Notes

1. Additional information regarding the equations and models can be obtained directly from the first author.