Understanding the differential impact of outcome monitoring: Therapist variables that moderate feedback effects in a randomized clinical trial

Abstract

Providing outcome monitoring feedback to therapists seems to be a promising approach to improve outcomes in clinical practice. This study aims to examine the effect of feedback and investigate whether it is moderated by therapist characteristics. Patients (n=413) were randomly assigned to either a feedback or a no-feedback control condition. There was no significant effect of feedback in the full sample, but feedback was effective for not-on-track cases for therapists who used the feedback. Internal feedback propensity, self-efficacy, and commitment to use the feedback moderated the effects of feedback. The results demonstrate that feedback is not effective under all circumstances and therapist factors are important when implementing feedback in clinical practice.

Zusammenfassung

Die Bereitstellung von Feedback über den Therapieverlauf für Therapeuten scheint ein vielversprechender Ansatz zur Verbesserung des Outcomes in der klinischen Praxis zu sein. Zielsetzung dieser Studie ist es, die Effekte von Feedback zu überprüfen und zu untersuchen, ob diese von Therapeutenvariablen moderiert werden. Patienten (n = 413) wurden randomisiert zur Feedback- oder zur Kontrollgruppe ohne Feedback eingeteilt. Es gab keinen signifikanten Effekt des Feedbacks in der Gesamtstichprobe, aber Feedback war effektiv für ,,not-on-track‘‘ Fälle bei denjenigen Therapeuten, die das Feedback nutzten. Die interne positive Einstellung gegenüber Feedback, Selbstwirksamkeit und die eigene Verpflichtung zur Nutzung des Feedbacks moderierten die Effekte des Feedbacks. Die Ergebnisse demonstrieren, dass Feedback nicht unter allen Umständen wirksam ist und dass Therapeutenfaktoren eine große Rolle bei der Implementierung von Feedbacksystemen in der klinischen Praxis spielen.

Resumo

Fornecer o feedback da monitorização dos resultados aos terapeutas parece ser uma abordagem promissora para melhorar os resultados na prática clínica. Este estudo tem como objectivo analisar o efeito do feedback e investigar se este é moderado por características do terapeuta. Os pacientes (n_413) foram distribuídos aleatoriamente por uma condição de feedback ou por uma condição de controlo em que não existia feedback. Não houve um efeito significativo do feedback na amostra total, mas o feedback foi eficaz para casos que não estavam a seguir bem o acompanhamento, com terapeutas que usaram o feedback. A propensão do feedback interno, a auto-eficácia, e o compromisso para usar o feedback moderaram os efeitos de feedback. Os resultados demonstram que o feedback não é eficaz em todas as circunstâncias e que variáveis do terapeuta são importantes na implementação do feedback na prática clínica.

Proveer a los terapeutas de un monitero de retorno sobre los resultados de las psicoterapias que están llevando adelante parece ser una contribución valiosa para la efectividad de lapráctica clínica en psicoterapia. Este estudio busca evaluar el efecto de este sistema sobre los terapeutas que reciben ese monitoreo de retorno y ponderar si el efecto que produce en ellos está moderado por las características de los terapeutas mismos. Se asignaron 413 pacientes al azar a un grupo en que se ofrecio el monitoreo de retorno y otro en el que no se hizo. No hubo efectos significativos del monitoreo sobre los resultados terapéuticos en la muestra global pero sí los hubo en los pacientes que no progresaban en la psicoterapia ("not-on-track", identificados con la sigla NOT) en aquellos casos en que los terapeutas usaron el feedback. Los factores de los terapeutas que resultaron significativos como moderadores del efecto del monitoreo fueron: una actitud interna del terapeuta favorable a recibir un retorno de sus acciones, una sensación subjetiva positiva sobre su propia efectividad, y un compromiso personal con el sistema de monitoreo y feedback. Los resultados mostraron que el feedback no es útil en todos los casos y que resulta sumamente relevante la actitud hacia el mismo de los terapeutas.

Keywords:

• outcome research
• psychotherapist training/supervision/development
• therapist effects
• outcome monitoring

Schlüsselwörter:

• Outcome Forschung
• Psychotherapeutenausbildung/-supervision/weiterbildung
• Therapeuteneffekte
• Outcome Monitoring

Palavras-Chave:

• resultados de investigação
• treino/supervisão/desenvolvimento psicoterapeuta
• efeitos do terapeuta
• monitorização dos resultados

Acknowledgements

The authors would like to thank patients and staff from GGZ Noord-Holland-Noord and GGZ Dijk en Duin who have participated in this study, as well as the students who have assisted in the data collection, in particular Lisanne Boom. Thanks also to Andrew McAleavey for his comments on the draft of this manuscript. This article is part of the doctoral dissertation of Kim de Jong.