Feedback mechanisms of change: How problem alerts reported by youth clients and their caregivers impact clinician-reported session content

Abstract

Objective. This study explored how clinician-reported content addressed in treatment sessions was predicted by clinician feedback group and multi-informant cumulative problem alerts that appeared in computerized feedback reports for 299 clients aged 11–18 years receiving home-based community mental health treatment. Method. Measures included a clinician report of content addressed in sessions and additional measures of treatment progress and process (e.g., therapeutic alliance) completed by clinicians, clients, and their caregivers. Item responses in the top 25th percentile in severity from these measures appeared as “problem alerts” on corresponding computerized feedback reports. Clinicians randomized to the feedback group received feedback weekly while the control group did not. Analyses were conducted using the Cox proportional hazards regression for recurrent events. Results. For all content domains, the results of the survival analyses indicated a robust effect of the feedback group on addressing specific content in sessions, with feedback associated with shorter duration to first occurrence and increased likelihood of addressing or focusing on a topic compared to the non-feedback group. Conclusion. There appears to be an important relationship between feedback and cumulative problem alerts reported by multiple informants as they influence session content.

Obiettivo. Questo studio ha esplorato come il contenuto riportato dal clinico riguardo le sedute nel corso del trattamento era predetto dal gruppo di feedback del clinico e dai segnali di problemi cumulativi riportati da più informatori che apparivano nei report di feedback computerizzati di 299 pazienti di età compresa tra gli 11-18 anni che ricevevano un trattamento di salute mentale a domicilio. Metodo. Le misure includevano un report clinico dei contenuti affrtontati in seduta e misure supplementari dell'andamento del trattamento e del processo (ad esempio, alleanza terapeutica) completate dai medici, pazienti e dai loro caregiver. Le risposte agli item al di sopra del 25° percentile di severità di queste misure sono apparse come "notifiche relative ai problemi" sui corrispondenti report di feedback computerizzati. I clinici randomizzati nel gruppo feedback ricevevano feedback settimanali mentre il gruppo di controllo no. Sono state condotte analisi utilizzando la regressione dei rischi proporzionali di Cox per eventi ricorrenti. Risultati. Per tutti i domini di contenuto, i risultati dell'analisi di sopravvivenza indicavano un effetto robusto del gruppo di feedback su come affrontare contenuti specifici in seduta, con feedback associati a durata più breve del primo evento e maggiore probabilità di affrontare o concentrarsi su un argomento rispetto al gruppo non-feedback. Conclusione. Sembra che ci sia una relazione importante tra il feedback e le notifiche relative ai problemi cumulativi segnalati da parte di più informatori come essi influenzano il contenuto della seduta.

Zusammenfassung:Ziele: Diese Studie untersucht wie computergestütztes Feedback die von Therapeuten angesprochenen Sitzungsinhalte bei 299 ambulant behandelten Klienten im Alter von 11 bis 18 Jahren beeinflusst. Methode: Die Erhebungen beinhalteten einen klinischen Bericht zum Inhalt der Sitzungen sowie zusätzliche Maße zum Behandlungsfortschritt und –verlauf (z.B. therapeutische Allianz) welche durch die Kliniker, die Klienten und ihre Bezugspersonen beantwortet wurde. Die Beantwortung der Items im obersten 25. Perzentil bzgl. des Schweregrads erschienen als Problemsignale in den dazugehörigen computergestützten Feedbackberichten. Kliniker, die randomisiert der Feedbackgruppe zugeteilt wurden erhielten ein wöchentliches Feedback, während in der Kontrollgruppe kein Feedback gegeben wurde. Die Analysen wurden mit der COX-Proportional-Hazards Regression mit Messwiederholung durchgeführt. Ergebnisse: Für alle Inhaltsdomänen zeichneten die Ergebnisse der Survival-Analyse einen robusten Effekt für die Feedbackgruppe in Bezug auf die Besprechung spezifischer Inhalte in den Sitzungen ab, wobei Feedback, im Vergleich zur Non-Feedbackgruppe, mit einer kürzeren Dauer zum ersten Ereignis und einer erhöhten Wahrscheinlichkeit der Besprechung oder Fokussierung auf ein Thema assoziiert war. Schlussfolgerung: Es scheint eine wichtige Beziehung zwischen dem Feedback und den kumulativen Problemmeldungen, die von mehreren Informanten berichtet werden, in Bezug auf den Sitzungsinhalt zu bestehen.

Objetivo: Este estudo investigou como é que o conteúdo explorado em sessões de tratamento e reportado pelos clínicos foi predito pelo grupo de feedback e por alertas de informantes múltiplos acerca de problemas cumulativos que apareciam em registos de feedback computorizados, para 299 clientes com idades compreendidas entre os 11 e os 18 anos, a receber tratamento em casa da comunidade de saúde mental. Método: As medidas incluíram um relatório clínico do conteúdo explorado nas sessões e medidas adicionais de processo (e.g., aliança terapêutica) e de progresso no tratamento completadas pelos terapeutas, clientes, e respetivos cuidadores. Respostas aos itens acima do percentil 25 para a severidade nessas medidas apareceram como “alertas de problema” nos registos computorizados de feedback correspondentes. Os terapeutas randomizados no grupo de feedback receberam feedback semanalmente, enquanto que o grupo de controlo não recebeu. Foram conduzidas análises utilizando a regressão de Cox de riscos proporcionais para eventos recorrentes. Resultados: Para todos os domínios de conteúdo, os resultados da análise de sobrevivência indicaram um efeito robusto do grupo de feedback na exploração de conteúdos específicos nas sessões, com o feedback associado a uma menor duração da primeira ocorrência e a uma probabilidade aumentada de explorar ou focar num tópico, quando comparado com o grupo sem feedback. Conclusão: Parece haver uma relação importante entre o feedback e os alertas de problema cumulativos reportados pelos múltiplos informantes dado que estes influenciam os conteúdos da sessão.

摘要

目標：本研究藉由臨床醫師回饋團體與多源累加之問題警示探討如何預測治療歷程的臨床醫生報告內容。多源累加之問題警示是來自11-18歲的299位個案接受以家庭為主的社區心理健康處遇之電腦化回饋報告。方法：測量包含一份治療歷程的臨床醫師報告，以及臨床醫生、個案與其照顧者所完成之治療進展和歷程的測驗（例如治療的同盟）。相對應於電腦化回饋報告，這些測驗試題反應在嚴重性前百分之二十五則會出現顯示「問題警示」。臨床醫師被隨機分派到每週接受一次回饋的回饋組，以及無回饋的控制組。採用Cox比例風險迴歸作為分析重複出現事件資料的方法。結果：就所有內容面向，存活分析的結果指出，相較於無回饋組，有記載治療具體內容的回饋組具有顯著效果，這些回饋是關於縮短第一次發生的持續時間，以及增加說明或聚焦於某個主題的可能性。結論：在此顯示了回饋和多源累加問題警示之間的重要關係，特別當它們影響治療內容時。

關鍵詞：兒童心理治療、心理健康服務研究、心理治療研究與訓練之科技、歷程研究、測量回饋系統、治療報告格式

Keywords:

• child psychotherapy
• mental health services research
• technology in psychotherapy research and training
• process research
• measurement feedback system
• Session Report Form

Parole chiave:

• psicoterapia infantile
• ricerca nei servizi di salute mentale
• metodo nella ricerca in psicoterapia e formazione
• ricerca di processo
• sistema di misura di feedback
• Session Report Form

Schlüsselwörter:

• Psychotherapie mit Kindern
• Forschung in der psychischen Gesundheitsversorgung
• Technologie in der Psychotherapieforschung und –ausbildung
• Verlaufsforschung
• Feedback-System
• Sitzungsberichte

Acknowledgements

The content is solely the responsibility of the authors and does not necessarily represent the official views of the National Institutes of Health.

Notes

1 In survival analyses most commonly reported in the medical literature, the failure event is a negative one, such as death, relapse, or other treatment failure. In this study, the failure event is positive (the addressing or focusing on a topic). Thus, the desired direction of effect is positive (we want the event to happen) rather than what is typically seen in the medical literature (where the failure event is not desired).

Additional information

Funding

Preparation of this article was partially supported by the National Institute of Mental Health of the National Institutes of Health under Award Number R01087814.