The effect of using the Partners for Change Outcome Management System as feedback tool in psychotherapy—A systematic review and meta-analysis

Abstract

Objective : The aims of the study were to evaluate the effects of using the Partners for Change Outcome Management System (PCOMS) in psychotherapy and to explore potential moderators of the effect. Method: A comprehensive literature search including grey literature was conducted to identify controlled outcome studies on the PCOMS, randomized (RCTs), or non-randomized trials (N-RCT). Results: The literature search identified 18 studies, 14 RCTs, and four N-RCTs, including altogether 2910 participants. The meta-analysis of all studies found a small overall effect of using the PCOMS on general symptoms (g  =  0.27, p  =  .001). The heterogeneity of the results was substantial. Moderation analyses revealed no effect of the PCOMS in psychiatric settings (g  =  0.10, p  =  .144), whereas a positive effect was found in counseling settings (g  =  0.45, p  <  .001), although almost all of these studies were characterized by a positive researcher allegiance and using the PCOMS Outcome Rating Scale (ORS) as the only outcome measure. Conclusion: The meta-analysis revealed a small overall effect of using the PCOMS, but no effect in psychiatric settings. The positive results in counseling settings might be biased due to researcher allegiance and use of the ORS as the only outcome measure.

Gli obiettivi dello studio erano di valutare gli effetti dell'utilizzo di Partners per il cambiamento di gestione del sistema dei risultati (Partners for Change Outcome Management System - PCOMS) in psicoterapia ed esplorare potenziali moderatori dell'effetto. Metodo: è stata condotta una ricerca bibliografica, includendo la letteratura grigia, per identificare i risultati di studi controllati randomizzati(RCTs)e non (N-RCT) sul PCOMS. Risultati: la ricerca bibliografica ha identificato 18 studi, 14 studi randomizzati e quattro no (N-RCT), includendo complessivamente 2910 partecipanti. La meta-analisi di tutti gli studi ha riscontrato un piccolo effetto complessivo del PCOMS sui sintomi generali (g=0,27, p=.001). L'eterogeneità dei risultati è stata sostanziale. Le analisi di moderazione non hanno rivelato alcun effetto del PCOMS in setting psichiatrici (g=0,10, p=.144), mentre un effetto positivo è stato trovato nei setting di counseling (g=0,45, p <0,001, sebbene quasi tutti gli studi fossero caratterizzati da una fedeltà dei ricercatori nell’ utilizzo del PCOMS Outcome Rating Scale (ORS) come unica misura di valutazione dell'esito. Conclusione: la meta-analisi ha rivelato un piccolo effetto complessivo dell'uso del PCOMS, ma nessun effetto significativo in contesti psichiatrici. I risultati positivi riscontrati nei setting di counseling potrebbero essere distorti a causa dell'utilizzo dell'ORS, da parte dei ricercatori, come unica misura di esito.

Objetivo: Os objetivos do estudo foram avaliar os efeitos do uso do PCOMS (Partners for Change Outcome Management System) em psicoterapia e explorar potenciais moderadores do efeito. Método: Uma pesquisa bibliográfica abrangente, incluindo literatura cinza, foi conduzida para identificar resultados de estudos controlados no PCOMS, randomizados (ECRs) ou ensaios não randomizados (N-ECR). Resultados: A pesquisa bibliográfica identificou 18 estudos, 14 ensaios clínicos randomizados e quatro ensaios clínicos não randomizados, incluindo um total de 2910 participantes. A meta-análise de todos os estudos encontrou um pequeno efeito geral do uso do PCOMS nos sintomas gerais (g=0,27, p=0,001). A heterogeneidade dos resultados foi substancial. As análises de moderação não revelaram efeito do PCOMS em contextos psiquiátricos (g=0,10, p=0,144), enquanto um efeito positivo foi encontrado em contextos de aconselhamento (g=0,45, p <0,001), embora quase todos esses estudos tenham sido caracterizados por uma lealdade positiva do pesquisador e usando a PCOMS Outcome Rating Scale (ORS) como a única medida de resultado. Conclusão: A metanálise revelou um pequeno efeito geral do uso do PCOMS, mas nenhum efeito em contextos psiquiátricos. Os resultados positivos em contextos de aconselhamento podem ser enviesados ⁣⁣devido à lealdade do pesquisador e ao uso do ROM como a única medida de resultado.

目的：本研究旨在評估於心理治療中運用「夥伴的改變成效管理系統」（PCOMS） 的成效，並探討成效的潛在調節因子。方法：進行全面性包含未正式發表文獻的系 統性文獻回顧，以找出針對PCOMS 之隨機(RCTs)或非隨機試驗(N-RCT)之對照效 果研究。結果：文獻搜尋到18 篇研究，其中14 篇RCTs ，4 篇N-RCT，總共含括 了2910 位參與者。針對所有研究的後設分析發現運用PCOMS 在一般症狀上有少 量的整體效果(g = 0.27, p = .001)。這些結果的確存在異質性。透過調節分析顯示雖 然幾乎所有的研究都顯示符合研究者偏誤（譯者按：研究者由於忠誠於自己信服或 是欲驗證的假設，因而對於研究結果的解釋有所傾向的狀況），且均以PCOMS 的 效果評量量表(ORS)作為惟一的效果評量工具，但是在精神醫療情境中均無效果(g = 0.10, p = .144)，僅在諮商情境中有正向的效果(g = 0.45, p < .001)。結論：後設分 析顯示運用PCOMS 有少量的整體效果，但在精神醫療情境中没有效果。在諮商情 境的正向結果可能導因自研究者的忠誠及運用ORS 作為惟一的結果評量工具而產 生的偏誤。

Keywords:

• client feedback
• Partners for Change Outcome Management System (PCOMS)
• Routine Outcome Monitoring (ROM)
• psychotherapy outcome
• meta-analysis

Palavras-chave:

• feedback do paciente
• Partners for Change Outcome Management System (PCOMS)
• Routine Outcome Monitoring (ROM)
• resultado de psicoterapia
• metanálise

關鍵字:

• 當事人的回饋
• 夥伴的改變成效管理系統(PCOMS)
• 定期效果監測(ROM)
• 心理治療效果
• 後設分析

Acknowledgements

The authors would like to express their thanks to the researchers who provided valuable additional data on their studies. We also wish to thank Annie Dolmer Kristensen who assisted in the proof-reading of the manuscript.

ORCID

Ole Karkov Østergård http://orcid.org/0000-0001-8909-1241

Hilde Randa http://orcid.org/0000-0003-1119-1095

Esben Hougaard http://orcid.org/0000-0002-1254-7674

Notes

1 In contrast to the meta-analysis by Kendrick et al. (2016) we did not rate the risk of reporting bias as high if the SRS outcome was not reported because we consider the SRS to be a process, rather than an outcome measure.