Effectiveness of routine psychotherapy: Method matters

ABSTRACT

Objective: Though many studies have shown that psychotherapy can be effective, psychotherapy available in routine practice may not be adequate. Several methods have been proposed to evaluate routine psychological treatments. The aim of this paper is to demonstrate the combined utility of complementary methods, change-based benchmarking, and end-state normative comparisons, across a range of self-reported psychological symptoms. Method: Benchmarks derived from randomized controlled trials (RCTs) and normative comparisons were used to evaluate the effectiveness of psychotherapy in a large (N = 9895) sample of clients in university counseling centers (UCCs). Results: Overall, routine psychotherapy was associated with significant improvement across all symptoms examined. For clients whose initial severity was similar to RCT participants, the observed pre–post effect sizes were equivalent to those in RCTs. However, treatment tended to lead to normative end-state functioning only for those clients who were moderately, but not severely, distressed at the start of psychotherapy. Conclusions: This suggests that although psychotherapy is associated with an effective magnitude of symptom improvement in routine practice, additional services for highly distressed individuals may be necessary. The methods described here comprise a comprehensive analysis of the quality of routine care, and we recommend using both methods in concert.

Clinical or methodological significance of this article: This study examines the effectiveness of routine psychotherapy provided in a large network of counseling centers. By comparing multiple established methods to define outcomes in this sample we provide a detailed understanding of typical outcomes. The findings show that, across several different problem areas, routine psychotherapy provided substantial benefit, particularly to clients in the most distress. However, there is room to improve, especially by increasing the number of clients who return to normal functioning by the end of treatment. Using distinct methods provides complementary answers to the question: How effective is routine psychotherapy?

Resumo

Objetivo: Embora muitos estudos tenham mostrado que a psicoterapia pode ser efetiva, a psicoterapia disponível na prática rotineira pode não ser adequada. Vários métodos têm sido propostos para avaliar tratamentos psicológicos de rotina. O objetivo deste artigo é demonstrar a utilidade combinada de métodos complementares, “benchmarking” baseado na mudança e comparações normativas de estado final, por meio de uma série de sintomas psicológicos auto-relatados. Método: Benchmarks derivados de Ensaios Clínicos Randomizados (ECRs) e comparações normativas foram utilizados para avaliar a eficácia da psicoterapia em uma grande (N = 9.895) amostra de clientes em centros de aconselhamento universitário (UCCs). Resultados: De um modo geral, a psicoterapia de rotina foi associada com melhora significativa em todos os sintomas examinados. Para clientes cuja gravidade inicial foi semelhante aos participantes do ECR, os tamanhos dos efeitos pré-pós observados foram equivalentes aos dos ECRs. No entanto, o tratamento tendeu a levar ao estado final de funcionamento normativo apenas para aqueles clientes que estavam moderadamente, mas não severamente, angustiados no início da psicoterapia. Conclusões: Isso sugere que, embora a psicoterapia na prática rotineira esteja associada a uma magnitude efetiva de melhora dos sintomas, serviços adicionais para indivíduos altamente angustiados podem ser necessários. Os métodos descritos aqui incluem uma análise abrangente da qualidade dos cuidados de rotina, e recomendamos o uso de ambos os métodos em conjunto.

Significância clínica ou metodológica deste artigo: Este estudo examina a eficácia da psicoterapia de rotina ofertada em uma grande rede de centros de aconselhamento. Ao comparar vários métodos estabelecidos para definir os resultados nesta amostra nós fornecemos uma compreensão detalhada dos resultados típicos. Os resultados mostram que, em várias áreas de problemas diferentes, a psicoterapia de rotina proporcionou benefícios substanciais, particularmente aos clientes mais aflitos. No entanto, existe espaço para melhorar, especialmente aumentando o número de clientes que retornam ao funcionamento normal no final de tratamento. O uso de métodos distintos fornece respostas complementares para a questão: Quão efetiva é a psicoterapia de rotina?

Abstract

Sebbene molti studi abbiano dimostrato che la psicoterapia può essere efficace, la psicoterapia nella pratica quotidiana potrebbe non essere adeguata. Diversi metodi sono stati proposti per valutare trattamenti psicologici routinari. Lo scopo di questo studio è quello di dimostrare l'utilità combinata di metodi complementari, un benchmarking basato sul cambiamento e le disposizioni dei risultati finali, attraverso una serie di sintomi psicologici auto-riportati. Metodo: Il benchmark derivato da studi randomizzati e controllati (RCT) e confronti normativi è stato usato per valutare l'efficacia della psicoterapia in un grande campione (N=9895) di client, all'interno dei centri di consulenza universitaria (UCC). Risultati: Nel complesso, la psicoterapia quotidiana è stata associata a miglioramento significativo in tutti i sintomi esaminati. Per i clienti la cui gravità iniziale era simile ai partecipanti RCT, le dimensioni degli effetti pre-post osservate erano equivalenti a quelle degli RCT. Tuttavia, il trattamento tendeva a condurre a uno stato finale-normativo-funzionale solo per quei clienti che erano moderatamente, ma non gravemente, angosciati all'inizio della psicoterapia. Conclusioni: questo suggerisce che, sebbene la psicoterapia sia associata a un'efficacia del miglioramento dei sintomi, nella pratica di routine, potrebbero essere necessari servizi aggiuntivi per individui altamente stressati. I metodi descritti in questa sede, comprendono un'analisi completa della qualità dell'assistenza di routine ed e’ consigliato l'utilizzo di entrambi i metodi insieme.

Significato clinico o metodologico di questo articolo: questo studio esamina l'efficacia della psicoterapia di routine fornito in una vasta rete di centri di consulenza. Confrontando più metodi consolidati per ottenere risultati chiari riguardo questo campione, forniamo una comprensione dettagliata dei risultati tipici. I risultati mostrano che, attraverso problemi emersi in diverse aree, la psicoterapia di routine ha fornito un vantaggio sostanziale, in particolare per clienti più in difficoltà. Tuttavia, c'è spazio per migliorare, in particolare aumentando il numero di clienti che tornano al normale funzionamento entro la fine del trattamento. L'utilizzo di metodi distinti fornisce risposte complementari alla domanda: quanto è efficace la psicoterapia di routine?

摘要

目的：儘管許多研究顯示心理治療有效，然而常規實務中的心理治療研究可能並不足夠。一些用來評量常規心理處遇的方法已經被提出。本研究目的在呈現以自陳心理症狀的補充療法、以改變為主的基準，與治療結果常態比較的綜合效果。方法：以來自隨機控制試驗(RCTs)和常態比較的基準，評量心理治療的效果。樣本(N=9895)來自大學諮商中心(UCC)。結果：整體而言，常規心理治療與所檢視心理症狀的改善均有顯著相關。初始嚴重程度與RCT參與者相似的個案，觀察其前後的效果量與RCT個案相當。然而，傾向促成常態功能的治療，只適用於心理治療初始自陳嚴重程度為中度，而不是重度的個案。結論：本研究指出，儘管心理治療在常規實務中，與症狀改善的有效程度有關，但對於自陳高度痛苦的個案，可能需要提供額外協助。本研究使用的方法包括對常規照護品質的完整分析，我們建議使用這兩種方法。

Keywords:

• psychotherapy
• psychotherapy effectiveness
• counseling
• benchmarking
• normative comparisons

Palavras-chave:

• psicoterapia
• efetividade psicoterapêutica
• aconselhamento
• avaliação comparativa
• comparações normativas

關鍵詞:

• 心理治療
• 心理治療效果
• 諮商
• 基準
• 常態比較

ORCID

Andrew A. McAleavey http://orcid.org/0000-0001-5986-2033

Henry Xiao http://orcid.org/0000-0001-5620-1096

Jeffrey A. Hayes http://orcid.org/0000-0003-4716-1015

Notes

1 Several methods exist to account for initial severity and other case-specific variables in such analyses, from the use of cut scores to determine eligibility from routine samples (as in the case of most previous research), propensity scores (Lutz, Schiefele, Wucherpfennig, Rubel, & Stulz, 2016), and machine-learning algorithms (Kraus et al., 2016). A thorough discussion of these issues is beyond the current scope of this paper.

2 An alternative method used by Reese et al. (2014) and others proposes an interval of 10% of the effect size rather than a fixed value of 0.2. This method will be more conservative with regard to TE benchmarks and more liberal with regard to NH benchmarks than the fixed value of 0.2, as long as the observed effect size is below d = 2. We elected to use the fixed value method because it has an absolute interpretation rather than a relative one. In addition, calculations using the relative value method resulted in only one interpretive change of the 36 comparisons.