Understanding processes of change: How some patients reveal more than others—and some groups of therapists less—about what matters in psychotherapy

Abstract

Objective: We identify difficulties researchers encounter in psychotherapy process-outcome investigations, and we describe several limitations of the popular “variance accounted for” approach to understanding the effects of psychotherapy. Methods & Results: Using data simulations, we show how the expected correlation between an excellent measure of therapy quality and outcome would be surprisingly small (approximately .25) under conditions likely to be common in psychotherapy research. Even when we modeled conditions designed to increase the likelihood that strong process-outcome relationships would be observed, we found that the expected correlations were still only in the modest range (.38–.51). Conclusions: We discuss the implications of our analysis for the interpretation of process-outcome findings as well as for design considerations in future investigations.

Obiettivo: Abbiamo identificato le difficoltà che i ricercatori incontrano negli studi di processo-esito in psicoterapia, e descritto alcuni limiti del popolare approccio “varianza rappresentativa” alla comprensione degli effetti della psicoterapia. Metodi e Risultati: Utilizzando simulazioni di dati, mostriamo come la correlazione prevista tra una misura eccellente di qualità della terapia e l'esito sia sorprendentemente piccola (circa .25) in condizioni che dovrebbero essere comuni nella ricerca in psicoterapia. Anche quando abbiamo modificato le condizioni intese ad aumentare la probabilità che siano osservate forti relazioni processo-esito, abbiamo scoperto che le correlazioni attese erano ancora modeste (.38–.51). Conclusioni: Discutiamo le implicazioni delle nostre analisi per l'interpretazione dei risultati di processo-esito nonché per la progettazione di ricerche future.

Objectivo: Identificar dificuldades encontradas pelos investigadores nos estudos de processo-resultado em psicoterapia, e descrever várias limitações da popular abordagem “variância explicada” (variance accounted for) na compreensão dos efeitos da psicoterapia. Métodos e Resultados: Usando simulações de dados, mostramos como a correlação esperada entre uma medida de excelência da qualidade e do resultado da terapia pode ser surpreendentemente pequena (aproximadamente .25) em condições com elevada probabilidade de ocorrência em investigação em psicoterapia. Mesmo quando modelámos condições destinadas a aumentar a probabilidade de observar relações mais fortes entre processo e resultado, verificámos que as correlações esperadas continuaram a ser modestas (.38–.51). Conclusões: Discutimos as implicações das nossas análises para a interpretação dos resultados da investigação processo-resultado bem como para as considerações de design em investigações futuras.

Ziel: Wir identifizieren Schwierigkeiten, auf die Wissenschaftler bei Psychotherapie Prozess-Ergebnis Untersuchungen stoßen und beschreiben diverse Einschränkungen des populären „aufgeklärte Varianz“ Ansatzes bezüglich des Verständnisses von Psychotherapieeffekten.

Methode & Ergebnisse: Anhand von Datensimulationen zeigen wir, dass die erwarteten Korrelationen von einer exzellenten Messung der Therapiequalität und dem Ergebnis überraschend klein (etwa .25) ausfallen würden. Selbst wenn die Bedingungen so modelliert wurden, dass die Wahrscheinlichkeit für das Auftreten starker Prozess-Ergebnis Zusammenhänge vergrößert wurde, fanden wir lediglich moderate Zusammenhänge (.38–.51).

Schlussfolgerung: Wir diskutieren die Implikationen unserer Analyse sowohl für die Interpretation von Prozess-Ergebnis Befunden als auch für Designüberlegungen in zukünftigen Untersuchungen.

目的：由於過往研究者在治療歷程與治療成效的研究領域中遭遇了困境，我們描述幾個受歡迎的平均數取向的限制來理解心理治療之效果。方法與結果：本研究採取資料模擬的方式，發現在接近心理治療的情境中，治療品質與治療成效間的關聯性是很低的（接近.25）。儘管本研究試圖模擬改變的條件，以強化治療歷程與結果間的關聯，兩者間的關係也僅有中度相關（.38–.51）。結論：我們討論本研究發現的應用性，並提出對未來研究的建議。

Keywords:

• psychotherapy
• process-outcome research
• mechanisms of change
• common factors
• technique

Acknowledgments

We wish to thank Lorenzo Lorenzo-Luaces and Kim de Jong for their helpful comments on an earlier draft of this manuscript.

Notes

1. Skew = −.45; where negative values indicate left-skewed distributions and positive values indicate right-skewed distributions. A value of zero indicates a symmetric distribution.

2. Kurtosis = 1.7 (heavy tailed), where a normal distribution has a kurtosis of 0. Positive values indicate heavy-tailed distributions and negative values indicate light-tailed distributions.