The Psychotherapy Outcome Problem: The Development of the Outcome Stability Index

Abstract

Objective: Psychotherapy research commonly utilizes clients’ last session score as an indicator of treatment outcome. We examined whether this last session score is consistent with what would be predicted based on clients’ general trajectory in psychological functioning across sessions. We focused on the unstandardized residual variance at the last session, as this represents the degree to which the session score is divergent (or not) from what is predicted from the previous sessions (i.e., Outcome Stability Index; OSI). Method: The sample included 27,958 clients who attended on average 9.41 sessions. Each session, clients completed the Behavioral Health Measure-20 as a measure of psychological functioning. We converted the unstandardized residual variance for clients’ last session score into a Cohen’s d coefficient to aid in interpretation. Results: The mean OSI was 0.07 (SD = 0.58), suggesting excellent stability in their last session therapy outcome scores. However, approximately 33% of clients demonstrated poor or extremely problematic stability in their last session therapy outcome scores. Clients who demonstrated poor stability were classified as demonstrating reliable deterioration. Conclusions: Researchers may want to consider reporting OSI to assist readers’ understanding of the stability of therapy outcomes.

Clinical or methodological significance of this article: Therapy outcome scores can vary from session to session, which can influence how we understand therapy outcomes that rely on last session scores. Studies examining therapy outcomes could report the Outcome Stability Index to better contextualize the results.

Resumo

Objetivo: A pesquisa em psicoterapia geralmente utiliza a pontuação da última sessão do cliente como um indicador do resultado do tratamento. Nós examinamos se esta pontuação da última sessão é consistente com o que seria previsto com base na trajetória geral do funcionamento dos entre as sessões. Nós nos concentramos na variância residual não padronizada na última sessão, já que esta representa o grau em que a pontuação da sessão é divergente (ou não) do que é previsto nas sessões anteriores (i.e., Índice de Estabilidade de resultados [Outcome Stability Index]; OSI). Método: A amostra incluiu 27.958 clientes que compareceram em média a 9,41 sessões. Em cada sessão, os clientes completaram o Behavioral Health Measure-20 como uma medida do funcionamento psicológico. Convertemos a variação residual não padronizada para a pontuação da última sessão do cliente em um coeficiente d de Cohen para ajudar a interpretação. Resultados: O OSI médio foi de 0,07 (DP=0,58), sugerindo excelente estabilidade nos escores de resultados da última sessão terapêutica. No entanto, aproximadamente 33% dos clientes demonstraram estabilidade fraca ou extremamente problemática nas pontuações dos resultados da última sessão de terapia. Os clientes que demonstraram baixa estabilidade foram classificados como demonstrando deterioração. Conclusões: Os pesquisadores podem querer considerar reportar OSI para auxiliar a compreensão dos leitores sobre a estabilidade dos resultados da terapia.

Significância clínica ou metodológica deste artigo: Os escores dos resultados da terapia podem variar de uma sessão para outra, o que pode influenciar o modo como entendemos os resultados da terapia que dependem das pontuações da última sessão. Estudos que examinam os resultados de terapia poderiam relatar o Índice de Estabilidade de Resultados para melhor contextualizar os resultados.

Abstract

Obiettivo: La ricerca in psicoterapia comunemente utilizza il punteggio dell'ultima seduta del cliente come un indicatore del risultato del trattamento. Abbiamo esaminato se il punteggio di questa ultima sessione fosse coerente con quello che sarebbe stato previsto sulla base della traiettoria generale del funzionamento psicologico dei clienti attraverso le sedute. Ci siamo concentrati sulla varianza residua non standardizzata nell'ultima sessione, e su come questa rappresenti il grado in cui il punteggio della seduta è divergente (o meno) rispetto a quanto previsto dalle sessioni precedenti (cioè, Indice di stabilità generale, OSI). Metodo: il campione includeva 27.958 clienti che frequentavano in media 9.41 sedute. Per ogni seduta, i clienti hanno completato la misura di salute comportamentale-20 come misura di funzionamento psicologico. Abbiamo convertito la varianza residua non standardizzata per il punteggio dell'ultima sessione dei clienti in un coefficiente di Cohen in cui intervenire nell'interpretazione. Risultati: l'OSI medio era 0,07 (DS=0,58), il che suggerisce un'eccellente stabilità nella terapia dell'ultima sessione tratta dai punteggi sui risultati. Tuttavia, circa il 33% dei clienti ha dimostrato una stabilità scarsa o estremamente problematica nell'ultimo periodo dei punteggi di esito della seduta della terapia. I clienti che hanno dimostrato scarsa stabilità nella loro ultima seduta sono stati classificati come affidabili di deterioramento. Conclusioni: i ricercatori potrebbero voler prendere in considerazione la possibilità di riportare OSI per aiutare i lettori a comprendere il livello di stabilità dei risultati della terapia.

Significato clinico o metodologico di questo articolo: i punteggi di esito della terapia possono variare da una seduta all'altra, che può influenzare il modo in cui comprendiamo i risultati della terapia che si basano sui punteggi dell'ultima sessione. Studi che esaminano i risultati della terapia potrebbero riportare l'Indice di stabilità finale per contestualizzare meglio i risultati.

目的：心理治療研究通常會利用個案的最後一次晤談評分作為處遇效果的指標。我們檢視最後一次晤談分數能否與個案在逐次晤談心理功能總體軌跡預測之結果相一致。我們關注於最後一次晤談的非標準化殘差變異數，因為這代表晤談分數與先前晤談所預測之（亦即結效果穩定性指數；OSI）離散/不同的程度。方法：樣本包括27,958名個案，平均參加了9.41次晤談。每次晤談個案都完成行為健康量表-20，以作為心理功能的評估標準。我們亦將個案最後一次晤談分數的非標準化殘差變異數轉換為Cohen係數，以便於解釋。結果：平均OSI為0.07（SD=0.58），表示其最後一次治療效果評分具有極好的穩定性，然而，大約有33%的個案在他們的最後一次治療效果評分中，表現出不良或極端有問題的穩定性，而這些表現出穩定性差的個案被歸類為持續惡化。結論：研究人員可能需要考慮報告OSI以幫助讀者理解治療結果的穩定性。

Keywords:

• therapy outcome
• stability
• psychotherapy
• variance

Palavras-chave:

• resultado terapêutico
• estabilidade
• psicoterapia
• variância

Parole chiave:

• esito della terapia
• stabilità
• psicoterapia
• varianza

關鍵詞:

• 治療效果
• 穩定性
• 心理治療
• 變異數

ORCID

Jill L. Adelson http://orcid.org/0000-0001-9929-1327

Notes

1 Although the majority of studies support psychotherapy as a means to alleviate psychological distress, there is a lack of specificity in the causal models due to a variety of confounds that can complicate studies, especially in studies with small sample sizes or nonrandomized designs.

2 The stability of the pretreatment score could also have fluctuations; however, outside of multiple baseline pre-assessments this will not be known (as early treatment response is a common phenomena). Yet, regardless of the pre-treatment issue, the stability in the outcome of psychotherapy continues to be an important outcome in of itself. Thus, the OSI is not contingent on the pre-therapy score.

3 Randomization does not solve the issue of utilizing one score to denote outcome. Rather, the comparison groups (e.g., experimental treatment vs. treatment as usual) will likely be equally affected by the stability (or instability) of the outcome score. Thus, randomization to conditions assumes that the outcome metric is appropriate in the first place.

4 The log-linear was a better fitting model as compared to linear and quadratic rate of change (delta AIC & BIC >1000). When we attempted to run the GEL model with cubic change modeled, the analyses would not converge.

5 We also examined the effects of using the last three sessions, and the results were consistent.

6 The pre-post effect size was computed by Post Mean-Pre Mean/SD-pre.