Sudden gains in routine clinical care: application of a permutation test for trauma-focused cognitive behavioural therapy

ABSTRACT

Background: Sudden gains, defined as large and stable improvements of psychopathological symptoms, are a ubiquitous phenomenon in psychotherapy. They have been shown to occur across several clinical contexts and to be associated with better short-term and long-term treatment outcome. However, the approach of sudden gains has been criticized for its tautological character: sudden gains are included in the computation of treatment outcomes, ultimately resulting in a circular conclusion. Furthermore, some authors criticize sudden gains as merely being random fluctuations.

Objective: Use of efficient methods to evaluate whether the amount of sudden gains in a given sample lies above chance level.

Method: We used permutation tests in a sample of 85 patients with posttraumatic stress disorder (PTSD) treated with trauma-focused cognitive behaviour therapy in routine clinical care. Scores of self-reported PTSD symptom severity were permuted 10.000 times within sessions and between participants to receive a random distribution.

Results: Altogether, 18 participants showed a total of 24 sudden gains within the first 20 sessions. The permutation test yielded that the frequency of sudden gains was not beyond chance level. No significant predictors of sudden gains were identified and sudden gains in general were not predictive of treatment outcome. However, subjects with early sudden gains had a significantly lower symptom severity after treatment.

Conclusions: Our data suggest that a significant proportion of sudden gains are due to chance. Further research is needed on the differential effects of early and late sudden gains.

HIGHLIGHTS

• Treatment-related sudden gains exhibit clinical significance when their manifestation is above chance level.

• We used permutation tests to examine their occurrence in trauma-focused cognitive behaviour therapy as applied in a naturalistic treatment setting.

• The occurrence of sudden gains in general was not significantly higher than chance, yet early sudden gains were associated with improved treatment outcome.

Antecedentes: Los progresos súbitos, definidos como mejorías amplias y estables en los síntomas psicopatológicos, son un fenómeno ubicuo en las psicoterapias. Se ha demostrado que suceden en diferentes contextos clínicos y que están asociados a mejores respuestas al tratamiento al corto y al largo plazo. Sin embargo, el abordaje de los progresos súbitos ha sido criticado por su carácter tautológico: Los progresos súbitos están incluidos en el cálculo de los resultados de los tratamientos, lo que resulta en una conclusión circular. Además, algunos autores realizan la crítica que los progresos súbitos no son sino meras fluctuaciones debidas al azar.

Objetivo: Usar métodos eficientes para evaluar si la cantidad de progresión súbita en una muestra determinada está por encima del punto de corte atribuido al azar.

Método: Empleamos pruebas de permutación en una muestra de 85 pacientes con el diagnóstico del trastorno de estrés postraumático (TEPT) en tratamiento con terapia cognitiva conductual centrada en el trauma en la atención clínica de rutina. Los puntajes de severidad de las escalas clínicas autorreportadas para TEPT fueron permutadas 10.000 veces entre las sesiones y entre los participantes para recibir una distribución aleatoria.

Resultados: En conjunto, 18 participantes mostraron un total de 24 progresos súbitos dentro de las primeras 20 sesiones. Las pruebas de permutación mostraron que la frecuencia de los progresos súbitos no se encontraba más allá del punto de corte atribuido al azar. Se identificaron predictores no significativos de progreso súbito, y el progreso súbito en general no fue predictor del resultado del tratamiento. Sin embargo, los sujetos con progresos súbitos tempranos obtuvieron significativamente una menor severidad en los síntomas luego del tratamiento.

Conclusiones: La información sugiere que una proporción significativa de progresos súbitos son debidas al azar. Se necesita más investigación en la diferenciación de los efectos de los progresos súbitos tempranos y tardíos.

KEYWORDS:

• Sudden gains
• PTSD
• routine clinical care
• trauma-focused treatment
• psychotherapy

PALABRAS CLAVE:

• Progresos súbitos
• TEPT
• atención clínica de rutina, tratamiento enfocado en trauma
• psicoterapia

Disclosure statement

No potential conflict of interest was reported by the author(s).

Data availability statement

We are unable to share the data publicly due to restrictions in the informed consent and ethical approval obtained for this study, which did not include the option of making the anonymised data publicly available.

Notes

1 A separate analysis of the SG-criteria showed that when only applying criterion 1 (and not two and three), 48 subjects showed a SG and when only applying criterion 1 together with criterion two or criterion three separately, 22 subjects showed a SG respectively.