Therapist effects in psychotherapy: A random-effects modeling of the National Institute of Mental Health Treatment of Depression Collaborative Research Program data

Abstract

Data for completer and intent-to-treat samples from the two psychotherapy conditions of the National Institute of Mental Health Treatment of Depression Collaborative Research Program were analyzed to estimate the proportion of variability in outcomes resulting from therapists. Therapists, who were nested within treatments, were considered a random factor in multilevel analyses. These analyses, which modeled therapist variability in several different ways, indicated that about 8% of the variance in outcomes was attributable to therapists, whereas 0% was due to the particular treatment delivered. When therapist effects were appropriately modeled, previously detected differences in efficacy between the two psychotherapy conditions for more severely depressed patients disappeared, as predicted by methodological considerations.

Daten von vollständigen Stichproben mit einer Behandlungsabsicht, von den beiden Psychotherapiebedingungen des gemeinsamen Forschungsprogramms des Nationalen Instituts für psychische Gesundheit zur Behandlung von Depression, wurden analysiert, um den Anteil der Variabilität im Ergebnis zu schätzen, der auf Therapeuteneinfluss beruht. Die Therapeuten, innerhalb ihrer Behandlungen vernetzt, wurden als Zufallsfaktor in Multiebenen-Analysen betrachtet. Diese Analysen, die Therapeutenvariabilität, auf verschiedene Art modelliert, gab zu erkennen, dass ca. 8 Prozent der Varianz im Therapieergebnis den Therapeuten zuzuschreiben war, während 0% auf die spezifische Behandlung zurückzuführen war. Wenn die Therapeuteneffekte in geeigneter Weise modelliert wurden, verschwanden, wie durch methodische Überlegungen vorhergesagt, die früher gefundenen Effektivitätsunterschiede zwischen den beiden Psychotherapiebedingungen für schwerer depressive Patienten.

Les données pour les échantillons de patients avec intention de se soigner et qui ont terminé le traitement et pour les deux conditions du Programme Collaboratif sur la Dépression de l'Institut National de Santé Mentale (NIMH) ont été analysées pour estimer la proportion de variabilité des résultats provenant des thérapeutes. Les thérapeutes, qui étaient emboîtés avec les traitements, ont été considérés comme un facteur aléatoire dans des analyses multi-niveaux. Ces analyses, qui modélisent la variabilité du thérapeute de plusieurs manière différentes, indiquent que 8% environ de la variance des résultats est attribuable aux thérapeutes, alors que 0% est attribuable au traitement particulier délivré. Lorsque les thérapeutes sont modélisés de manière appropriée, les différences détectées précédemment entre les deux conditions thérapeutiques pour les patients les plus sévèrement déprimés disparaissent, comme prédit par des considérations méthodologiques.

Se analizó la variabilidad de los resultados debidos al terapeuta en muestras de tratamientos completados y prospectivos (completer and intent-to-treat samples) de las dos psicoterapias para el tratamiento de la depresión del Programa de investigación colaborativa del Instituto Nacional de Salud Mental. Se consideró que los terapistas, ubicados en los tratamientos (nested within treatments), eran un factor para randomizar en análisis multinivel (multilevel analyses). Estos análisis, que configuran la variabilidad del terapeuta en diferentes formas, indicaron que aproximadamente el 8% de la varianza en los resultados es atribuible a los terapeutas, mientras que no hay varianza debida al tratamiento particular administrado. Como se predijo por consideraciones metodológicas, cuando los efectos del terapeuta fueron modelizados apropiadamente, desaparecieron las diferencias en eficacia previamente detectadas entre las dos psicoterapias para pacientes más severamente deprimidos.

Foram analisados dados de amostras que completaram o tratamento e que iniciaram tratamento das duas condiç[otilde]es psicoterapêuticas do Programa Colaborativo de Investigação do Tratamento da Depressão do Instituto Nacional de Saúde Mental dos EUA para determinar a proporção da variabilidade de resultados terapêuticos resultante dos terapeutas. Os terapeutas, que no desenho forneciam apenas um tipo de tratamento, foram considerados como um factor aleatório nas análises de múltiplos níveis. Estas análises, reflectem a variabilidade dos terapeutas de diversas formas, que modelaram cerca de 8% da variância dos resultados terapêuticos era atribuível aos terapeutas, enquanto que 0% se devia ao tratamento específico prestado. Quando os efeitos dos terapeutas estavam adequadamente adaptados, desapareciam as diferenças modeladas anteriormente na eficácia entre as duas condiç[otilde]es psicoterapêuticas para os pacientes mais deprimidos, tal como o prediziam os pressupostos metodológicas.

I dati per i campioni pi[ugrave] trattati e da trattare con le due condizioni psicoterapeutiche dell'Istituto Nazionale di Trattamento della Salute Mentale del programma di ricerca in equipe sulla depressione sono stati analizzati al fine di valutare la proporzione di variabilità negli esiti che risultano dai terapeuti.

I terapeuti che erano inseriti nei trattamenti sono stati considerati un fattore casuale nelle analisi multilivello. Queste analisi, che hanno modellato la variabilità del terapeuta in parecchi modi diversi, hanno indicato che circa l'8% della varianza degli esiti era attribuibile ai terapeuti, mentre lo 0% era dovuto al particolare trattamento somministrato.

Quando gli effetti dei terapeuti erano appropriatamente modellati, le differenze nell'efficacia precedentemente rilevate tra le due condizioni psicoterapeutiche per i pazienti pi[ugrave] severamente depressi scomparvero, come predetto dalle considerazioni metodologiche.

Notes

1. A therapist assigned only one client was eliminated because the methods used estimate covariation of scores within therapists.

2. The correlations are consistently in the same direction, after the scaling of the instruments is taken into account.

3. Care must be taken when comparing findings across studies to ensure that population proportions rather than sample proportions are used. Some studies (e.g., Huppert et al., 2001), which consider therapists as a fixed factor in an ANOVA or regression, tend to report sample values. For example, if therapist was considered an independent variable in an ordinary least squares analysis, then the R ² attained would tend to overestimate the true proportion of variance resulting from therapists. Moreover, because therapists would be a fixed factor, the results would be conditioned on the therapists in the particular study (Serlin, Wampold, & Levin, 2003).