2,140
Views
6
CrossRef citations to date
0
Altmetric
CONSIDERATIONS OF HOW TO CONDUCT META-ANALYSES IN PSYCHOLOGICAL INTERVENTIONS

Moderators in psychotherapy meta-analysis

&
Pages 333-346 | Received 12 May 2017, Accepted 15 Dec 2017, Published online: 09 Jan 2018
 

Abstract

Psychotherapy meta-analyses sometimes generate heterogeneous results, partially due to key methodological characteristics which vary between studies (e.g., psychotherapy conditions are contrasted with structurally different control conditions). Examining these potential moderator variables can help explain heterogeneous results within and between psychotherapy meta-analyses. The present manuscript provides an overview of moderators that are highly relevant to test the generalizability of effects across psychotherapy trials. These moderators mainly fall into one of the following groups: (a) structural equivalence of interventions, (b) preferences/allegiances, (c) therapist effects, and (d) sample representativeness. Individual moderators include: Bona fide psychotherapy, proximity to psychological interventions, psychotherapy orientation, pre-training of therapists, supervision, caseload of therapists, dosage, homework, patient preferences, researcher and therapist allegiance, therapist effects in nested designs, aspects of sample representativeness, multiple outcomes, and time of assessment. Our analysis of 15 psychotherapy meta-analyses published in 2016 suggests that the structural equivalence of psychotherapeutic conditions, patient and therapist preferences/allegiances, therapist effects and nested data structures as well as sample representativeness were often neglected and little-discussed as potential moderators. The manuscript describes further conceptual and methodological challenges when conducting moderator analyses such as the categorization of psychological treatments and the importance of interrater coding. We encourage meta-analysts to consider moderators which have previously shown utility in explaining heterogeneous results in the psychotherapy literature.

Clinical or methodological significance of this article: Relevant moderator variables help explain heterogeneous results in psychotherapy meta-analyses. Though these variables are often overlooked, they should be regularly incorporated in meta-analyses.

Resumo

A metanálise da psicoterapia, por vezes, gera resultados heterogêneos, em parte devido às características metodológicas centrais que variam entre os estudos (por exemplo, as condições de psicoterapia são contrastadas com condições de controle estruturalmente diferentes). O exame dessas variáveis potenciais moderadoras pode ajudar a explicar os resultados heterogêneos nas meanalálises dentro e entre psicoterapias. O presente manuscrito fornece uma visão geral dos moderadores que são altamente relevantes para testar a generalização dos efeitos em ensaios de psicoterapia. Esses moderadores se enquadram principalmente em um dos seguintes grupos: (a) equivalência de intervenções, (b) preferências / fidelidades, (c) efeitos do terapeuta, e (d) representatividade da amostra. Moderadores individuais incluem: psicoterapia genuína (bona fide), proximidade com intervenções psicológicas, orientação psicoterapêutica, pré-treinamento de terapeutas, supervisão, casos por terapeutas, dosagem, lição de casa, preferências do paciente, fidelidade do pesquisador e terapeuta, efeitos do terapeuta em desenhos aninhados, aspectos da representatividade da amostra, múltiplos resultados e momento da avaliação. Nossa análise de 15 metanálises de psicoterapia publicadas em 2016 sugere que a equivalência estrutural de condições psicoterapêuticas, preferências / fidelidades do paciente e do terapeuta, efeitos do terapeuta e estruturas de dados aninhados bem como a representatividade da amostra foram frequentemente negligenciados e pouco discutidos como moderadores potenciais. O manuscrito descreve ainda os desafios conceituais e metodológicos ao conduzir análises de moderação, como a categorização dos tratamentos psicológicos e a importância da codificação entre avaliadores. Encorajamos os metanalistas a considerarem moderadores que anteriormente mostraram utilidade em explicar resultados heterogêneos na literatura sobre psicoterapia.

Significância clínica ou metodológica deste artigo: Variáveis moderadoras relevantes ajudam a explicar resultados heterogêneos em metanálises de psicoterapia. Embora essas variáveis sejam frequentemente negligenciadas, elas devem ser incorporadas regularmente nas metanálises.

Zusammenfassung

Metaanalysen auf dem Gebiet der Psychotherapie können heterogene Ergebnisse hervorbringen. Dies geht zum Teil darauf zurück, dass wichtige methodologische Charakteristiken zwischen den Studien variieren (z.B. Psychotherapiebedingungen werden mit strukturell unterschiedlichen Kontrollbedingungen verglichen). Die Untersuchung solcher potentieller Moderatorvariablen kann dabei helfen, heterogene Resultate innerhalb und zwischen Metaanalysen der Psychotherapie zu erklären. Dieses Manuskript bietet einen Überblick über Moderatoren, die höchst relevant sind, wenn es darum geht, die Generalisierbarkeit von Effekten über Psychotherapieprozesse hinweg zu testen. Diese Moderatoren lassen sich grundsätzlich in folgende Gruppen einteilen: (a) strukturelle Äquivalenz von Interventionen, (b) Präferenzen/ Zugehörigkeit, (c) Therapeuteneffekte und (d) Repräsentativität der Stichprobe. Individuelle Moderatoren beinhalten: Bona fide Psychotherapie, Nähe zu psychologischen Interventionen, Psychotherapieorientierung, vorherige Ausbildung des Therapeuten, Supervision, Anzahl der Fälle pro Therapeut, Dosierung, Hausaufgaben, Patientenvorlieben, Zugehörigkeit der Forscher und Therapeuten, Therapeuteneffekte in genesteten Designs, Aspekte der Repräsentativität der Stichprobe, multiple Ergebnismaße und der Messzeitpunkt. Unsere im Jahr 2016 publizierte Analyse von 15 Metaanalysen der Psychotherapie legt nahe, dass die strukturelle Vergleichbarkeit psychotherapeutischer Bedingungen, Präferenzen/Zugehörigkeiten der Patienten und Therapeuten, Therapeuteneffekte und genestete Datenstrukturen ebenso oft vernachlässigt und wenig als potenzielle Moderatoren diskutiert worden sind, wie die Repräsentativität der jeweiligen Stichprobe. Das Manuskript beschreibt weitere konzeptuelle und methodologische Herausforderungen bei der Durchführung von Moderatoranalysen, wie beispielsweise die Kategorisierung psychologischer Behandlungen und die Bedeutsamkeit der Interrater-Kodierung. Wir möchten Metaanalysten dazu ermutigen, Moderatoren in Betracht zu ziehen, die sich bisweilen bei der Erklärung heterogener Befunde in der psychotherapeutischen Literatur als nützlich erweisen konnten.

摘要

心理治療後設分析有時會產生異質性的結果,一部分是因為不同研究之間主要的方 法學特徵有所變化(例如:結構不同的控制組情境,其心理治療情境也完全不同)。 檢視這些潛在的調節變項可以幫助解釋心理治療後設分析當中或是之間的異質性 結果。本文提供那些在不同心理治療試驗之中,測試效果推論率時,有高度相關的 調節變項之概覽。這些調節變項主要可以被歸類在以下幾個群組之一:(a)介入處遇 的結構性均等,(b)偏好/忠誠,(c)治療師的效果,(d)樣本代表性。個別的調節變項 包括:真實的心理治療、類似心理介入、心理治療取向、治療師的訓練前狀況、督 導、治療師的案量、劑量、家庭作業、個案的偏好、研究者與治療師的忠誠、在巢 式設計的治療師效果、樣本代表性的面向、多重效果,以及評估的時間。我們分析 在2016年所發表的15篇心理治療後設分析,發現心理治療情境的結構性均等,個案 與治療師的偏好/忠誠,治療師效果與巢式資料結構與樣本代表這些潛在的調節變 項通常都被忽略或是鮮少被討論到。本文描述當執行調節變項分析,像是心理介入 處遇的歸類,與評分者間編碼的重要性,這些進一步概念性與方法學上的挑戰。我 們鼓勵進行後設分析者考慮這些之前顯示有助於解釋心理治療文獻中異質性結果 的調節變項。

Le meta-analisi in psicoterapia a volte producono risultati eterogenei, in parte a causa delle caratteristiche metodologiche chiave che variano tra gli studi (ad esempio, le condizioni di psicoterapia sono in contrasto con le condizioni di controllo strutturalmente diverse). Esaminare queste potenziali variabili moderatrici può aiutare a spiegare risultati eterogenei all'interno e tra le meta-analisi in psicoterapia. Questo lavoro presenta una panoramica dei moderatori che sono più importanti per testare la generalizzabilità degli effetti tra gli studi in psicoterapia. Questi moderatori rientrano principalmente in uno dei seguenti gruppi: (a) equivalenza strutturale degli interventi, (b) preferenze / alleanze, (c) effetti del terapeuta e (d) rappresentatività del campione. I moderatori individuali includono: psicoterapia vera, vicinanza agli interventi psicologici, orientamento psicoterapeutico, formazione precedente dei terapeuti, supervisione, carico dei terapeuti, dosaggio, compiti a casa, preferenze del paziente, la fedeltà del ricercatore e del terapeuta, effetti del terapeuta nei disegni annidati, aspetti della rappresentatività del campione, risultati multipli e tempo di valutazione. La nostra analisi di 15 meta-analisi di psicoterapie pubblicata nel 2016 suggerisce che l'equivalenza strutturale delle condizioni psicoterapeutiche, preferenze/fedeltà del paziente e del terapeuta, effetti del terapeuta e strutture dei dati annidate, nonché la rappresentatività del campione sono state spesso trascurate e poco considerate come potenziali moderatori. L'articolo descrive ulteriori sfide concettuali e metodologiche nella conduzione delle analisi dei moderatori come la categorizzazione dei trattamenti psicologici e l'importanza della codifica degli inter-rater. Incoraggiamo i meta-analisti a prendere in considerazione moderatori che si sono precedentemente dimostrati utili nello spiegare i risultati eterogenei nella letteratura sulla psicoterapia.

Significato clinico o metodologico di questo articolo: Le variabili di moderazione rilevanti aiutano a spiegare risultati eterogenei nelle meta-analisi in psicoterapia. Sebbene queste variabili siano spesso trascurate, dovrebbero essere regolarmente incorporate nelle metanalisi.

Reprints and Corporate Permissions

Please note: Selecting permissions does not provide access to the full text of the article, please see our help page How do I view content?

To request a reprint or corporate permissions for this article, please click on the relevant link below:

Academic Permissions

Please note: Selecting permissions does not provide access to the full text of the article, please see our help page How do I view content?

Obtain permissions instantly via Rightslink by clicking on the button below:

If you are unable to obtain permissions via Rightslink, please complete and submit this Permissions form. For more information, please visit our Permissions help page.