How to assess the quality of psychotherapy outcome studies: A systematic review of quality assessment criteria

Abstract

Objective: Although it is widely accepted that the quality of a study may affect its results, there is no agreed specific standard for assessing the quality of psychotherapy outcome studies. This study aims to review the existing variety of relevant quality assessment criteria. Method: We identified relevant quality measures based on a systematic literature search. To determine the specific relevance of the available quality criteria, we consulted experts in the field of psychotherapy outcome research. Results: Nineteen different measures providing 185 different quality criteria were included. Four measures specifically focused psychotherapy studies, none of these were designed for studies without a control group. Experts did judge 20% of the items as “absolutely indispensable.” Conclusions: Quality criteria that are exclusively related to the context of psychotherapy research are rare. Further research is required to examine the empirical relation between specific quality criteria and study results.

Obiettivo: Anche se è ampiamente accettato che la qualità di uno studio può influenzare i suoi risultati, non vi è accordo su standard specifici di valutazione della qualità degli studi di esito in psicoterapia. Questo studio si propone di rivedere l'attuale moltepicità dei principali criteri di valutazione della qualità. Metodo: Abbiamo identificato i principali criteri di qualità a partire da una ricerca sistematica della letteratura. Per determinare la rilevanza specifica dei criteri di qualità disponibili, abbiamo consultato esperti nel campo della ricerca di esito in psicoterapia. Risultati: Sono state identificate diciannove differenti strumenti che forniscono 185 diversi criteri di qualità. Quattro strumenti si focalizzano in modo specifico su studi di psicoterapia, nessuno di questi era stato pensato per studi senza un gruppo di controllo. Gli esperti hanno giudicato il 20% degli item come "assolutamente indispensabili". Conclusioni: I criteri di qualità che sono legati esclusivamente al contesto della ricerca in psicoterapia sono rari. Sono necessarie ulteriori ricerche per esaminare la relazione empirica tra i criteri specifici di qualità e risultati degli studi.

Objetivo: Embora seja amplamente aceite que a qualidade de um estudo possa afetar os seus resultados, não existe um critério padronizado consensual para avaliar a qualidade dos estudos sobre resultado em psicoterapia. Método: Identificámos medidas de qualidade relevantes com base numa revisão sistemática da literatura. Para determinar a relevância específica de um dado critério de qualidade, consultámos alguns peritos da área de investigação de resultado em psicoterapia. Resultados: Foram incluídas 19 medidas distintas com 185 critérios de qualidade. Quatro dessas medidas focaram-se especificamente em estudos de psicoterapia, e nove das mesmas foram desenhadas para estudos sem grupo de controlo. Os peritos consideraram 20% dos itens como “absolutamente indispensáveis”. Conclusões: São raros critérios de qualidade que estejam exclusivamente relacionados com o contexto da investigação em psicoterapia. É necessária mais investigação para analisar a relação empírica entre critérios de qualidade específicos e os resultados dos estudos.

Ziel: Obwohl es die verbreitete Annahme gibt, dass die Qualität einer Studie deren Ergebnisse beeinflussen kann, gibt es keinen Konsens bezüglich spezifischer Standards für die Bewertung der Qualität psychotherapeutischer Ergebnisstudien. Ziel dieser Studie ist es, die vorhandene Vielzahl relevanter Kriterien zur Qualitätsbeurteilung zusammenzufassen. Methode: Wir identifizierten relevante Qualitätsmaße anhand einer systematischen Literaturrecherche. Um die spezifische Relevanz der verfügbaren Qualitätskriterien festzustellen, führten wir eine Befragung von Experten im Bereich der psychotherapeutischen Ergebnisforschung durch. Ergebnisse: Neunzehn verschiedene Maße, welche 185 verschiedene Qualitätskriterien lieferten, wurden eingeschlossen. Bei vier Maßen lag der Fokus spezifisch auf Psychotherapiestudien und keiner von ihnen war für Studien ohne Kontrollgruppen gedacht. Die Experten schätzen 20% der Items als „absolut unverzichtbar“ ein. Schlussfolgerungen: Qualitätskriterien, welche ausschließlich im Zusammenhang mit dem Kontext von Psychotherapiestudien stehen sind selten. Weitere Forschung ist notwendig, um die empirische Beziehung zwischen spezifischen Qualitätskriterien und Studienergebnissen zu beleuchten.

目的：雖然目前已普遍認定研究之品質會影響其結果，但對於評估心理治療效果研究品質的明確標準仍尚未有共識，本研究之目的即在回顧現有品質評估之相關標準的種類。方法：以系統性文獻搜尋找出相關的品質測量工具，並對心理治療效果研究領域之專家尋求諮詢，以判斷所取得之品質標準的重要性。結果：發現19項測量工具，共含有185項品質標準。其中有四項測量專門聚焦於心理治療研究，但它們皆不是為無控制組研究而設計。專家們的確認為其中20% 是「不可或缺」的。結論：與心理治療研究之內容息息相關的品質標準極少，未來尚須探討各項品質標準與研究結果之間的實徵關係。

Keywords:

• systematic review
• quality
• psychotherapy
• outcome
• expert rating

Parole chiave::

• revisione sistematica
• qualità
• psicoterapia
• esito
• valutazione di esperti

Schlüsselwörter::

• systematisches Review
• Qualität
• Psychotherapie
• Ergebnis
• Expertenrating

關鍵字：:

• 系統性回顧
• 品質
• 心理治療
• 效果
• 專家評量

Acknowledgements

We want to thank the participating experts for rating the relevance of quality items. We would like to thank Jana Sommer for helpful comments to an earlier version of this draft.

Disclosure statement

No potential conflict of interest was reported by the authors.

Additional information

Funding

This work was supported by the Köhler Stiftung im Stifterverband für die deutsche Wissenschaft [grant number S112/10104/10]. The Köhler Stiftung did not influence the study design, conduct, and publication.