Allegiance effects in mindfulness-based interventions for psychiatric disorders: A meta-re-analysis

Abstract

Objectives: A recent meta-analysis reported that mindfulness-based interventions (MBIs) outperform specific active control conditions but not evidence-based treatments (EBTs) across various psychiatric conditions. Given both comparison conditions represent bona fide treatments, the superiority of MBIs over other bona fide treatments is unexpected. The current study examined researcher allegiance (RA) as a potential source of bias that may explain this result. Method: All studies from the original meta-analysis that compared MBIs with bona fide psychological treatments were included. RA was independently coded using established methods. A series of meta-analyses examined the RA-outcome association and the degree to which RA may account for the effect of EBT status. Results: Sixty independent comparisons (n = 5,627) were included. MBIs outperformed bona fide treatment comparisons overall (g = 0.13), but effects were smaller with EBT comparisons. RA towards MBIs was associated with larger effects. No evidence for superiority of MBIs was found when RA was absent or balanced. Further, EBT status no longer predicted effects when controlling for RA. Conclusions: RA appears to be a potential source of bias in MBI research that should be considered when interpreting existing studies (clinical trials, meta-analyses) and planning future studies. RA may account for smaller effects when using EBT comparisons.

Obiettivi: una recente meta-analisi ha riportato che gli interventi basati sulla mindfulness (MBIs) superano di gran lunga specifiche condizioni di controllo attivo ma non trattamenti basati sull'evidenza (EBTs) in diverse condizioni psichiatriche. Dato che entrambe le condizioni di confronto rappresentano trattamenti bona fide (guidati da strutture teoretiche coerenti), la superiorità degli MBIsu altri trattamenti bona fide è inattesa. Il presente studio ha esaminato la fedeltà del ricercatore (RA) come potenziale fonte di errore che può spiegare questo risultato. Metodo: Sono stati inclusi tutti gli studi dalla meta-analisi originale che hanno confrontato gli MBI con altri trattamenti psicologici bona fide. La RA è stata codificata indipendentemente utilizzando metodi consolidati. Una serie di meta-analisi ha esaminato l'associazione RA-esito e il grado in cui la RA potrebbe rendere conto dell'effetto dello status di EBT. Risultati: Sono stati inclusi sessanta confronti indipendenti (n= 5,627). Gli MBI hanno superato di gran lunga i trattamenti bona fide di confronto in generale (g= 0.13), ma l'effetto era piccolo nel confronto con gli EBT. La RA verso gli MBI è stata associata con un effetto più grande. Nessuna prova di superiorità degli MBI è stata trovata quando la RA era assente o equilibrata. Inoltre, lo status di EBT non era più predittivo quando la RA era controllata. Conclusioni: la RA appare essere una fonte potenziale di errore nella ricerca sugli MBI che dovrebbe essere considerata quando si interpretano gli studi esistenti (trial clinici, meta-analisi) e si pianificano studi futuri. La RA potrebbe rendere conto per effetti più piccoli quando si usano confronti EBT.

Objetivos: Uma meta-análise recente indica que intervenções baseadas em mindfulness (IBMs) tiveram um melhor desempenho quando comparadas com condições de controlo ativas específicas, mas não quando comparadas com tratamentos baseados em evidência (TBE) entre várias condições psiquiátricas. Uma vez que ambas as condições comparadas representam tratamentos bona fide, a superioridade de IBMs sobre outro tratamento bona fide é inesperada. Esta investigação analisou a lealdade do investigador (LI) como uma potencial fonte de viés que poderá explicar estes resultados. Método: Todos os estudos da meta-analise original que comparou IBMs com tratamentos psicológicos bona fide foram incluídos. LI foi codificada independentemente utilizando as metodologias estabelecidas. Várias meta-análises avaliaram a associação entre a LI e o resultado, e em que nível a LI pode explicar o efeito dos TBE. Resultados: Foram incluídas sessenta comparações independentes (n = 5627). No geral, IBMs obtiveram um melhor desempenho quando comparadas com tratamentos bona fide (g = 0.13), mas os efeitos foram menores quando feitas as comparações com TBE. A LI para com as IBMs foi associada a efeitos maiores. Não foi encontrada evidência para explicar a superioridade das IBMs na ausência de LI ou quando esta foi balanceada. Adicionalmente, TBE não teve efeito preditor quando a LI estava controlada. Conclusões: A LI parece ser uma potencial fonte de viés na investigação em IBMs, que deverá ser tido em consideração aquando da interpretação de estudos existentes (estudos de caso, meta-análises) assim como o planeamento de estudos futuros. A LI poderá estar por trás de efeitos menores quando feitas comparações com TBE.

目的：一個近期後設分析顯示以正念為基礎的介入（MBIs）在特定的主動控制情境 中表現佳，但在以證據為基礎（EBTs）的各式精神疾病處遇中，並未有同樣亮麗的 結果。因著這兩種對照情境都代表真實處遇，因此照理以正念為基礎的介入不應該會優於其他真實處遇。本研究檢視研究者期望（RA）的潛在偏誤來源，是否可能可 以解釋此結果。方法：蒐集並納入所有比較以正念為基礎與真實心理處遇的原始後設分析研究。使用已建立的方法，將研究者期望設定為獨立變項。一系列後設分析檢視研究者期望與結果之間的關聯，以及研究者期望占以證據為基礎處遇成效的比例程度。結果：蒐集 60 個獨立對照（n=5,627）。整體而言，以正念為基礎的介入比起真實處遇（g=0.13）表現好，但是以證據為基礎的處遇效果值較低。以正念為 基礎介入的研究者期望與較大效果有關連。當研究者期望沒有出現或加以平衡掉時， 沒有證據支持以正念為基礎的處遇較好。再者，當研究者期望被控制住時，以證據為基礎的處遇狀態不再有預期效果。結論：研究者期望似乎在以正念為基礎的介入是一個潛在的偏誤來源，因此在解釋當前研究（臨床試驗、後設分析）時需要將此納入考量。當使用以證據為基礎處遇對照時，研究者期望可以解釋較小的效果值。

Keywords:

• researcher allegiance
• mindfulness-based interventions
• psychiatric disorders
• meta-analysis
• relative efficacy

Parole chiave:

• fedeltà del ricercatore
• interventi basati sulla mindfulness
• disturbi psichiatrici
• meta-analisi
• efficacia relativa

Palavras-chave:

• lealdade do investigador
• intervenções baseadas em mindfulness
• perturbações psiquiátricas
• meta-analises
• eficácia relativa

關鍵字:

• 研究者期望
• 以正念為基礎的介入
• 精神疾病
• 後設分析
• 相對有效性

Supplemental data

Supplemental data for this article can be accessed at https://doi.org/10.1080/10503307.2019.1664783.

ORCID

Simon B. Goldberg http://orcid.org/0000-0002-6888-0126

Raymond P. Tucker http://orcid.org/0000-0001-9256-6113

Notes

1 Goldberg et al. (2018) did examine differences in dosage as a moderator of treatment effects, a design feature that has been used previously as an indicator of allegiance (Yulish et al., 2017). When examined within comparison type, Goldberg et al. report that dosage matching did not moderate effects. However, Goldberg et al. did not identify this as an aspect of allegiance.

2 Bowen et al. (2014) and Garland, Roberts-Lewis, Tronnier, Graves, and Kelley (2016) both had two bona fide comparison conditions against which an MBI was tested.

3 Both raw and simplified RA remained significant predictors of outcomes when the negative effect size outlier (Chavooshi, Mohammadkhani, & Dolatshahee, 2016) was excluded (gs = 0.08, 0.23, ps < .05, for raw and simplified RA, respectively).

4 An anonymous reviewer suggested an additional set of analyses in order to examine the degree to which allegiance may be confounded with aspects of study quality. In particular, the reviewer suggested we predict outcomes with the first allegiance item alone (i.e., whether author advocates for treatment or developed treatment) and whether the remaining allegiance items (i.e., items 2 through 7) mediate the relationship of the first item with outcome. Item 1 and the sum of items 2 through 7 were correlated (r = .46 [0.21, 0.70]). Further, we found that item 1 did predict outcomes in the expected direction (g = 0.20 [0.02, 0.37]) as did the sum of items 2 through 7 (g = 0.11 [0.01, 0.22]). Neither item 1 nor the sum of items 2 through 7 remained significant when entered simultaneously into a meta-regression model (gs = 0.14 [−0.05, 0.34] and 0.08 [−0.04, 0.19], for item 1 and the sum of items 2 through 7, respectively). Thus, it appears possible (based on the non-significant effect of item 1 when controlling for items 2 through 7) that methodologically favouring one treatment may be a pathway through which allegiance is expressed and impacts outcome.

Additional information

Funding

This work was supported by a Varela Award from the Mind & Life Institute to Simon B. Goldberg and the University of Wisconsin–Madison, Office of the Vice Chancellor for Research and Graduate Education with funding from the Wisconsin Alumni Research Foundation.