Assessing clinical significance using robust normative comparisons

Abstract

Objective: Clinical significance determines whether an intervention makes a real difference in the everyday life of a client. One of the most recommended approaches for conducting group-level analyses of clinical significance is to evaluate whether the treated clinical group is equivalent to a normal comparison group (normative comparisons). The purpose of this study was to demonstrate the analytical and practical power of assessing clinical significance using normative comparisons that are robust to violations of normality and homogeneity of variance assumptions. Method: Six datasets were gleaned from published intervention studies for depression. Results: We found that normative comparisons using a robust Schuirmann-Yuen test determined equivalency for 11% fewer clinical samples compared to original normative comparisons that use a Schuirmann test of equivalence. Conclusions: We recommend that researchers conducting normative comparisons utilize the Schuirmann-Yuen procedure as it provides the most reliable method available for determining if a treated clinical group is equivalent to a normative comparison group.

Obiettivo: La significatività clinica determina se un intervento fa la differenza nella vita di tutti i giorni di un cliente. Uno degli approcci più consigliati per le analisi a livello di gruppo del significato clinico è quello di valutare se il gruppo clinico trattato è equivalente ad un normale gruppo di confronto (comparazione normativa). Lo scopo di questo studio era quello di dimostrare il potere analitico e pratico della valutazione della significatività clinica utilizzando le comparazioni normative che sono forti nei confronti delle violazioni di normalità e di omogeneità di ipotesi di varianza. Metodo: sono stati raccolti sei set di dati da studi pubblicati di intervento sulla depressione. Risultati: Abbiamo trovato che le comparazioni normative effettuate con un robusto Schuirmann-Yuen test ha stabilito l'equivalenza per l'11% in meno dei campioni clinici rispetto ai confronti normativi originali che utilizzano un test Schuirmann di equivalenza. Conclusioni: Si consiglia ai ricercatori di condurre comparazioni normative utilizzando la procedura Schuirmann-Yuen in quanto fornisce il metodo più affidabile a disposizione per determinare se un gruppo clinico trattato è equivalente ad un gruppo di comparazione normativo.

Ziel: Klinische Signifikanz gibt an, ob eine Intervention einen wirklichen Unterschied im Alltagsleben des Clients macht. Einer der am häufigsten empfohlenen Ansätze für die Einschätzung der Klinischen Signifikanz auf Gruppenebene ist zu evaluieren, ob die behandelte klinische Gruppe äquivalent zu einer normalen Vergleichsgruppe ist (normativer Vergleich). Das Ziel dieser Studie war es die analytischen und praktischen Möglichkeiten zu demonstrieren, die Klinische Signifikanzeinschätzungen haben, die auf normativen Vergleichen basieren, die robust gegenüber Verletzungen der Normalitäts- und Varianzhomogenitätsannahmen sind. Methode: Sechs Datensätze von veröffentlichten Interventionsstudien für Depression wurden verwendet. Ergebnisse: Normative Vergleiche mit einem robusten Schuirmann-Yuen Test zeigen die Äquivalenz für 11% weniger klinische Stichproben im Vergleich zu ursprünglichen normativen Vergleichen mit Schuirmann Test. Schlussfolgerungen: Wir empfehlen den Forschern, die normative Vergleiche durchführen, das Schuirmann-Yuen-Verfahren zu verwenden, da es die zuverlässigste Methode für die Äquivalenzbestimmung zwischen der behandelten klinischen Gruppe und der normativen Vergleichsgruppe bietet.

Objetivo: A significância clinica determina se uma intervenção produz uma diferença real no quotidiano do cliente. Uma das abordagens mais recomendadas para a realização de análises de grupo de significância clínica é avaliar se o grupo clínico tratado é equivalente ao grupo normativo de comparação (comparações normativas). O propósito deste estudo foi demostrar o poder analítico e prático da avaliação da significância clinica usando comparações normativas que são robustas em relação à violação dos pressupostos da normalidade e da homogeneidade das variâncias. Método: Foram recolhidas seis bases de dados de estudos publicados acerca da intervenção na depressão. Resultados: Os resultados demonstraram que as comparações normativas usando o teste robusto de Schuirmann-Yuen demonstraram equivalência para menos de 11% das amostras clínicas, quando comparadas com comparações originais normativas que usam um teste Schuirmann de equivalência. Conclusões: Recomendamos que os investigadores que conduzem comparações normativas utilizem o procedimento de Schuirmann-Yuen já que este constitui o método disponível mais fiável para determinar se um grupo clinicamente tratado é equivalente ao grupo normativo de comparação.

目的：臨床顯著性可以決定一項介入是否能對當事人的日常生活產生真實的差異。在進行團體層級的臨床顯著性分析時，最常被推薦的取向是評估實驗介入的臨床組是否等同於正常的比較團體（基準比較法）。本研究的目的係證明運用強而有力且違反變異數常態性與同質性假設的基準比較法來評估臨床顯著性的分析與實務考驗力。方法；本研究蒐集已發表的六項憂鬱介入研究的資料組。結果：我們發現，運用強而有力的Schuirmann-Yuen測試的基準比較法，少於11%的臨床樣本即可做出等同於運用Schuirmann等效測試的原始基準比較法的決定。結論：我們建議運用 Schuirmann-Yuen程序進行基準比較性研究，因為其提供現有最可以信賴的方式來決定實驗介入團體是否等同於基準比較團體。

Keywords:

• clinical significance
• intervention
• depression
• normative comparisons
• normality
• variance homogeneity
• assumptions