Effect size calculations for the clinician: Methods and comparability

Abstract

Objective: The measurement of clinical change via single-group pre-post effect size has become increasingly common in psychotherapy settings that collect practice-based evidence and engage in feedback-informed treatment. Different methods of calculating effect size for the same sample of clients and the same measure can lead to wide-ranging results, reducing interpretability. Method: Effect sizes from therapists—including those drawn from a large web-based database of practicing clinicians—were calculated using nine different methods. Results: The resulting effect sizes varied significantly depending on the method employed. Differences between measurement methods routinely exceeded 0.40 for individual therapists. Conclusions: Three methods for calculating effect sizes are recommended for moderating these differences, including two equations that show promise as valid and practical methods for use by clinicians in professional practice.

Ziele: Die Messung klinischer Veränderung durch Einzelgruppen vorher-nachher Effektgrößen ist zunehmend gewöhnlich in psychotherapeutischen Situationen geworden, welche anwendungsbasierte Hinweise sammeln und in feedbackfundierten Behandlungen erfassen. Verschiedene Methoden der Berechnung von Effektgrößen für die gleiche Stichprobe von Klienten und die gleiche Messung können zu weitreichenden Ergebnissen und zu Verminderungen in der Interpretierbarkeit führen. Methode: Effektgrößen von Therapeuten- einschließlich dieser, die von einem großen internetbasierten Datenbestand von praktizierenden Klinikern gezogen wurden- wurden durch Nutzung von neun verschiedenen Methoden berechnet. Ergebnisse: Die resultierenden Effektgrößen variierten signifikant abhängig von der verwendeten Methode. Unterschiede zwischen Behandlungsmethoden sind gewöhnlich größer als 0.40 für individuelle Therapeuten. Schlussfolgerung: Drei Methoden der Effektstärkenberechnung werden empfohlen, um diese Unterschiede zu mäßigen, einschließlich zweier mathematischer Gleichungen, die versprechen, als valide und geeignete Methoden von Klinikern in professioneller Tätigkeit verwendet werden zu können.

目的:藉由單組前後測之效果值來測量臨床的改變，以搜集實務上的實證效能並進行回饋－告知的治療，是心理治療場域越來越常見的作法。針對同一群個案同一向度之測量，運用不同效果值計算方法，會導致差距很大的不同結果，因而降低解釋力。方法：運用九種不同的方法計算來自治療者的效果值－包含取自實務工作者的網路資料庫。結果：所得的效果值因所應用的方法而有顯著的不同。個別治療師運用不同評量方法造成的差異值經常會超過0.40. 結論: 建議三種可以調節這些差異的效果值計算方法，包含二個對臨床實務工作者而言，有效且實用的方程式。

Obiettivo: La misura del cambiamento clinico attraverso l'effect-size pre-post di un gruppo singolo è diventato un metodo sempre più comune in contesti di psicoterapia che raccolgono evidenze basate sulla pratica e si impegnano in trattamenti con feedback informativi. Diversi metodi di calcolo dell'effect size sullo stesso campione di pazienti e sulla stessa misura possono portare a risultati di ampio respiro, riducendo l'interpretabilità. Metodo: E’ stato calcolato l'effect size dai terapeuti - tra cui quelli ricavati da un vasto database web-based di clinici praticanti - utilizzando nove diversi metodi. Risultati: Gli effect size ottenuti variavano notevolmente a seconda del metodo utilizzato. Le differenze tra i metodi di misurazione di routine superavano 0,40 per i singoli terapeuti. Conclusioni: sono stati raccomandati tre metodi per il calcolo dell'effect size per moderare queste differenze, tra cui due equazioni che sembrano essere promettenti come metodi validi e pratici per l'utilizzo da parte dei clinici nella pratica professionale.

Objetivos: A medição da mudança clínica através do effect size de um só grupo em pré e pós teste tem sido cada vez mais comum em contextos psicoterapêuticos que recolhem evidências baseadas na prática e realizam tratamentos informados pelo feedback. A utilização de diferentes métodos para calcular o effect size para a mesma amostra de clientes e para a mesma medida pode conduzir a resultados amplos, reduzindo a sua interpretabilidade. Medidas: Os effect sizes dos terapeutas (incluindo os recolhidos de uma extensa base de dados de clínicos praticantes baseada na web) foram calculados utilizando nove métodos diferentes. Resultados: Os effect sizes resultantes variaram significativamente dependendo do método utilizado. As diferenças entre os métodos de análise excederam repetidamente 0.40 para cada terapeuta. Conclusão: São recomendados três métodos para calcular os effect sizes de forma a moderar essas diferenças, incluindo duas equações que representam boas possibilidades como métodos válidos e práticos para serem utilizados por clínicos na prática profissional.

Keywords:

• psychotherapy outcomes
• effect size
• effectiveness
• clinical change
• outcome measurement