Questioning the measurement precision of psychotherapy research

Abstract

Recent developments in psychometric theory have important implications for the development and validation of the instruments used in psychotherapy research. This article illustrates how the advances in latent trait and item response theory (IRT) have distinct advantages over classical test theory. The basic assumptions of IRT (unidimensionality, local independence, and monotonicity) and the concepts common to all four of the basic IRT models (item characteristic curve, item information function, and test information function) are reviewed. IRT methods are illustrated using responses to a psychotherapy outcome instrument from a large data set of a commercial health plan.

ABSTRACT

Jüngste Entwicklungen in der psychometrischen Theorie ziehen wichtige Schlussfolgerungen für die Entwicklung und Validierung von Instrumenten, die in der Psychotherapieforschung verwendet werden, nach sich. Dieser Artikel erläutert, dass die Fortschritte, die in der Latent-Trait- und Item-Reponse-Theorie (IRT) gemacht wurden, eindeutige Vorteile gegenüber der Klassischen Testtheorie mit sich bringen. Die Grundannahmen der IRT (Unidimensionalität, lokale stochastische Unabhängigkeit und Monotonie), und die Konzepte, die allen vier elementaren IRT-Modellen gemeinsam sind (Itemcharakteristik-Kurve, Iteminformationsfunktion, und Testinformationsfunktion), werden besprochen. IRT-Methoden werden erläutert, indem die Antworten eines Psychotherapie-Ergebnis-Fragebogens eines großen Datensatzes, der im Rahmen einer Befragung bzgl. eines gewerblichen Gesundheitsplans erhoben wurde, als Beispiel verwendet werden.

RÉSUMÉ

Les développements récents de la théorie psychométrique ont des implications importantes pour le développement et la validation d'instruments utilisés dans la recherche en psychothérapie. Cet article illustre comment les avancées dans les traits latents et la théorie des réponses aux items (IRT) ont des avantages sur la théorie des teste classique. Les hypothèse de base de l'IRT (unidimensionnalité, indépendance locale, et monotonicité) et les concepts communs des quatre modèles de base de l'IRT (courbe d'item caractéristique, fonction d'information par item, et fonction de test d'information) sont revus. Les méthodes IRT sont illustrées en utilisant les réponses à un instrument de résultats de psychothérapie à partir d'une importante base de données d'un plan de santé commercial.

ABSTRACT

I recenti sviluppi nella teoria psicometrica hanno importanti implicazioni per lo sviluppo e la validazione degli strumenti di ricerca utilizzati in psicoterapia. Questo articolo illustra come i progressi effettuati sul tratto latente e l'Item Response Theory (IRT) hanno distinti vantaggi rispetto alla teoria classica dei test. Le ipotesi di base di IRT (unidimensionalita, indipendenza locale e monotonicità) ed i concetti comuni a tutti e quattro i modelli di base dell'IRT (curva caratteristica dell'item, funzione informativa dell'item, e il test sulla funzione del'informazione) sono oggetto di revisione. I metodi IRT sono illustrati utilizzando le risposte ottenute su uno strumento utilizzato in psicoterapia.

Keywords:

• item response theory
• measurement
• psychotherapy outcomes
• latent trait theory
• classical test theory

Notes

1. Information on Winsteps software (v 3.65.0) can be found at http://www.winsteps.com.