Properties of the Achievement of Therapeutic Objectives Scale (ATOS): A Generalizability Theory study

Abstract

The psychometric properties of the process instrument Achievement of Therapeutic Objectives Scale (ATOS) were examined in this study. Generalizability Theory (GT) was used to evaluate variability attached to several possible sources of error. A random sample of 24 psychotherapy sessions was selected from a larger RCT trial including Cluster C patients and rated in different rating conditions (rating all scales versus rating a subgroup of the scales). Two G-study designs were used to compute variance components and generalizability coefficients. The results provided evidence that the ATOS is sensitive to differences among patients and to differences among subscales within patients (i.e., to different constructs within the ATOS). Rating condition contributed much to variability in scores when the ATOS scales were examined separately, but this variability was negligible when all scales were included in the same analysis. There was little variability due to raters, which indicates that adequately trained raters are able to apply the ATOS without contributing to measurement error.

Abstract

RÉSUMÉ

Les propriétés psychométriques de l'instrument de processus échelle de réalisation des objectifs thérapeutiques (ATOS) ont été examinées dans cette étude. La théorie de la generalisabilité (GT) a été utilisée pour évaluer la variabilité attachée à plusieurs sources d'erreur possibles. Un échantillon aléatoire de 24 séances de psychothérapie a été sélectionné d'un essai randomisé contrôlé (RCT) de patients du cluster C et évalués suivant différentes conditions (cotation de toutes les échelles vs cotation d'un sous-groupe d’échelles). Deux études G ont été utilisées pour calculer les composants de la variance et les coefficients de generalisabilité. Les résultats fournissent la preuve que l'ATOS est sensible aux différences entre patients et aux différences entre sous-échelles par patients (c'est-à-dire les différents concepts dans ATOS). Les conditions d’évaluation ont plus contribué à la variabilité des scores quand les échelles ATOS étaient examinées séparément, mais la variabilité était négligeable quand toutes les échelles étaient incluses dans la même analyse. Il y avait peu de variabilité due aux codeurs, ce qui indique que des codeurs formés adéquatement sont capables d'appliquer l'ATOS sans contribuer à l'erreur de mesure.

Abstract

As propriedades psicométricas do instrumento de processo Escala de Cumprimento de Resultados Terapêuticos (Achievement of Therapeutic Objectives Scale - ATOS) foi examinada neste estudo. A teoria da Generalização (TG) foi usada para avaliar a variabilidade relacionada com várias fontes de erro possíveis.

Uma amostra aleatória de 24 sessões de psicoterapia foi selecionada de um RCT mais abrangente incluindo pacientes do Cluster C cotados em diferentes condições (cotando todas as escalas vs cotando um subgrupo de escalas)

Dois estudos de desenho G foram usados para calcular componentes de variância e coeficientes de generalização. Os resultados mostraram evidência para a sensibilidade da ATOS relativamente às diferenças entre pacientes and para as diferenças entre subescalas entre pacientes (i.e., para diferentes construtos dentro da ATOS)

AS condições de cotação contribuíram muito para a variabilidade dos resultados quando as escalas da ATOS foram examinadas separadamente, mas esta variabilidade foi negligenciada quando as escalas foram incluídas na mesma análise. Houve pouca variabilidade devido a codificadores, o que indica que codificadores treinados ficam capazes de fazer a aplicação da ATOS sem contribuir para o erro da medida.

Abstract

In dieser Studie werden die psychometrischen Eigenschaften der Achievement of Therapeutic Objectives Scale (ATOS) untersucht. Die Generalisierbarkeitstheorie (GT) wurde verwendet, um die Variation einzuschätzen, die auf verschiedene mögliche Fehlervarianzquellen zurückzuführen ist. Eine zufällige Stichprobe bestehend aus 24 Psychotherapiesitzungen wurde aus einer größeren randomisiert kontrollierten Studie, die Cluster C Patienten beinhaltet, ausgewählt und in verschiedenen Ratingbedingungen eingeschätzt (Einschätzung auf allen Skalen versus Einschätzung auf nur einem Teil der Skalen). Zwei Generalisierbarkeitstheorie Designs wurden zur Berechnung der Varianzkomponenten und Generalisierbarkeitskoeffizienten verwendet. Die Ergebnisse liefern Bestätigung für die Sensitivität der ATOS in Bezug auf Unterschiede zwischen Patienten und Unterschiede zwischen Subskalen innerhalb von Patienten (d. h. zwischen verschiedenen Konstrukten innerhalb der ATOS). Die Ratingbedingung zeigte einen großen Beitrag zur Variabilität in den Scores, wenn die ATOS Skalen separat eingeschätzt wurden, waren aber zu vernachlässigen, wenn alle Skalen in eine Analyse aufgenommen wurden. Wenig Variabilität konnte auf die Rater zurückgeführt werden. Dies zeigt, dass trainierte Rater dazu in der Lage sind die ATOS anzuwenden ohne zum Messfehler beizutragen.

Keywords:

• process research
• properties
• ATOS
• generalizability theory
• variance components

Palavras-chave:

• investigação de processo
• propriedade
• ATOS
• teoria da generalização, variância de componentes

Schlüsselwörter:

• Prozessforschung
• Eigenschaften
• ATOS
• Generalisierbarkeitstheorie
• Varianzkomponenten

Notes

^*ATOS reproduced with permission.