Do you see what I see? A study about the interrater reliability in art therapy

Abstract

There are many clinical reports on art therapy, but there are few data from experimental research. The main goal of this study was to investigate the interrater agreement of 86 raters who evaluated a picture created during an art therapy session. This rating was based on formal (color, lines, shapes) and contextual criteria. The resulting interrater agreement was not satisfying (intraclass correlation coefficient = 0.18–0.52). The authors also address the question of whether raters are able to determine which picture was created at the beginning of the art therapy and which was created at the end. On the basis of the examination of five sets of pictures, it became apparent that they were not able to do so.

Abstract

Zwar gibt es eine Menge an klinischen Berichten über Kunsttherapie, allerdings basieren nur wenige auf experimentellen Forschungsansätzen. Das Hauptziel dieser Studie bestand darin, die Interrater-Übereinstimmung von 86 Beurteilern zu untersuchen, die ein Bild, welches während einer Kunsttherapie-Sitzung entstanden war, beurteilen sollten. Die Beurteilung wurde anhand formaler (Farbe, Linien, Formen) und kontextabhängiger Kriterien vorgenommen. Die resultierende Interrater-Übereinstimmung war nicht zufriedenstellend (Intraclass-Korrelationskoeffizient = 0.18–0.52). Die Autoren stellten ebenfalls die Frage, ob die Beurteiler im Stande seien, zu entscheiden, welches Bild am Anfang bzw. am Ende der Therapie entstanden war. Basierend auf der Untersuchung von fünf Sets an Bildern, wurde deutlich, dass dies nicht möglich war.

Abstract

Il y a de nombreux compte-rendus cliniques sur l'art thérapie, mais peu de données de recherche expérimentale. Le but principal de cette étude était d'investiguer l'accord interjuge de 86 codeurs qui évaluaient une peinture créée au cours d'une séance d'art thérapie. Le codage était basé sur des critères formels (couleur, lignes, formes) et contextuels. L'accord interjuge qui en a résulté était insatisfaisant: (coefficient de corrélation intra-classe = 0.18–0.52). Les auteurs ont également étudié si les codeurs sont capables de déterminer quelle peinture a été crée au début d'une art thérapie et quelle a été créée à la fin. Sur la base de l'examen de cinq ensembles de peintures, il est apparu qu'ils n’étaient pas capables de le faire.

Abstract

Hay numerosos informes clínicos sobre terapia por el arte, pero hay pocos datos sobre investigación experimental. El principal objetivo de este estudio fue investigar el acuerdo interevaluadores de ochenta y seis evaluadores que evaluaron un cuadro creado durante una sesión de arteterapia. Esta evaluación se basó en criterios formales (color, líneas, formas) y contextuales. El acuerdo interevaluadores resultante no fue satisfactorio (el coeficiente de correlación intraclase = 0.18–0.52). Los autores también abordaron la cuestión de si los evaluadores pueden determinar qué cuadro fue creado al comienzo de la arteterapia y cuál fue creado al final. Sobre la base del examen de cinco conjuntos de cuadros, se hizo evidente que no podían lograrlo.

Abstract

Existem muitos registos clínicos sobre Terapia pela Arte, mas poucos dados de investigação experimental. O principal objectivo deste estudo foi investigar o acordo entre juízes de 86 juízes que avaliaram uma imagem criada durante uma sessão de terapia pela arte. Esta avaliação foi baseada em critérios formais (cor, linhas e formas) e contextuais. O acordo entre juízes obtido não foi satisfatório (coeficiente de correlação intraclasse = 0.18–0.52. Os autores também quiseram verificar se os juízes são capazes de determinar qual a imagem que foi criada no início da terapia pela arte e qual a que foi criada no final. Com base no exame de 5 conjuntos de imagens tornou-se evidente que os mesmos não conseguiam fazê-lo.

Abstract

Ci sono molti rapporti clinic sull'arteterapia, ma pochi dati di ricerca sperimentale. L'obiettivo di questo studio è indagare l'accordo inter-rater tra 86 valutatori che valutavano un quadro creato durante una seduta di arteterapia. La valutazione era basata su criteri formali (colori, linee, forme) e contestuali. L'accordo inter-rater risultante non era soddisfacente (coefficiente di correlazione intraclasse = 0.18–0.52). Gli autori hanno anche affrontato il problema della capacità dei valutatori di determinare quale quadro fosse stato creato all'inizio dell'arteterapia e quale alla fine. Dall'esame di 5 sedute di pittura, risultò che non lo erano.

Abstract