An automated method of content analysis for psychotherapy research: A further validation

Abstract

Objective: The aim of the study is to validate the ability of ACASM (Automated Co-occurrence Analysis for Semantic Mapping) to provide a representation of the content of the therapeutic exchange that is useful for clinical analysis. Method: We compared the clinical case analyses of a good outcome psychodynamic therapy performed by a group of clinicians (n = 5) based on the verbatim transcripts (transcript-based analysis) with the clinical case analyses performed by another group of clinicians (n = 5) based on the ACASM representation of the same sessions (ACASM-based analysis). Comparison concerned two levels: the descriptive level and the interpretative level of the clinical case analysis. Results: Findings showed that, inconsistently with our hypothesis, ACASM-based descriptions of the case obtained worse evaluations than transcript-based descriptions of the case (on all 3 criteria adopted). On the contrary, consistently with our hypothesis, ACASM is undistinguishable from the verbatim transcripts as regards the case interpretation (on 2 out of 3 criteria adopted). Conclusions: ACASM provides a description of the case that, though different from the one provided by the transcripts, enables clinicians to elaborate clinical interpretations of the case which approximate those produced by clinicians working directly on verbatim transcripts.

Abstract

Obiettivo: Lo scopo dello studio è quello di validare la capacità dell'ACASM (Automated Co-occurrence Analysis for Semantic Mapping) di fornire una rappresentazione del contenuto dello scambio terapeutico utile per l'analisi clinica. Metodo: Abbiamo confrontato le analisi del caso clinico di una terapia psicodinamica con buon esito effettuate da un gruppo di terapeuti (n=5) a partire dalle trascrizioni letterali (analisi basata sui trascritti) con le analisi del caso clinico effettuate da un altro gruppo di terapeuti (n=5), a partire dalla rappresentazione ACASM delle stesse sedute (analisi basata sull'ACASM). Il confronto viene effettuato a due livelli: il livello descrittivo e interpretativa dell'analisi del caso clinico. Risultati: I risultati hanno mostrato che, diversamente dalla nostra ipotesi, le descrizioni del caso basate sull'ACASM hanno ottenuto valutazioni peggiori di quelle basate sui trascritti (su tutti e 3 i criteri adottati). Al contrario, coerentemente con la nostra ipotesi, ACASM è indistinguibile dalle trascrizioni letterali per quanto riguarda l'interpretazione del caso (in 2 su 3dei criteri adottati). Conclusioni: ACASM fornisce una descrizione del caso che, anche se diversa da quella fornita dalle trascrizioni, consente ai clinici di elaborare interpretazioni cliniche del caso che si avvicinano a quelle prodotte dai terapeuti che lavorano direttamente sulle trascrizioni letterali.

Objetivo: O objetivo deste estudo é o de validar a viabilidade da AACMS (Análise Automatizada da Coocorrência para o Mapeamento Semântico) para fornecer uma representação do conteúdo da interação terapêutica útil para a análise clínica. Método: Comparámos as análises de um caso clínico de bom resultado seguido em terapia psicodinâmica, realizadas por um grupo de clínicos (n =5) e baseadas nas transcrições literais (análise baseada em transcrições) do caso, com as análises do mesmo caso clínico realizadas por um outro grupo de clínicos (n=5), com base na representação da AACMS para as mesmas sessões (análise baseada na AACMS). A comparação envolveu dois níveis: o nível descritivo e o nível interpretativo das análises do caso clínico. Resultados: Os resultados mostraram que, contrariamente à nossa hipótese, as descrições do caso baseadas na AACMS obtiveram piores avaliações do que as descrições do caso baseadas nas transcrições (no total dos 3 critérios adotados). Pelo contrário, concordantemente com a nossa hipótese, a AACMS não se distingue das transcrições literais em relação à interpretação do caso (em 2 dos 3 critérios adotados). Conclusões: A AACMS fornece uma descrição do caso que, embora diferente da fornecida pelas transcrições, permite aos clínicos elaborarem interpretações clínicas próximas às interpretações dos clínicos que trabalham diretamente sobre as mesmas.

Abstract

Ziel: Das Ziel dieser Studie ist es, die Fähigkeiten der ACASM (Automated Co-occurrence Analysis for Semantic Mapping) zur Lieferung einer Repräsentation der Inhalte des therapeutischen Austauschs zu validieren, welche für die klinische Analyse nützlich ist. Methode: Wir verglichen klinische Fallanalysen von einer psychodynamischen Therapie mit gutem Ergebnis, welche von einer Gruppe von Klinikern (n=5), basierend auf wörtlichen Transkripten (transkriptbasierte Analyse) erstellt wurden, mit klinischen Fallanalysen, welche von einer anderen Gruppe von Klinikern (n=5), basierend auf der ACASM-Repräsentation derselben Sitzungen (ACASM-basierte Analyse) erstellt wurden. Der Vergleich erfolgte auf zwei Ebenen: der deskriptiven Ebene und der interpretativen Ebene der klinischen Fallanalyse. Ergebnisse: Die Befunde zeigten, dass entgegen unserer Hypothese die ACASM-basierten Fallbeschreibungen schlechter bewertet wurden als die transkriptbasierten Fallbeschreibungen (auf allen 3 verwendeten Kriterien). Im Gegensatz dazu und im Einklang mit unserer Hypothese lässt sich ACASM im Hinblick auf die Fallinterpretation nicht von wörtlichen Transkripten unterscheiden (auf 2 von 3 verwendeten Kriterien). Schlussfolgerungen: ACASM liefert eine Fallbeschreibung, die sich zwar von transkriptbasierten Fallbeschreibungen unterscheidet, dem Kliniker jedoch trotzdem erlaubt, klinische Interpretationen des Falls auszuarbeiten, die denen von Klinikern, die direkt an wörtlichen Transkripten arbeiten, ähnlich sind.

摘要

目標：本研究旨在驗證ACASM（語意地圖的自動化同步分析系統）是否有能力提供有助於臨床實務分析的治療性互動內容的表徵。方法：研究者比較由五位臨床實務工作者針對一份具有療效的心理動力治療晤談逐字稿進行的分析（以逐字稿為基礎的分析），與另外五位臨床實務工作者針對同一晤談內容，以ACASM所進行的個案分析（以ACASM為基礎的分析）。針對此臨床個案分析的比較分為兩個層次：描述性的層次與詮釋性的層次。結果：研究結果與研究者的假設不一致，亦即以逐字稿為基礎的分析對個案的描述所做的評量，優於以ACASM為基礎的分析對個案描述所做的評量（在所有3個指標上均是）。相反的，與研究假設相符的是透過ACASM和透過逐字稿分析所得到對個案的詮釋並無二致（在3個指標中有2個符合）。結論：雖然和從逐字稿所提供的不同，但是ACASM仍可提供對個案的描述，如此的結果可協助臨床實務工作者對個案提出詮釋，因為其闡釋的結果跟由臨床實務工作者針對逐字稿所獲致的結果相近。

Keywords:

• ACASM
• automated text analysis
• thematic analysis
• psychotherapy process

Parole chiave:

• ACASM
• analisi del testo automatica
• analisi tematica
• processo psicoterapeutico

Schlüsselwörter::

• ACASM
• automatisierte Textanalyse
• thematische Analyse
• Psychotherapieprozess

關鍵詞:

• ACASM；自動化的文本分析；主題分析；心理治療歷程

Acknowledgments

We want to thank Diego Rocco, the therapist on Max's case who put the verbatim transcripts at our disposal. We are grateful to Patrizia Calasso, Anna Dourdouma, Francesca Giordano, Rossano Grassi, Chiara Greco, Saba Khodayarifard, Elisa Latino, Antonella Mangia, Angela Mastrandrea, Giulia Miglietta, Silvia Potì, Antonio Rigliaco, and Cosimo Talò, who agreed to be involved in the study as clinicians analyzing Max's case or as judges rating the case analyses. Least but not the least, we want to thank the anonymous reviewer who suggested the use of the linear mixed-effect model as a way for increasing the statistical power of case-centered comparisons.

Notes

1 The complete set of materials is available upon request to the corresponding author of this paper.

2 We based the retrospective analysis of power (cf. Faul, Erdfelder, Lang, & Buchner, 2007) on Konstantopoulos (2009)’s procedure of estimation of the power of multilevel designs. Such a procedure uses Cohen (1988)'s power tables and computes the effect size parameter of the table as a function of the intra-class correlation at level-2, and the number of units within each level-2 unit.