Insight into conflictual relationship patterns: Development and validation of an observer rating scale

Abstract

Objective: This study aimed to develop an observer-rated measure of Insight into Conflictual Relationship Patterns (ICR) applicable to audio- or videotapes of psychotherapy sessions and conduct a first psychometric evaluation.

Method: We investigated the item properties, principal components, reliability, and validity of the ICR in a naturalistic sample of N = 125 outpatients in psychodynamic psychotherapy.

Results: The ICR consists of 12 items that showed adequate item discrimination and item difficulty indices. All items represent one principal component. Using item response theory, discrimination parameters and item characteristic curves revealed that the ability of all items to differentiate patients was adequate to very good. The scale demonstrated good interrater reliability (ICC(3,1) = .76–.93), adequate internal consistency (Cronbach’s α = .84), and high retest reliability (r = .91). Regarding validity, the ICR was significantly associated with insight according to the Achievement of Therapeutic Objectives Scale and patient-perceived session depth. Insight at session five predicted a symptomatic increase from session five to session ten.

Conclusion: The ICR is an observer-rated measure to assess insight from psychotherapy session recordings that has demonstrated several aspects of reliability and validity. Future studies are needed to clarify the impact of ICR-assessed insight for symptomatic outcome.

摘要：

目的：本研究旨於建構一個對衝突關係模式的洞察(ICR)之觀察者評分量表，可使用於評估錄音或錄影的心理治療療程，並以此做了第一個心理測評。方法：我們從接受精神動力心理治療案主(N=125)的自然情境樣本資料中檢視了 ICR 題目屬性、主成份、信度與效度。結果：本量表(ICP)包含 12 個題目且皆具備良好的試題鑑別力與難度指數。所有題項皆隸屬於一個主成份。根據試題反應理論，辨別參數與題目特徵曲線顯示所有題項的區辨案主能力為良好到非常好。量表具有良好的評分者信度 (ICC(3,1) = .76-.93)、良好的內部一致性(Cronbach's α = .84)、以及高重測信度(r= .91)。至於效度方面，ICR 亦與治療目標達成量表中的洞察分量表及案主感知晤談深度有顯著相關。第五次晤談的洞察可預測第五次至第十次晤談中症狀的增加。結論：ICR 是一個用於評估心理治療晤談紀錄檔案中案主洞察程度的觀察者評分量表，此量表具備許多類型的信度與效度。未來研究可釐清 ICR 評估的洞察程度對症狀成效評估的影響力。

Objetivo: Este estudo teve como objetivo desenvolver uma medida avaliada por observação de Insight em Padrões Relacionais Conflituosos (IRC) aplicável em áudios ou vídeos de sessões de psicoterapia e conduzir uma primeira avaliação psicométrica. Método: Investigou-se as propriedades dos itens, os componentes principais, a fiabilidade e a validade do IRC numa amostra naturalística de N = 125 pacientes ambulatórios em psicoterapia psicodinâmica. Resultados: O IRC é composto por 12 itens que mostraram discriminação de item e índice de dificuldade de item adequadas. Todos os itens representam um componente principal. Utilizando a teoria de resposta ao item, os parâmetros de discriminação e curvas características do item revelaram que a capacidade de todos os itens para diferenciar pacientes variou de adequada a muito boa. A escala demonstrou uma boa fiabilidade inter-avaliadores (CIC(3,1) = .76-.93), uma consistência interna adequada (α de Cronbach = .84) e alta fiabilidade teste-reteste (r = .91). No que diz respeito à validade, o IRC estava significativamente associado com insight de acordo com a Escala de Objetivos Terapêuticos Alcançados e com a profundidade da sessão percebida pelo cliente. O insight na sessão cinco previu um aumento sintomático da sessão cinco para a sessão dez. Conclusões: O IRC é uma medida avaliada por observação que mede o insight através de gravações de sessões psicoterapêuticas que tem demonstrado várias características de fiabilidade e validade. São necessários estudos futuros para clarificar o impacto de insight avaliado pelo IRC no resultado sintomático.

Obiettivo: Questo studio mira allo sviluppo della misura observer-raterInsight intoConflictualRelationship Patterns (ICR) applicabile alle sessioni di psicoterapia audio- o videoregistrate e a condurre una prima valutazione psicometrica. Metodo: Abbiamo indagato le proprietà degli item, le componenti principali, l'affidabilità, e la validità dell'ICR in un campione naturalistico di N= 125 pazienti ambulatoriali di psicoterapia psicodinamica. Risultati: L'ICR è composto da 12 item che mostravano adeguatidiscriminazione e indici di difficoltà degli item. Tutti gli item rappresentano una componente principale. Usando la teoria di risposta agli item, i parametri di discriminazione e le curve caratteristiche degli item hanno rivelato che l'abilità di tutti gli item di differenziare i pazienti era da adeguata a molto buona, la scala ha mostrato una buona affidabilità interrater (ICC(3,1) = .76-.93), una consistenza interna adeguata (Cronbach'sα= .84), e un'elevata affidabilità test-retest(r= .91). Per quanto riguarda la validità, l'ICR è risultato significativamente associato all'insight secondo l'Achievement of TherapeuticObjective Scale e la profondità della sessione percepita dal paziente. L'insight nella sessione cinque prediceva un aumento dei sintomi dalla sessione cinque alla sessione dieci. Conclusioni: L'ICR è una misura observer-rater per valutare l'insight nelle registrazioni delle sessioni di psicoterapia che ha mostrato diversi aspetti di affidabilità e validità. Sono necessari ulteriori studi per chiarire l'impatto dell'insight misurato con l'ICR sull'esito sintomatologico.

Keywords:

• insight
• self-understanding
• psychotherapy process
• observer rating
• measure development

關鍵字：:

• 洞察
• 自我了解
• 心理治療歷程
• 觀察者評分
• 量表建構

Palavras-chave:

• insight
• auto-compreensão
• processo psicoterapêutico
• avaliação por observação
• desenvolvimento de uma medida

Parole chiave::

• insight
• comprensione di sé
• processo in psicoterapia
• observer rating
• sviluppo di misure

Acknowledgments

This research was supported by a Ph.D. scholarship of the Cusanuswerk Bischöfliche Studienstiftung e.V., Germany, to Simone Jennissen, which is gratefully acknowledged. We thank the clinicians, interviewers, psychotherapists, participants, and graduate students involved in the study for their support. The authors report no conflict of interest.

Additional information

Funding

This work was supported by a Ph.D. scholarship of the Cusanuswerk Bischöfliche Studienstiftung e.V.