Psychometric evaluation of the Working Alliance Inventory—Therapist version: Current and new short forms

Abstract

Background: The Working Alliance Inventory (WAI) and its short forms are widely used, although the properties of the therapists’ versions have been little studied. Method: We examined the psychometric properties of two short forms (WAI-S-T, WAI-SR-T), and explored the creation of a psychometrically stronger short form using contemporary measure development techniques. Well-fitting items from the full 36-item WAI were identified in a development sample (131 therapists, 688 patients) using multi-level Bayesian Structural Equation Modeling, accounting for therapist rated effects. Multi-level Item Response Theory (IRT) methods aided creation of a revised short form (WAI-S-T-IRT). Factor structures of the three forms were assessed using multi-level ML estimation with robust standard errors. Results: Collinearity problems for the Goal and Task dimensions led to testing a two-factor model (Goal–Task, Bond). All three measures showed satisfactory fit; the WAI-S-T-IRT fit slightly better but differences were minor. Testing the structures in an independent sample (N = 1117) yielded essentially the same results. No version showed strong measurement invariance. Discussion: Continued use of current therapist forms is supported; differentiation of theoretical dimensions is difficult with current measures, and may not be possible with self-report forms.

Background: Il Working Alliance Inventory (WAI) e le sue versioni brevi sono ampiamente usati, sebbene le proprietà della versione per i terapeuti sono state poco studiate. Metodo: Abbiamo esaminato le proprietà psicometriche di due versioni brevi (WAIS-T, WAI-SR-T), ed esplorato la creazione di una versione brevepsicometricamente più forte utilizzando tecniche contemporanee di sviluppo delle misure. Sono stati identificati gli item che ben si adattavano dalla versione completa a 36 item della WAI in un campione di sviluppo (131 terapeuti, 688 pazienti) utilizzando Modelli di Equazioni Strutturali Bayesiani multi-livello, che rendessero conto degli effetti della compilazione da parte del terapeuta. I metodi Multi-livello della Teoria di risposta per item (IRT) hanno facilitato la creazione di una versione breve rivista (WAI-S-T-IRT). Le strutture fattoriali delle tre versioni sono state analizzate utilizzando le stime ML multi-livello con errori standard robusti. Risultati: Problemi di collinearità per le dimensioni di Obiettivo e Compito hanno portato a testare un modello a due fattori (Obiettivo-Compito, Legame). Tutte le tre misure hanno mostrato un adattamento soddisfacente; il WAI-S-T-IRT si adatta leggermente meglio, ma le differenze sono minori. Il test delle strutture in un campione indipendente (N= 1117) ha prodotto essenzialmente gli stessi risultati. Nessuna delle versioni ha mostrato una forte invarianza della misura. Discussioni: l'uso continuo delle attuali versioni per terapeuti è supportato; la differenziazione delle dimensioni teoriche è difficoltosa con le attuali misure e potrebbe non essere possibile con le versioni self-report.

Antecedentes: O Inventário de Aliança Terapêutica (IAT) e suas formas abreviadas são amplamente utilizados, embora as propriedades das versões dos terapeutas tenham sido pouco estudadas. Método: Avalia-se as propriedades psicométricas de duas formas abreviadas (IAT-S-T, IAT-SR-T) e explora-se a criação de uma forma abreviada psicometricamente mais robusta usando técnicas contemporâneas de desenvolvimento de medidas. Foram identificados itens bem ajustados do IAT completo de 36 itens em uma amostra em desenvolvimento (131 terapeutas, 688 pacientes) usando análises Bayesianas de Modelos de Equações Estruturais de múltiplos níveis, levando em consideração os efeitos avaliados pelo terapeuta. Os métodos da Teoria e Resposta ao Item (TRI) de múltiplos níveis ajudaram na criação de uma versão resumida e revista (IAT-S-T-TRI). As estruturas fatoriais das três formas foram avaliadas usando a estimativa de Máxima Verossimilhança (ML) multinível com erros-padrão robustos. Resultados: Os problemas de colinearidade para as dimensões Objetivo e Tarefa conduziram à testagem de um modelo de dois fatores (Objetivo-Tarefa, Vínculo). Todas as três medidas mostraram ajuste satisfatório; o IAT-S-T-IRT ajustou-se um pouco melhor, mas as diferenças foram mínimas. O teste das estruturas em uma amostra independente (N = 1117) produziu essencialmente os mesmos resultados. Nenhuma versão mostrou forte invariância de medidas. Discussão: A continuidade do uso das formas do terapeuta atuais é validada; a diferenciação das dimensões teóricas é difícil com as medidas atuais e pode não ser possível com formas de autorrelato.

摘要：背景：雖然工作同盟量表（WAI）及其短版都已被廣泛使用，但是很少人研究治療師版本的特性。方法：我們檢視兩種短版（WAIS-T，WAI-SR-T）的心理計量特性，並運用當代測驗編製技術，以發展在心理計量上更有力的短版。研究參與者（131 名治療師，688 名病人）填寫 36 題完整版的 WAI，運用多層次 Bayesian 結構方程模式來解釋治療師評估的效果。多層次項目反應理論(IRT)有助於創建修訂的短版（WAI-S-T-IRT）。運用具備強韌性標準誤的多層次 ML 來評估三種形式量表的因素結構。結果：目標與任務向度的共線性問題導致需要測試一個雙因素模式(Goal-Task, Bond)。三個量表的適合性均佳；WAI-S-T-IRT 的適合性稍好，但差異甚小。以另一個獨立樣本(N= 1117)測試，獲得相同的結構，但沒有任何一個版本顯示出較強的測量不變性。討論：研究支持可以繼續使用當前的治療師版本；以當前的量表而言很難區分理論向度，且以自陳量表的形式更不可能。

Keywords:

• alliance
• therapist alliance
• Working Alliance Inventory
• alliance measures
• measure development
• Bayesian SEM
• multi-level IRT

Parole chiave:

• alleanza
• alleanza del terapeuta
• Working Alliance Inventory
• misure di alleanza
• sviluppo di misure
• SEM Bayesiano
• IRT multi-livello

Palavras-chave:

• aliança
• aliança do terapeuta
• Inventário de Aliança Terapêutica
• medidas de aliança
• desenvolvimento de medidas
• modelos de equações estruturais
• teoria de resposta ao item multinível

關鍵詞:

• 同盟
• 治療師同盟
• 工作同盟量表
• 測量同盟
• 量表的編製
• Bayesian 結構方程模式
• 多層次項目反應理論

Acknowledgements

Thanks are due to David Rindskopf, Jay Verkuilen, Michael Toland, and Isabella Sulis for statistical consulation.

Supplemental data

Supplemental data for this article can be accessed https://doi.org/10.1080/10503307.2019.1677964.

ORCID

Fredrik Falkenström http://orcid.org/0000-0002-2486-6859