A demonstration of a multi-method variable selection approach for treatment selection: Recommending cognitive–behavioral versus psychodynamic therapy for mild to moderate adult depression

ABSTRACT

Objective: We use a new variable selection procedure for treatment selection which generates treatment recommendations based on pre-treatment characteristics for adults with mild-to-moderate depression deciding between cognitive behavioral (CBT) versus psychodynamic therapy (PDT). Method: Data are drawn from a randomized comparison of CBT versus PDT for depression (N = 167, 71% female, mean-age = 39.6). The approach combines four different statistical techniques to identify patient characteristics associated consistently with differential treatment response. Variables are combined to generate predictions indicating each individual’s optimal-treatment. The average outcomes for patients who received their indicated treatment versus those who did not were compared retrospectively to estimate model utility. Results: Of 49 predictors examined, depression severity, anxiety sensitivity, extraversion, and psychological treatment-needs were included in the final model. The average post-treatment Hamilton-Depression-Rating-Scale score was 1.6 points lower (95%CI = [0.5:2.8]; d = 0.21) for those who received their indicated-treatment compared to non-indicated. Among the 60% of patients with the strongest treatment recommendations, that advantage grew to 2.6 (95%CI = [1.4:3.7]; d = 0.37). Conclusions: Variable selection procedures differ in their characterization of the importance of predictive variables. Attending to consistently-indicated predictors may be sensible when constructing treatment selection models. The small N and lack of separate validation sample indicate a need for prospective tests before this model is used.

Obiettivo: Abbiamo usato una nuova procedura di selezione di variabili per la selezione del trattamento che genera maggiori raccomandazioni sulla base di caratteristiche di inizio trattamento per adulti con una media-moderata depressione, decidendo tra terapia cognitivo comportamentale (CBT) versus quella psicodinamica (PDT). Metodo: I dati sono tratti da una comparazione randomizzata tra CBT versus PDT per depressione (N=167, 71% donne, età media=39.6). L'approccio combina quattro differenti tecniche statistiche per identificare le caratteristiche dei pazienti associate coerentemente con le diverse risposte ai trattamenti. Le variabili sono combinate per generare predizioni su ogni trattamento ottimale per gli individui. La media dei risultati per pazienti che ricevevano il loro trattamento prescelto versus coloro che non lo ricevevano, erano comparati retrospettivamente per esaminare l'utilità del modello. Risultati: Di 49 predittori esaminati, severità della depressione, sensibilità all'ansia, estroversione e bisogno di un trattamento psicologico sono stati inclusi nel modello finale. La media alla fine del trattamento del Hamilton Depression Rating Scale era di 1.6 punti più bassa (95%CI= [0.5:2.8]; d= 0.21] per coloro che ricevevano i loro trattamenti prescelti paragonati a quelli non prescelti. Tra il 60% dei pazienti con le più forti raccomandazioni, quello con vantaggio cresceva del 2,6 (95% CI= [1.4:3.7]; d= 0.37). Conclusioni: la procedura di selezione di variabili differisce nella loro caratterizzazione dell'importanza delle variabili predittive. Prestare attenzione ai predittori indicati in modo coerente può essere sensato quando si costruiscono modelli di selezione del trattamento. Il piccolo campione e la mancanza di un altro campione di validazione indicano la necessità di test futuri prima di utilizzare questo modello.

Objetivo: Utilizamos um novo procedimento de seleção de variáveis ⁣⁣para a seleção de tratamento, que gera recomendações de tratamento com base nas características de pré-tratamento para adultos com depressão leve a moderada que decidem entre terapia cognitivo-comportamental (TCC) versus terapia psicodinâmica (TPD). Método: Os dados são coletados de uma comparação aleatória de TCC versus TPD para depressão (N=167, 71% do sexo feminino, idade média=39,6). A abordagem combina quatro técnicas estatísticas diferentes para identificar características do paciente associadas consistentemente à resposta diferencial ao tratamento. Variáveis ⁣⁣são combinadas para gerar previsões indicando o tratamento ideal de cada indivíduo. Os resultados médios dos pacientes que receberam seu tratamento indicado versus aqueles que não receberam foram comparados retrospectivamente para estimar a utilidade do modelo. Resultados: De 49 preditores examinados, severidade da depressão, sensibilidade à ansiedade, extroversão e necessidades psicológicas de tratamento foram incluídos no modelo final. A média da pontuação na escala de Hamilton-Depression-Rating-Scale foi 1,6 pontos menor (IC 95%=[0,5: 2,8]; d=0,21) para aqueles que receberam o tratamento indicado em comparação com o não indicado. Entre os 60% dos pacientes com recomendações de tratamento mais fortes, essa vantagem aumentou para 2,6 (IC95%=[1,4: 3,7]; d=0,37). Conclusões: Os procedimentos de seleção de variáveis ⁣⁣diferem na caracterização da importância das variáveis ⁣⁣preditivas. Atender a preditores consistentemente indicados pode ser sensato ao construir modelos de seleção de tratamento. O pequeno N e falta de amostra de validação separada indicam a necessidade de testes prospectivos antes que este modelo seja usado.

目的：我們使用一種新的變項選擇程序來進行介入處遇的選擇，該程序會根 據患有輕度至中度憂鬱症成年人的治療前特徵，來決定是進行認知行為（CBT）或 是心理動力療法（PDT）。方法：資料來自憂鬱症患者的CBT 與PDT 隨機比較（N = 167，女性占71％，平均年齡= 39.6）。該方法結合四種不同的統計技術，以辨別 與差異治療反應有一致性關連的病人特徵。結合所有變項以找出能預測每個病患的 最佳介入處遇，並比較有經過此程序的處遇，以及未經過此程序處遇者的平均效果， 來評估模型的有效性。結果：在49 個所檢測的預測值中，憂鬱症的嚴重程度、焦 慮敏感性、外向性和心理上對介入的需求性被納入最終模型；而與未接受指定處遇 的病人相比，接受指定處遇的病人，其治療效果在漢密爾頓憂鬱量表之平均後測分 數低了1.6 分（95％CI = [0.5：2.8]； d = 0.21），甚至在有最強烈治療建議的病人 中，60％的病患該優勢增加到2.6（95％CI = [1.4：3.7]； d = 0.37）。結論：變項 選擇程序會因為預測變項的重要程度而有所不同。在建構處遇選擇模型時，關注到 經常被指出來的預測因子可能是明智的。由於本研究的樣本數較小，並且缺乏單獨 的驗證樣本，因此在此模式正式使用前，還需要更多測試。

Keywords:

• precision medicine
• depression
• cognitive behavioral therapy
• psychodynamic therapy
• treatment selection
• variable selection

Palavras-chave:

• medicina de precisão
• depressão
• terapia cognitiva comportamental
• terapia psicodinâmica
• seleção de tratamento
• seleção de variáveis

關鍵詞:

• 精密醫學
• 憂鬱
• 認知行為治療
• 心理動力治療
• 介入選擇
• 變項選擇

Acknowledgments

We thank Robert DeRubeis for helpful comments on the manuscript and support of this work. We also wish the acknowledge the reviewers, whose feedback greatly improved this article and made us feel like we had gained three insightful coauthors. This work was supported by a grant from MQ: Transforming mental health MQ14PM_27.

Supplemental data

Supplemental data for this article can be accessed doi:10.1080/10503307.2018.1563312.

Notes

1 We decided to select the number of variables identified by RF, and not to use BART’s built-in permutation test for thresholding variable importance because BART’s test was created for use in contexts where the variable search was not biased to focus on treatment interactions.

Additional information

Funding

Financial support for this work was provided by MQ Foundation to ZC [MQ: Transforming mental health MQ14PM_27]. MQ had no role in the study design, collection, analysis, or interpretation of the data, or in writing the manuscript or the decision to submit the article for publication. The randomized clinical trial from which data were drawn for this study was financed by an unrestricted research grant by Wyeth Pharmaceuticals, The Netherlands. Arkin Mental Health Care, The Netherlands, financially supported research logistics and the contributions of ED, HLV, and JJMD. Vrije Universiteit Amsterdam, Faculty of Behavioral and Movement Sciences, Section Clinical Psychology, The Netherlands, financially supported ED’s contributions to the study. None of the sponsors had a role in the design and conduct of the study; collection, management, analysis, and interpretation of the data; nor in the preparation, review, or approval of the manuscript. The opinions and assertions contained in this article should not be construed as reflecting the views of the sponsors.