Predicting outcomes of inpatient psychotherapy using quality management data: comparing classification and regression trees with logistic regression and linear discriminant analysis

Abstract

Three classification models are compared with regard to their ability to identify unsuccessful treatment outcomes. Data from the Stuttgart-Heidelberg model on quality management of 1,401 inpatients were used. According to the evaluation algorithm used, 82% benefited from therapy. Outcomes were classified using logistic regression, linear discriminant analysis, and classification and regression trees. For the regression techniques, variables were selected stepwise backward; for the CART model, the method-inherent selection scheme was adopted. Because there were few signal cases in the data, these cases were double weighted. Model performance was obtained using classic cross-validation. Overall misclassification rates did not differ between methods for the construction sample but differed when applied to the validation sample. Overall classification rates for the given problem are modest.

Zusammenfassung

Der Gebrauch von Quality Management Daten zur Vorhersage des Erfolgs stationärer Psychotherapie: Ein Vergleich von Klassifikations- und Regression-Trees mit log-linearer Regression und Diskriminanzanalyse

Ziel: Ziel der Studie ist der Vergleich dreier Klassifikationsmethoden bezüglich ihrer Güte, problematische Behandlungsverläufe zu identifizieren. Methode: Daten von 1 401 stationär behandelten, im Rahmen des Stuttgart-Heidelberger Modells begleiteten, Patienten bilden die Basis dieser Untersuchung. Die Patienten waren meist weiblich (72%), deutscher Staatsangehörigkeit oder deutschstämmig (96%), verheiratet oder in fester Partnerschaft (72%), mit einem durchschnittlichen Alter von 46 Jahren (SD = 12,8); 82% profitierten nach dem verwendeten Bewertungsalgorithmus von der Therapie. Behandlungsergebnisse wurden mit Hilfe dreier Klassifikationsmethoden zugeordnet: 1. logistische Regression (LR), 2. lineare Diskriminanzanalyse (LDA) und 3. mit dem Classification and Regression Trees (CART) Algorithmus. Bei den Regressionstechniken wurden die Prädiktoren schrittweise rückwärts ausgewählt, bei den CART Analysen wurde die modellinhärente Selektionsstrategie gewählt. Wegen der wenigen problematischen Fälle, wurden diese doppelt gewichtet. Die Modellgüte wurde mittels einer klassischen Kreuzvalidierung bestimmt. 870 Fälle wurden zur Modellkonstruktion und 430 für die Modellvalidierung verwendet. Ergebnisse: Generell unterschieden sich die Fehlklassifikationsraten für die Modellkonstruktionsdaten, zwischen den drei Klassifikationsmethoden nicht (LR, 22%; LDA, 25%; CART, 21%). Unterschiede fanden sich für die Validerungsdaten (LR, 23%; LDA, 33%; CART, 33%). Nicht erfolgreiche Behandlungen wurden wie folgt korrekt klassifiziert: LR, 6%; LDA, 25%; CART, 36%. Diskussion: Die generelle Klassifikationsgüte aller drei Methoden ist bescheiden. Die Methoden unterscheiden sich nur, wenn sie auf Daten angewendet werden, die nicht zur Modellkonstruktion genutzt wurden.

Résumé

La prédiction des résultats de la psychothérapie hospitalière sur la base des données du management de qualité : comparaison d'arbres de classification et de régression avec la régression logistique et l'analyse discriminatoire linéaire

Trois modèles de classification sont comparés en vue de leur aptitude à identifier des résultats thérapeutiques négatifs. Les données de 1,401 patients hospitalisés du modèle de management de qualité de Stuttgart-Heidelberg étaient utilisées. Selon l'algorithme d’évaluation utilisé, 82% avaient profité de la thérapie. Les résultats étaient classés à l'aide de la régression logistique, de l'analyse discriminatoire linéaire et d'arbres de classification et de régression. Pour les techniques de régression les variables étaient sélectionnées pas à pas en arrière ; pour le modèle CART le schéma de sélection inhérent à la méthode a été adopté. Comme il y avaient peu de cas à signaler dans les données, la pondération de ces cas était doublée. La performance du modèle était obtenue par une validation croisée classique. Globalement, les taux d'erreurs de classification ne différaient pas entre ces méthodes pour l’échantillon de construction mais différaient pour l’échantillon de validation. La qualité de classification est, dans l'ensemble, modeste pour le problème donné.

Resumen

Predicción de resultados de la psicoterapia en internación utilizando datos de administración de calidad (Quality Management Data): Comparación entre la clasificación y los árboles de regresión con la regresión logística y el análisis linear discriminante

Se comparan tres modelos clasificatorios respecto de su habilidad para identificar resultados de tratamientos no exitosos. Se utilizaron datos del modelo de Stuttgart-Heidelberg para la administración de mil cuatrocientos un pacientes internados. De acuerdo con la evaluación del algoritmo utilizado, el 82% se benefició de la terapia. Se clasificaron los resultados utilizando la regresión logística, el análisis linear discriminante y los árboles de clasificación y regresión. Para las técnicas de regresión, se seleccionaron variables retrógradas paulatinas; para el modelo CART, se adoptó el esquema de selección inherente al método. Debido a que había pocos casos señal en los datos, estos casos pesaron doble (double weighted). El comportamiento del modelo se obtuvo utilizando la validación cruzada (cross-validation) clásica. En conjunto, las tasas de clasificación errónea no difirieron entre los métodos para la construcción de la muestra pero difirieron cuando se las aplicó a la muestra de validadión. Las tasas de clasificación para el problema dado son modestas.

Resumo

Predizendo o Resultado Terapêutico usando Dados de Monitorização da Qualidade: Comparando Classificações e Árvores de Regressão com Regressão Logística e Análise Discriminante Linear

Foram comparados três modelos de classificação com respeito à sua capacidade de identificar insucessos terapêuticos. Foram usados dados do modelo Stuttgart-Heidelberg sobre a avaliação da qualidade terapêutica de 1401 pacientes. De acordo com o algoritmo de avaliação usado, 82% beneficiaram da terapia. Os resultados terapêuticos foram classificados usando regressão logística, análise discriminante linear e árvores de classificação e de regressão. Para as técnicas de regressão, foi usada o método stepwise; para o modelo CART, foi adoptado o esquema de selecção inerente ao modelo. Devido aos poucos casos sinalizados, os mesmos foram duplamente ponderados pelo seu peso. O desempenho do modelo foi obtido através de uma validação cruzada. Em geral, os índices de erros de classificação não foram diferentes para os resultados para os modelos na amostra de construção, mas foram-no na amostra de validação. Os índices de classificação, são geralmente, modestos o problema.

Sommario

La predizione dell'outcome di pazienti ricoverati attraverso l'uso di dati relative alla qualitù del Management: Confrontando gli alberi di classificazione e regressione attraverso la regressione logistica e l'analisi lineare discriminativa

Vengono confrontati tre modelli di classificazione per quanto riguarda la loro capacità di identificare trattamenti con scarsi risultati. Sono stati usati i dati del modello di valutazione della qualità Stuttgart-Heidelberg. In accordo con la valutazione algoritmica usata, 82% dei pazienti ha beneficiato della terapia. I risultati sono stati classificati attraverso una regressione, un'analisi discriminativa lineare e alberi di classificazione e regressione. Per le tecniche di regressione, sono state selezionate “stepwise backward”; per il modello CART il metodo di selezione è stato adattato. Poiché tra i dati c'erano pochi casi segnali, questi casi sono stati doppiamente pesati. La qualità dei modelli è stata ottenuta utilizzando una validazione incorciata classica. Model performance was obtained using classic cross-validation. Le quote generali di classificazioni errate non è risultata essere differente tra I diversi metodi per la costruzione del campione ma hanno differito quando applicate al campione di validazione. Le proporzioni di classificazioni generali sono risultate modeste.

Acknowledgments

This study is part of Wolfgang Hannöver's dissertation at the Friedrich-Schiller University, Jena, Germany. The data used in this study stem from a quality-management system implemented at the Panorama Fachklinik für Psychosomatik und Psychotherapie, Scheidegg, Germany (Medical Director, Dr. C.P. Dogs). The authors thank Dr. Dogs and the team of the Panorama Fachklinik for making their data available for this study. The authors also thank the two reviewers. This article benefited greatly from their comments and suggestions.