External validity and the choice of statistical method: research in reading

Abstract

Research conclusions which are derived from the application of inappropriate statistical methodologies can lack accuracy and by doing so can lead to confusion and wasted effort. Heterogeneity, which tends to be greatest when special needs pupils act as subjects, is an anathema to the simpler statistical models. A data set is analysed via a number of commonly used statistical methods which take as their foundation the classical notion of independent and dependent variables. An example of an analysis using a technique which assigns subjects to fairly homogenous sub groups is also presented. It is argued that the latter technique better accounts for heterogeneity in a data set and ultimately provides increased accuracy in the explanation of relationships held within that data set. This argument is applied to research in reading.

ZUSAMMENFASSUNG

Forschungsergebnissen, die auf der Anwendung von ungeeigneten statistischen Methoden basieren, kann es an Genauigkeit fehlen, woraus sich Verwirrung und vergeblichen Bemühungen ergeben können. Die einfacheren statistischen Modelle können der Heterogenität, die dann am größten zu sein scheint, wenn Schüler mit besonderen Erziehungsbedürfnissen als handelnde Subjekte gesehen werden, kaum gerecht werden.

Ein Set von Daten wird mit Hilfe einer Reihe gebräuchlicher statistischer Methoden untersucht, die ihre Begründung in der klassischen Vorstellung von unabhängigen und abhängigen Variablen haben. Vorgestellt wird dann ein Analysebeispiel, in dem eine Technik benutzt wird, die die zu untersuchende Gruppe in nahezu homogene Untergruppen einteilt. Es wird ausgeführt, daß die letztere Technik der Heterogenität innerhalb eines Datensets eher Rechnung trägt und letztlich den Grad der Genauigkeit bei der Ermittlung der Beziehungen innerhalb eines Datensets erhöht. Die Ausführungen werden am Beispiel der Untersuchung der Lesefertigkeit angewandt