Putting early algebra in the hands of elementary school teachers: examining fidelity of implementation and its relation to student performance / El álgebra temprana en manos del docente de primaria: un análisis de la fidelidad de ejecución y su relación con el rendimiento de los escolares

Abstract

Guided by a theoretical framework emphasizing the importance of fidelity of implementation (FOI), this paper explores how teachers of grades 3, 4 and 5 implemented an early algebra intervention, and the relationship between FOI and student learning. The data shared in this paper come from a longitudinal experimental research project in which 3,208 students from 46 schools were followed for three years. Videotaped classroom observations, our primary source of FOI data, were coded to capture teachers’ instructional practices, and an algebra assessment was given to assess student performance in response to the teachers’ implementation of our instructional intervention. Results revealed a significant positive relationship between aspects of teachers’ implementation and their students’ performance.

Resumen

En este artículo se analiza, bajo un marco teórico en el que se pone de relieve la importancia de la fidelidad de ejecución (FOI, por su nombre en inglés), la puesta en práctica de una intervención de álgebra temprana por maestros de 3º, 4º y 5º curso en Estados Unidos, así como la relación entre la FOI y el aprendizaje de los alumnos. Los datos utilizados en el estudio provienen de un proyecto de investigación experimental longitudinal en el que se realizó un seguimiento de 3,208 alumnos de 46 centros escolares durante tres años. Las observaciones en el aula, grabadas en video, constituyeron la fuente primaria de información sobre la FOI. Se codificaron las grabaciones para capturar las prácticas didácticas de los maestros, y se llevó a cabo una evaluación de los conocimientos de álgebra de los alumnos en la que se valoró su rendimiento en respuesta a la ejecución de la intervención didáctica por el docente. Los resultados revelan una relación significativa positiva entre algunos aspectos de la ejecución del docente y el rendimiento de sus alumnos.

Keywords:

• algebra and algebraic thinking
• elementary school education
• assessment and evaluation
• fidelity of implementation

Palabras clave:

• álgebra y pensamiento algebraico
• educación primaria
• evaluación y valoración
• fidelidad de ejecución

Acknowledgements / Agradecimientos

The research reported here was supported by the US Department of Education under IES Award #R305A140092. Any opinions, findings and conclusions or recommendations expressed in this material are those of the authors and do not necessarily reflect the views of the US Department of Education. We acknowledge the contributions of Maria Blanton, who was the Principal Investigator of project LEAP (Learning through an Early Algebra Progression). / Este trabajo de investigación ha recibido el apoyo del Departamento de Educación de los EUA mediante la beca IES #R305A140092. Las opiniones, los resultados y las conclusiones o recomendaciones expresados en el material son propios de los autores y no reflejan necesariamente las opiniones del Departamento de Educación de los EUA. Agradecemos (también) las contribuciones de Maria Blanton, principal investigadora del proyecto LEAP (Learning through an Early Algebra Progression).

Disclosure statement

No potential conflict of interest was reported by the authors./ Los autores no han referidoningún potencial conflicto de interés en relación con este artículo.

Notes

1. FOI can be measured using different tools, all of which involve tracking classroom instruction. Due to the size of this study, it was not feasible to be in all the classrooms day to day, hence we only observed a subset of the classrooms, and we further employed other tools such as teacher surveys. However, because of the limitations of self-report data, we conducted on-site visits to examine whether lessons were being implemented with fidelity and we conducted individual teacher interviews, both of which served to triangulate the survey data. Second, we selected the use of the MQI to complement our cognitive load measures because we wanted to use an established instrument (rather than just one that we’d developed) to ensure our data weren’t too biased towards the curriculum. More detail is provided in the next section.

2. In the US, districts (and often individual schools within districts) can use a curriculum of their choice. The curriculum, however, must be aligned with state standards to prepare students for end-of-year state examinations. The three districts chose different curricula and provided teachers with recommended pacing and implementation guides. Our surveys and interviews indicated a great degree of similarity in addressing state standards across the three districts.

3. These lessons were not added to students’ mathematics instructional time. Rather, one hour of regular instructional time each week was replaced by an intervention lesson. Hence, the time spent on mathematics instruction remained the same across experimental and control groups.

4. Due to a logistical complication, one teacher was only observed once at the beginning of the year.

5. Only in two cases did teachers follow the same group of students from 3^rd to 5^th grades, as this was regular practice in their schools.

6. Responses to assessment items were also coded for strategy use, though this is beyond the scope of this paper. For a description of these results, see Blanton, Isler, et al. (in press).

7. While we take representations to include a variety of forms, such as natural language, variable notation, tables, graphs and pictures, we focus here on variable notation because of its seminal role in algebra (see, e.g., Kaput, 2008; Kline, 1972).

8. We made a few adaptations of the MQI: we looked at fewer variables as they fit the focus of our study, and we also used a different segment length (the MQI only examines 20-minute sections, while we examined complete lessons).

9. Precision was coded this way in the original MQI.

10. It is beyond the scope of this paper to provide a full report on student performance growth. For a complete report of the longitudinal analysis of student performance and strategy use, see Blanton, Isler, et al. (in press).

1. La FOI puede medirse utilizando distintas herramientas que requieren, todas ellas, el seguimiento de la enseñanza en el aula. Debido al tamaño de este estudio, no era viable estar presentes en el aula en todo momento, por lo que se observaron solo un subconjunto de clases y se recurrió a herramientas adicionales como los cuestionarios de los docentes. No obstante, dadas las limitaciones del autoinforme, se hicieron visitas para analizar si las lecciones se estaban llevando a cabo con fidelidad y se realizaron entrevistas individuales con los profesores; ambos métodos sirvieron para triangular los datos del estudio. En segundo lugar, recurrimos al uso del cuestionario MQI para complementar nusetras medidas de carga cognitiva porque queríamos utilizar un instrumento establecido (en lugar de uno de desarrollo propio) para garantizar que nuestros datos no presentaban sesgos respecto al currículo. En la sección siguiente se ofrecen más detalles sobre esta cuestión.

2. En Estados Unidos, los distintos distritos escolares (y con frecuencia los centros escolares individuales en cada distrito) pueden aplicar el currículo de su elección. No obstante, este debe estar línea con los estándares estatales y preparar a los escolares para los exámenes anuales. Los tres distritos participantes en nuestro estudio eligieron currículos distintos y ofrecieron a sus docentes recomendaciones respecto al ritmo y a su ejecución. Nuestros cuestionarios y entrevistas revelan grandes semejanzas en el cumplimiento de los estándares estatales en los tres distritos.

3. Estas lecciones no eran adicionales al tiempo de enseñanza matemática de los participantes, sino que la lección de la intervención sustituyó a una hora de clase de su programa habitual. Por lo tanto, el tiempo dedicado a la enseñanza de las matemáticas fue el mismo en todos los grupos, los de control y experimentales.

4. A causa de las complicaciones logísticas, un docente fue observado una sola vez al principio del curso.

5. Únicamente en dos casos, el docente permaneció con el mismo grupo de escolares desde 3º a 5º, puesto que esa era la práctica habitual de sus respectivos centros.

6. Las respuestas a los ítems de evaluación también se codificaron respecto al uso de estrategias, pero ese aspectdo queda fuera del alcance de este estudio. Para una descripción de los resultados, véase Blanton, Isler, et al., en prensa)

7. Aunque consideramos que las representacions incluyen una gran variedad de formas como el lenguaje natural, la notación de variables, tablas, gráficos e imágenes, en este artículo nos centramos en la notación de variables debido a su papel clave en álgebra (véase, e.g., Kaput, 2008; Kline, 1972)

8. Se han realizado algunas adaptaciones del MQI: se contempla un número menor de variables, puesto que encajan mejor con el foco del estudio, y también se ha utilizado una longitud de segmento distinta (el MQI analiza secciones de 20 minutos, mientras que aquí se analizan lecciones completas).

9. Se codificó la precisión del mismo modo que en el MQI original.

10. Queda fuera del alcance de este artículo ofrecer un informe completo sobre el incremento en el rendimiento de los escolares. Para un informe completo sobre el análisis longitudinal del rendimeinto escolar de los participantes y el uso de estrategias, véase Blanton, Isler, et al., en prensa.

Additional information

Funding

This work was supported by the Institute of Education Sciences: [Grant Number R305A140092].