Making sense of evidence-based governance reforms: an exploratory analysis of teachers coping with the Austrian performance standard policy

References

• Ackeren, I. V. (2007). Nutzung großflächiger Tests für die Schulentwicklung. Bundesministerium für Bildung und Forschung.
   Google Scholar
• Aiglsdorfer, B., & Aigner, M. (2005). Implementierung nationaler Bildungsstandards in Österreich. Untersuchung zur Einführung der nationalen Bildungsstandards an ausgewählten Hauptschulen der Pilotphase II [Diploma thesis]. Johannes Kepler University Linz.
   Google Scholar
• Altrichter, H., & Kanape-Willingshofer, A. (2012). Bildungsstandards und externe Überprüfung von Schülerkompetenzen: Mögliche Beiträge externer Messungen zur Erreichung der Qualitätsziele der Schule. In B. Herzog-Punzenberger (Ed.), Nationaler Bildungsbericht 2012. Band 2: Fokussierte Analysen bildungspolitischer Schwerpunktthemen (pp. 355–394). Leykam.
   Google Scholar
• Altrichter, H., Moosbrugger, R., & Zuber, J. (2016). Schul- und Unterrichtsentwicklung durch Datenrückmeldung. In H. Altrichter & K. Maag Merki (Eds.), Handbuch Neue Steuerung im Schulsystem (pp. 235–277). Springer VS.
   Google Scholar
• Altrichter, H., & Maag Merki, K. (2016). Steuerung der Entwicklung des Schulwesens. In H. Altrichter & K. Maag Merki (Eds.), Handbuch Neue Steuerung im Schulsystem (2nd ed., pp. 1–27). Springer VS.
   Google Scholar
• Altrichter, H. (2017). The short flourishing of an inspection system. In J. Baxter (Ed.), School inspectors: Policy implementers, policy shapers in national policy contexts (pp. 206–230). Springer.
   Google Scholar
• Altrichter, H. (2020). The emergence of evidence-based governance models in the state-based education systems of Austria and Germany. In J. Allan, V. Harwood, & C. Rübner Jørgensen (Eds.), World yearbook in education 2020: Schooling, governance and inequalities (pp. 72–95). Routledge.
   Google Scholar
• Altrichter, H., & Gamsjäger, M. (2017). A conceptual model for research in performance standard policies. Nordic Journal of Studies in Education Policy, 3(1), 6–20. https://doi.org/https://doi.org/10.1080/20020317.2017.1316180
   Google Scholar
• Altrichter, H., & Kemethofer, D. (2016). Stichwort: Schulinspektion. Zeitschrift für Erziehungswissenschaft, 19(3), 487–508. https://doi.org/https://doi.org/10.1007/s11618-016-0688-0
   Web of Science ®Google Scholar
• Asbrand, B., Heller, N., & Zeitler, S. (2012). Die Arbeit mit Bildungsstandards in Fachkonferenzen. Die Deutsche Schule, 104(1), 31–43.
   Google Scholar
• Au, W. (2007). High stakes testing and curricula control: A qualitative meta synthesis. Educational Researcher, 36(5), 258–267. https://doi.org/https://doi.org/10.3102/0013189X07306523
   Google Scholar
• Ball, S. J., Maguire, N., & Braun, A. (2012). How schools do policy. Policy enactments in secondary schools. Routledge.
   Google Scholar
• Bellmann, J. (2016). Datengetrieben und/oder evidenzbasiert? Zeitschrift für Erziehungswissenschaft, 19(1), 147–161. https://doi.org/https://doi.org/10.1007/s11618-016-0702-6
   Google Scholar
• Berliner, D. C. (2002). Educational research: The hardest science of all. Educational Researcher, 31(8), 18–20. https://doi.org/https://doi.org/10.3102/0013189X031008018
   Google Scholar
• Biesta, G. (2007). Why “what works” won´t work: Evidence-based practice and the democratic deficit in educational research. Educational Theory, 57(1), 1–22. https://doi.org/https://doi.org/10.1111/j.1741-5446.2006.00241.x
   Google Scholar
• Bishop, J. H. (1995). The impact of curriculum-based external examinations on school priorities and student learning. International Journal of Educational Research, 23(8), 653–752. https://doi.org/https://doi.org/10.1016/0883-0355(96)00001-8
   Google Scholar
• Breiter, A., & Light, D. (2006). Data for school improvement: Factors for designing effective information systems to support decision-making in schools. Educational Technology & Society, 9(3), 206–217.
   Web of Science ®Google Scholar
• Brown, C., Schildkamp, K., & Hubers, M. D. (2017). Combining the best of two worlds: A conceptual proposal for evidence-informed school improvement. Educational Research, 59(2), 154–172. https://doi.org/https://doi.org/10.1080/00131881.2017.1304327
   Web of Science ®Google Scholar
• Coburn, C. E., & Turner, E. O. (2011). Research on data use: A framework and analysis. Measurement: Interdisciplinary Research and Perspectives, 9(4), 173–206. https://doi.org/https://doi.org/10.1080/15366367.2011.626729
   Google Scholar
• Deci, E. L., Koestner, R., & Ryan, R. M. (1999). A meta-analytic review of experiments examining the effects of extrinsic rewards on intrinsic motivation. Psychological Bulletin, 125(3), 627–668. https://doi.org/https://doi.org/10.1037/0033-2909.125.6.627
   PubMed Web of Science ®Google Scholar
• Döbert, H., Rürup, M., & Dedering, K. (2008). Externe Evaluation von Schulen in Deutschland. In H. Döbert & K. Dedering (Eds.), Externe Evaluation von Schulen (pp. 63–151). Waxmann.
   Google Scholar
• Ehren, M. C. M., Altrichter, H., McNamara, G., & O’Hara, J. (2013). Impact of school inspections on improvement of schools – Describing assumptions on causal mechanisms in six European countries. Educational Assessment, Evaluation and Accountability, 25(1), 3–43. https://doi.org/https://doi.org/10.1007/s11092-012-9156-4
   Web of Science ®Google Scholar
• Ehren, M. C. M., Gustafsson, J.-E., Altrichter, H., Skedsmo, G., Kemethofer, D., & Huber, S. G. (2015). Comparing effects and side effects of different school inspection systems across Europe. Comparative Education, 51(3), 375–400. https://doi.org/https://doi.org/10.1080/03050068.2015.1045769
   Web of Science ®Google Scholar
• Feldman, A., Altrichter, H., Posch, P., & Somekh, B. (2018). Teachers investigate their work. An introduction to action research across the professions (3rd ed.). Routledge.
   Google Scholar
• Fend, H. (2006). Neue Theorie der Schule. Verlag für Sozialwissenschaften.
   Google Scholar
• Fend, H. (2008). Die Bedeutung von Bildungsstandards im Kontext von Educational Governance. Beiträge zur Lehrerbildung, 26(3), 292–303.
   Google Scholar
• Fend, H. (2011). Die Wirksamkeit der Neuen Steuerung – Theoretische und methodische Probleme ihrer Evaluation. Zeitschrift für Bildungsforschung, 1(1), 5–24. https://doi.org/https://doi.org/10.1007/s35834-011-0003-3
   Google Scholar
• Fend, H. (2018). Bildungsforschung und Schulentwicklung in Österreich. In H. Altrichter, B. Hanfstingl, K. Krainer, M. Krainz-Dürr, E. Messner, & J. Thonhauser (Eds.), Baustellen [in] der österreichischen Bildungslandschaft (pp. 14–25). Waxmann.
   Google Scholar
• Freudenthaler, H. H., & Specht, W. (2005). Bildungsstandards aus Sicht der Anwender. Evaluation der Pilotphase I zur Umsetzung nationaler Bildungsstandards in der Sekundarstufe I. BMBWK.
   Google Scholar
• Freudenthaler, H. H., & Specht, W. (2006). Bildungsstandards: Der Implementationsprozess aus der Sicht der Praxis. ZSE.
   Google Scholar
• Frühwacht, A. (2012). Bildungsstandards in der Grundschule. Klinkhardt.
   Google Scholar
• Fullan, M., & Stiegelbauer, S. (1991). The new meaning of educational change. Cassel.
   Google Scholar
• Gathen, J. V. D. (2011). Leistungsrückmeldungen bei Large-Scale-Assessements und Vollerhebungen. Rezeption und Nutzung am Beispiel von DESI und Lernstand. Waxmann.
   Google Scholar
• Grabensberger, E., Freudenthaler, H. H., & Specht, W. (2008). Bildungsstandards: Testungen und Ergebnisrückmeldungen auf der 8. Schulstufe aus der Sicht der Praxis. BIFIE.
   Google Scholar
• Grillitsch, M. (2010). Bildungsstandards auf dem Weg in die Praxis. BIFIE-Report 6/2010. Leykam.
   Google Scholar
• Groß Ophoff, J. (2013). Lernstandserhebungen. Reflexion und Nutzung. Waxmann.
   Google Scholar
• Groß Ophoff, J., Koch, U., & Hosenfeld, I. (2019). Vergleichsarbeiten in der Grundschule von 2004 bis 2015. Trends in der Akzeptanz und Auseinandersetzung mit Rückmeldungen. In J. Zuber, H. Altrichter, & M. Heinrich (Eds.), Bildungsstandards zwischen Politik und schulischem Alltag (pp. 204–226). Springer VS.
   Google Scholar
• Groß Ophoff, J., Hosenfeld, I., & Koch, U. (2007). Formen der Ergebnisrezeption und damit verbundene Schul- und Unterrichtsentwicklung. Empirische Pädagogik, 21(4), 411–427.
   Google Scholar
• Groß Ophoff, J., Koch, U., Helmke, A., & Hosenfeld, I. (2006). Vergleichsarbeiten für die Grundschule – Und was diese daraus machen (können). Journal für Schulentwicklung, 10(4), 7–12.
   Google Scholar
• Harris, D. N., & Herrington, C. D. (2006). Accountability, standards, and the growing achievement gap: Lessons from the past half-century. American Journal of Education, 112(2), 209–238. https://doi.org/https://doi.org/10.1086/498995
   Web of Science ®Google Scholar
• Hartung-Beck, V. (2009). Schulische Organisationsentwicklung und Professionalisierung. Folgen von Lernstandserhebungen an Gesamtschulen. VS.
   Google Scholar
• Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81–112. https://doi.org/https://doi.org/10.3102/003465430298487
   Web of Science ®Google Scholar
• Heinrich, M. (2018). Does dialogue work? Governance Analysen zur Notwendigkeit eines ‚dialogic turn‘ evidenzorientierter Steuerung am Beispiel der Schulinspektion. In K. Drossel & W. Eickelmann (Eds.), Does ‚what works‘ work? Bildungspolitik, Bildungsadministration und Bildungsforschung im dialog (pp. 323–334). Waxmann.
   Google Scholar
• Hölzl, L., & Rixinger, G. (2007). Implementierung von Bildungsstandards in Österreich – Das zweite Jahr. Dokumentation des Entwicklungsprozesses der Pilotphase II in zwei österreichischen Hauptschulen [Diploma thesis]. Johannes Kepler University Linz.
   Google Scholar
• Hosenfeld, I., Groß Ophoff, J., & Koch, U. (2007). Vergleichsarbeiten in Klassenstufe 3 („VERA 3“) – Konzept und empirische Befunde zum Umgang mit den Ergebnisrückmeldungen in den Schulen[Paper presented] The meeting of the Seventh Conference on Empiriegestützte Schulentwicklung, Mainz.
   Google Scholar
• Hult, A., & Edström, C. (2016). Teacher ambivalence towards school evaluation: Promoting and ruining teacher professionalism. Education Inquiry, 7(3), 305–325. https://doi.org/https://doi.org/10.3402/edui.v7.30200
   Google Scholar
• Husfeldt, V. (2011). Wirkungen und Wirksamkeit der externen Schulevaluation. Überblick zum Stand der Forschung. Zeitschrift für Erziehungswissenschaft, 14(2), 259–282. https://doi.org/https://doi.org/10.1007/s11618-011-0204-5
   Web of Science ®Google Scholar
• Jäger, D. J., Maag Merki, K., Oerke, B., & Holmeier, M. (2012). Statewide low-stakes tests and teaching-to-the-test effect? An analysis of teacher survey data from two German states. Assessment in Education: Principles, Policy & Practice, 19(4), 451–467. https://doi.org/https://doi.org/10.1080/0969594X.2012.677803
   Google Scholar
• Kemethofer, D., Zuber, J., Helm, C., Demski, D., & Riess, C. (2015). Effekte von Schulentwicklungsmaßnahmen auf Schüler/innenleistungen im Fach Mathematik. SWS-Rundschau, 55(1), 26–47.
   Google Scholar
• Kluger, A. N., & DeNisi, A. (1996). The effects of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological Bulletin, 119(2), 254–284. https://doi.org/https://doi.org/10.1037/0033-2909.119.2.254
   Web of Science ®Google Scholar
• Kuckartz, U. (2012). Qualitative Inhaltsanalyse. Methoden, Praxis, Computerunterstützung. Beltz Juventa.
   Google Scholar
• Kuper, H. (2005). Evaluation im Bildungssystem. Kohlhammer.
   Google Scholar
• Leeuw, F. L. (2003). Reconstructing program theories: Methods available and problems to be solved. American Journal of Evaluation, 24(1), 5–20. https://doi.org/https://doi.org/10.1177/109821400302400102
   Web of Science ®Google Scholar
• Maag Merki, K. (2016). Theoretische und empirische Analysen der Effektivität von Bildungsstandards, standardbezogenen Lernstandserhebungen und zentralen Abschlussprüfungen. In H. Altrichter & K. Maag Merki (Eds.), Handbuch Neue Steuerung im Schulsystem (pp. 151–181). VS.
   Google Scholar
• Maag Merki, K., Holmeier, M., Jäger, D. J., & Oerke, B. (2010). Die Effekte der Einführung zentraler Abiturprüfung auf die Unterrichtsgestaltung in Leistungskursen in der gymnasialen Oberstufe. Unterrichtswissenschaft, 38(2), 173–192.
   Google Scholar
• Maier, U. (2008). Rezeption und Nutzung von Vergleichsarbeiten aus der Perspektive von Lehrkräften. Zeitschrift für Pädagogik, 54(1), 95–117.
   Google Scholar
• Maier, U. (2009). Testen und dann? – Ergebnisse einer qualitativen Lehrerbefragung zur individualdiagnostischen Funktion von Vergleichsarbeiten. Empirische Pädagogik, 23(2), 191–207.
   Google Scholar
• Maier, U., & Kuper, H. (2012). Vergleichsarbeiten als Instrumente der Qualitätsentwicklung an Schulen. Die Deutsche Schule, 104(1), 88–99.
   Google Scholar
• Maritzen, N. (2018). Was heißt und zu welchem Ende studiert man Daten? In K. Drossel & B. Eickelmann (Eds.), Does ‚what works’ work? (pp. 37–54). Waxmann.
   Google Scholar
• Maroy, C., & Pons, X. (eds.). (2019). Accountability policies in education. A comparative and multilevel analysis in France and Quebec. Springer.
   Google Scholar
• Mayring, P. (2014). Qualitative content analysis. Theoretical Foundation, Basic Procedures and Software Solution. https://www.ssoar.info/ssoar/bitstream/handle/document/39517/ssoar-2014-mayring-Qualitative_content_analysis_theoretical_foundation.pdf
   Google Scholar
• Merk, S., Poindl, S., & Bohl, T. (2018). Which statistical information of feedback data from student questionnaires should (not) reported to teacher? Perceived informativity and validity of interpration in a high math affine sample. Unpublished Paper. University of Tübingen. https://osf.io/7r6kb/
   Google Scholar
• Meyer, J. W., & Rowan, B. (1977). Institutionalized organizations: Formal structure as myth and ceremony. American Journal of Sociology, 83(2), 340–363. https://doi.org/https://doi.org/10.1086/226550
   Web of Science ®Google Scholar
• Muslic, B., Ramsteck, C., & Kuper, H. (2013). Das Verhältnis von Schulleitung und Schulaufsicht im Kontext testbasierter Schulreform. In I. V. Ackeren, M. Heinrich, & F. Thiel (Eds.), Evidenzbasierte Steuerung im Bildungssystem? (pp. 97–120). Waxmann.
   Google Scholar
• Nachtigall, C. (2005). Landesbericht – Thüringer Kompetenztest 2005. Friedrich-Schiller-Universität.
   Google Scholar
• Oerke, B., Maag Merki, K., Maué, E., & Jäger, D. J. (2013). Zentralabitur und Themenvarianz im Unterricht: Lohnt sich Teaching to the Test? In D. Bosse, F. Eberle, & B. Schneider-Taylor (Eds.), Standardisierung in der gymnasialen Oberstufe (pp. 27–49). Springer VS.
   Google Scholar
• Ozga, J., & Jones, R. (2006). Travelling and embedded policy: The case of knowledge transfer. Journal of Education Policy, 21(1), 1–17. https://doi.org/https://doi.org/10.1080/02680930500391462
   Web of Science ®Google Scholar
• Piezunka, A. (2019). Struggle for acceptance – maintaining external school evaluation as an institution in Germany. Historical Social Research, 44(2), 270–287. https://doi.org/https://doi.org/10.12759/hsr.44.2019.2.270-287
   Web of Science ®Google Scholar
• Pont, B., Nusche, D., & Moorman, H. (2008). Improving school leadership. Volume 1: Policy and practice. OECD.
   Google Scholar
• Prenger, R., & Schildkamp, K. (2018). Data-based decision making for teacher and student learning: A psychological perspective on the role of the teacher. Educational Psychology, 38(6), 734–752. https://doi.org/https://doi.org/10.1080/01443410.2018.1426834
   Web of Science ®Google Scholar
• Rieß, C., & Zuber, J. (2014). Rezeption und Nutzung von Ergebnissen der Bildungsstandardüberprüfung in Mathematik auf der 8. Schulstufe unter Berücksichtigung der Rückmeldemoderation. BIFIE-Report 2/2014. BIFIE. https://www.bifie.at/wp-content/uploads/2017/05/E_BIST_M8_RM_RMM_20140623.pdf
   Google Scholar
• Rürup, M., Fuchs, H. W., & Weishaupt, H. (2016). Bildungsberichterstattung – Bildungsmonitoring. In H. Altrichter & K. Maag Merki (Eds.), Handbuch Neue Steuerung im Schulsystem (pp. 411–437). Springer VS.
   Google Scholar
• Schildkamp, K., Karbautzki, L., & Vanhoof, J. (2014). Exploring data use practices around Europe: Identifying enablers and barriers. Studies in Educational Evaluation, 42, 15–24. https://doi.org/https://doi.org/10.1016/j.stueduc.2013.10.007
   Web of Science ®Google Scholar
• Schildkamp, K., Visscher, A., & Luyten, H. (2009). The effects of the use of a school self-evaluation instrument. School Effectiveness and School Improvement, 20(1), 69–88. https://doi.org/https://doi.org/10.1080/09243450802605506
   Web of Science ®Google Scholar
• Schimank, U. (2007). Die Governance-Perspektive: Analytisches Potenzial und anstehende konzeptionelle Fragen. In H. Altrichter, T. Brüsemeister, & J. Wissinger (Eds.), Educational governance (pp. 231–260). VS.
   Google Scholar
• Scott, W. R. (2001). Institutions and organizations. Sage.
   Google Scholar
• Spillane, J. P. (2012). Data in practice: Conceptualizing the data-based decision-making phenomena. American Journal of Education, 118(2), 113–141. https://doi.org/https://doi.org/10.1086/663283
   Web of Science ®Google Scholar
• Tillmann, K.-J., Dedering, K., Kneuper, D., Kuhlmann, C., & Nessel, I. (2008). PISA als bildungspolitisches Ereignis. VS.
   Google Scholar
• van der Scheer, E., Glas, C. A. W., & Visscher, A. J. (2017). Changes in teachers‘ instructional skills during an intensive data-based decision making intervention. Teaching and Teacher Education, 65, 171–182. https://doi.org/https://doi.org/10.1016/j.tate.2017.02.018
   Web of Science ®Google Scholar
• Visscher, A. J., & Coe, R. (2002). School improvement through performance feedback. Routledge.
   Google Scholar
• Wacker, A. (2008). Bildungsstandards als Steuerungselement der Bildungsplanung. Klinkhardt.
   Google Scholar
• Wiater, W. (2006). Lehrplan, Curriculum, Bildungsstandards. In K.-H. Arnold, U. Sandfuchs, & J. Wiechmann (Eds.), Handbuch Unterricht (pp. 169–178). Klinkhardt.
   Google Scholar
• Windzio, M., Sackmann, R., & Martens, K. (2005). Types of governance in education – a quantitative analysis TranState Working Papers No.25. Bremen, Germany: University Bremen. https://www.econstor.eu/bitstream/10419/28275/1/501321926.PDF
   Google Scholar
• Yin, R. K. (2013). Case study research: Design and methods. Sage.
   Google Scholar
• Zeitler, S., Asbrand, B., & Heller, N. (2013). Steuerung durch Bildungsstandards – Bildungstandards als Innovation zwischen Implementation und Rezeption. In M. Rürup & I. Bormann (Eds.), Innovationen im Bildungswesen (pp. 128–147). Springer VS.
   Google Scholar
• Zuber, J. (2019). Einstellungsbildung als Gelingensbedingung für die Umsetzung einer Bildungsstandardpolitik? In J. Zuber, H. Altrichter, & M. Heinrich (Eds.), Bildungsstandards zwischen Politik und schulischem Alltag (pp. 105–129). Springer VS.
   Google Scholar
• Zuber, J., & Altrichter, H. (2018). The role of teacher characteristics in an educational standards reform Educational Assessment, Evaluation and Accountability, 30(2), 183–205. https://doi.org/https://doi.org/10.1007/s11092-018-9275-7
   Web of Science ®Google Scholar
• Zuber, J., & Katstaller, M. (2018). Veränderung elterlicher Partizipation durch Bildungsstandards? Erziehung und Unterricht, 168(7–8), 730–743.
   Google Scholar
• Zuber, J., Rieß, C., & Bruneforth, M. (2012). Evaluation der abgeschlossenen Standardüberprüfung Mathematik 8. Schulstufe 2012 (BIST-Begleitforschung, 1/2012). BIFIE.
   Google Scholar