EFL writers’ cognitive engagement with AWE feedback

Abstract

This paper reports on a pilot study with advanced EFL learners in Germany who were asked to use ProWritingAid (PWA) for a composition task in a German comprehensive school. PWA is an Automated Writing Evaluation (AWE) tool that provides writers with feedback on grammar, spelling mistakes, and writing style during the writing and editing process. Students’ engagement with PWA’s suggestions is documented with the help of screen capture software and a change tracker sheet. A coding grid, based on the three dimensions of learner engagement with AWE feedback, is developed in the process of analysing the data. Results indicate that there is cognitive engagement with AWE feedback even when learners reject suggestions for correction. It will be discussed whether episodes of cognitive engagement with AWE can be conceptualised as engagement with language according to Svalberg.

ABSTRAKT

Automatisierte Diagnose- und Feedbacksysteme (ADFS) unterstützen Schreibende bei der Texterstellung und Überarbeitung. Dieser Beitrag berichtet über eine Pilotstudie mit fortgeschrittenen Englischlernenden, die gebeten wurden, ProWritingAid (PWA) bei der Erstellung eines Essays zu verwenden. PWA stellt während des Schreib- und Bea­rbeitungsprozesses Feedback zu Grammatik, Rechtschreibfehlern und Schreibstil bereit. Die Auseinandersetzung der Schülerinnen und Schüler mit den Vorschlägen von PWA wurde mit Hilfe einer Screen-Capture-Software und einem Change-Tracker-Bogen dokumentiert. Für die Analyse der Daten wurde ein Kodierschema entwickelt, welches drei Dimensionen der Auseinandersetzung (engagement) mit AWE-Feedback operationalisiert. Die Ergebnisse zeigen, dass Lernende begründet Korrekturvorschläge annehmen oder ablehnen, wenn diese nicht zu ihren Aussageabsichten passen. Episoden der kognitiven Auseinandersetzung mit AWE Feedback können als Form des engagement with language interpretiert werden.

PLAIN LANGUAGE STATEMENT

When EFL learners use a computer program to evaluate their writing, they receive feedback to help them improve. This feedback is called Automated Writing Evaluation (AWE) feedback. It can show them what they did well and what they can work on. This study explores how advanced EFL learners deal with the suggestions from an AWE tool. EFL learners who engage with AWE feedback actively read and consider the suggestions given by the program. They use this feedback to make changes and enhance their writing skills. By paying attention to AWE feedback, EFL learners can become better at writing in English.

Keywords:

• Automated writing evaluation
• EFL writing
• formative assessment
• engagement with language
• technology-generated feedback