Automatic testing of speech recognition

Abstract

Speech reception tests are commonly administered by manually scoring the oral response of the subject. This requires a test supervisor to be continuously present. To avoid this, a subject can type the response, after which it can be scored automatically. However, spelling errors may then be counted as recognition errors, influencing the test results. We demonstrate an autocorrection approach based on two scoring algorithms to cope with spelling errors. The first algorithm deals with sentences and is based on word scores. The second algorithm deals with single words and is based on phoneme scores. Both algorithms were evaluated with a corpus of typed answers based on three different Dutch speech materials. The percentage of differences between automatic and manual scoring was determined, in addition to the mean difference in speech recognition threshold. The sentence correction algorithm performed at a higher accuracy than commonly obtained with these speech materials. The word correction algorithm performed better than the human operator. Both algorithms can be used in practice and allow speech reception tests with open set speech materials over the internet.

• Autocorrection
• Automatic spelling correction
• Error correction
• Speech in noise
• Speech recognition
• Word score
• Phoneme score

Abbreviations
Ac	=	Autocorrection
CVC	=	Consonant vowel consonant
MO	=	Manual score of oral response
MOC	=	Corrected manual score of oral response
MT	=	Manual score of typed response
SRT	=	Speech recognition threshold
SNR	=	Signal to noise ratio

Abbreviations
Ac	=	Autocorrection
CVC	=	Consonant vowel consonant
MO	=	Manual score of oral response
MOC	=	Corrected manual score of oral response
MT	=	Manual score of typed response
SRT	=	Speech recognition threshold
SNR	=	Signal to noise ratio

Sumario

Las pruebas de recepción del lenguaje se administran comúnmente anotando manualmente las respuestas orales del sujeto. Esto hace necesario de la presencia continua de un supervisor de pruebas. Para evitarlo, un sujeto puede escribir la respuesta, luego de lo cuál ésta puede ser anotada automáticamente. Sin embargo, los errores de ortografía pueden ser tomados como errores de reconocimiento, influyendo en los resultados de la prueba. Demostramos un enfoque de auto-corrección con dos algoritmos de anotación para manejar los errores ortográficos. El primer algoritmo se enfoca a oraciones y se basa en puntuaciones de palabras. El segundo algoritmo tiene que ver con palabras solas y esta basado en puntaje de fonemas. Ambos algoritmos fueron evaluados con grupo de respuestas escritas a máquina con base en tres diferentes materiales de lenguaje en holandés. Se determinó el porcentaje de diferencia entre el registro manual y el automático de puntaje, además de la diferencia media en los umbrales de reconocimiento del lenguaje. El algoritmo de corrección de frases funcionó con una exactitud mayor de lo comúnmente obtenido con estos materiales de lenguaje. El algoritmo de corrección de palabras funcionó mejor que el operador humano. Ambos algoritmos pueden ser usados en la práctica y permiten el uso de pruebas de recepción del lenguaje con materiales de lenguaje de contexto abierto a través de Internet.

Notes

1. A Dutch hearing screening test for children is available on http://www.kinderhoortest.nl/

2. Dutch hearing screening tests for adults are available on http://www.hoortest.nl/ and http://www.oorcheck.nl/

3. More information on the Hearcom internet hearing screening tests can be found on http://www.hearcom.eu/main/Checkingyourhearing/speechtesttext.html

4. Keywords are the words that are important to understand the meaning of the sentence.