Reliability of a rating scale used to distinguish direction of eye movement using infrared/video ENG recordings during repositioning maneuvers

Abstract

The purpose of this study was to determine the validity of the nystagmus rating scale (NRS) and to assess inter- and intra-rater reliability of audiologists and experts using the scale. Face and content validity was established by eliciting feedback from two neurotologists and one neurologist. A training tape was developed to describe the rating scale and provide practice with patterns of nystagmus in benign paroxysmal positional vertigo (BPPV). Eye movements of 34 patients, ages 33 to 82 years, were videotaped using infrared/video ENG during repositioning maneuvers. Six randomly paired audiologists and six experts viewed the videotape recordings and completed the NRS for each pattern. Cohen's kappa coefficients were calculated to determine inter-rater reliability. The kappa values were 0.31 with 41% agreement for audiologists, and 0.48 with 59% agreement for experts. Intra-rater reliability for a subgroup of audiologists was 0.55 with 64% agreement, and for experts was 0.75 with 81% agreement. In summary, even in this experienced population, additional training in viewing nystagmus patterns is needed to improve reliability among clinicians during diagnosis and treatment.

• Nystagmus
• Rating scale
• Benign paroxysmal positional vertigo
• Videonystagmography
• Tests and measurements
• Patricia Blau

Sumario

El propósito de este estudio fue determinar la validez de la escala de clasificación del nistagmo (NRS) y evaluar la inter e intra confiabilidad de audiólogos y expertos con el uso de esta escala. La validez de las facetas y el contenido se establecieron con la retroalimentación de dos otoneurólogos y un neurólogo. Se produjo una cinta para entrenamiento describiendo la escala y para permitir la práctica con los patrones de nistagmo en vértigo postural paroxístico benigno (BPPV). Se grabaron los movimientos oculares de 34 pacientes de 33 a 82 años, utilizando Video ENG infrarroja durante maniobras de reposicionamiento. Las videograbaciones fueron vistas por seis pares de audiólogos seleccionados al azar y por seis expertos quienes completaron la NRS para cada patrón. Se calcularon los coeficientes kappa de Cohen para determinar la inter e intra confiabilidad. Los valores kappa fueron 0.31 con 41% de acuerdo de los audiólogos y 0.48 con 59% de acuerdo de los expertos. La intra confiabilidad en un subgrupo de audiólogos fue de 0.55 con 64% de acuerdo y para expertos, de 0.75 con 81% de acuerdo. En resumen, incluso para esta población experimentada, se necesita un entrenamiento adicional para observar los patrones del nistagmo, y así mejorar la confiabilidad entre los clínicos durante el diagnóstico y el tratamiento.