Word Error Rate

WER (del inglés Word Error Rate) es una medida comúnmente utilizada en la evaluación de sistemas de reconocimiento del habla o de traducción automática.

Concepto

Calcula el número mínimo de inserciones, borrados y sustituciones de una palabra por otra, necesarios para transformar una frase en otra. Esta medida se basa en la distancia de edición o distancia de Levenshtein, con la salvedad de que esta última se calcula a nivel de letra y WER lo hace a nivel de palabra.

En tareas tanto de traducción automática como de reconocimiento del habla, se calcula WER entre la frase generada por el sistema y una frase de referencia correcta.

${\displaystyle WER={\frac {S+B+I}{N}}}$

donde

• S es el número de sustituciones,
• B es el número de borrados,
• I es el número de inserciones,
• N es el número de palabras que tiene la frase de referencia.

Para hallar el valor mínimo de WER entre dos frases se utiliza un algoritmo de programación dinámica.

Si consideramos que ${\displaystyle t_{1},t_{2}...,t_{n}}$ son las primeras ${\displaystyle i}$ palabras de la frase generada y ${\displaystyle r_{1},r_{2}...r_{n}}$ las ${\displaystyle r}$ primeras de la frase de referencia:

${\displaystyle WER(i,j)=\min {\begin{cases}WER(i-1,j)+1\\WER(i,j-1)+1\\WER(i-1,j-1)+\Delta (i,j)\end{cases}}}$

donde ${\displaystyle \Delta (i,j)}$ es 1 si las palabras ${\displaystyle t_{i}}$ y ${\displaystyle r_{j}}$ son diferentes y 0 si son iguales.