16 / 33
15
Para la parte de naturalidad e inteligibilidad se aplicó la prueba MOS [7] que contiene índices
numéricos calculados como promedio en un rango de 1 a 5, siendo el 1 la calidad más baja y 5 la más alta.
Tabla 1. Escala de valores en la aplicación de MOS.
Se aplicó también un test de comprensión para determinar si un usuario puede reconocer y entender
una frase o una palabra que en este caso se trata de una sentencia con un conjunto de nombres de calles que
conforman una dirección.
Las pruebas se llevaron a cabo en lugares abiertos, para tomar en cuenta el ruido ambiental
provocado por diversas fuentes como el tráfico de vehículos y las industrias, ya que el lugar en donde el
sistema funcionará será precisamente en las calles en donde existen factores que crean dificultades para que el
usuario escuche y entienda las frases adecuadamente.
Las 10 frases de prueba que se emplearon en las dos pruebas para evaluar el sistema
UrbvoxTTS
son
las siguientes:
1.
3 sur
2.
4 norte
3.
Calle 5 norte
4.
Estás en la calle 3 sur entre la 4 y 6 poniente
5.
13 poniente
6.
Calle 14 sur entre 3 y 5
7.
Estás en la calle 15 sur entre la 7 y la 9
8.
11 oriente
9.
Estás en la esquina 5 Norte y 8 poniente
10.
Estás en la esquina 2 sur y 4 oriente
Se consideraron 10 evaluadores, 5 de ellos padecen alguna deficiencia visual, los otros 5 no padecen
alguna deficiencia visual.
Los resultados de las pruebas realizadas demuestran que el sintetizador cumple con las características de
calidad, obteniendo un promedio global en inteligibilidad de 3.8 y en naturalidad de 3.4 (en una escala de 1 a
5), resultados satisfactorios para lograr el objetivo principal del proyecto que es asegurar la comunicación
entre el dispositivo y el usuario.
MOS
Calidad
¿Con qué facilidad o
dificultad es entendida?
¿En qué medida se asemeja a
la voz real de un humano?
5
Excelente
Comprensión total
Real
4
Bueno
Entendible
Natural
3
Regular
Perceptible
Poco Natural
2
Pobre
Deteriorado
Artificial
1
Malo
Muy deteriorado
Muy artificial
Mean Opinión Score (MOS)