V Jornadas de la Red Temática en Tecnologías del Habla (RTTH)
Evaluación de Sistemas ALBAYZIN-08
Formulario de inscripción    |   
Contacto    |   
Plan de evaluación en pdf    |   
Listado de participantes    |   
Wiki    |   
Verificación de la Lengua
(ALBAYZIN-08 VL)
Plan de evaluación
Objetivo

El objetivo de esta evaluación es promover el intercambio de ideas, estimular la creatividad y favorecer la colaboración entre los grupos de investigación españoles que trabajan en identificación y verificación de la lengua. Con este fin, se propone una competición entre sistemas en una tarea de verificación de la lengua similar a la que cada dos años organiza la organización estadounidense NIST (National Institute of Standards and Technology) a nivel internacional1, aunque con un menor grado de dificultad, ya que se consideran tan sólo cuatro lenguas (castellano, catalán, euskera y gallego) y se utilizan señales de mejor calidad (ancho de banda y SNR mayores).

Detalles sobre Tarea, Evaluación y Corpus, así como Condiciones Generales de Participación

Consúltese el documento:
"Plan de Evaluación de Sistemas ALBAYZIN-08: Verificación de la Lengua (ALBAYZIN-08 VL)"

Calendario
5 de mayo de 2008
  • Publicación del plan de evaluación en la web de las VJTH
  • Apertura del plazo de inscripción
  • Habilitación de un formulario de inscripción en línea accesible desde la web de las VJTH
30 de junio de 2008
  • Comienzo del envío de los materiales de entrenamiento y desarrollo, junto con el script de evaluación, a los grupos participantes.
  • Habilitación de una web colaborativa, para consulta de dudas, aportación de comentarios, etc. con una parte pública y otra de acceso restringido a los grupos participantes
31 de julio de 2008
  • Fin del plazo de inscripción
29 de septiembre de 2008
  • Envío de los datos de evaluación a los grupos participantes
  • Apertura del plazo de envío de resultados
19 de octubre de 2008
  • Fin del plazo de envío de resultados
31 de octubre de 2008
  • Notificación a cada grupo participante de los resultados de la evaluación de su sistema o sistemas
  • Liberación del etiquetado de lenguas del conjunto de evaluación
12 de noviembre de 2008
  • Workshop de Evaluaciones ALBAYZIN-08 (12:00-13:30)
    • Entrega de documentación con el resumen y el análisis de los resultados de evaluación de todos los sistemas presentados
    • Presentación de los sistemas a cargo de los grupos participantes
    • Discusión
  • Presentación del resumen de resultados de la Evaluación ALBAYZIN-08 VL en sesión plenaria (17:00-17:45) dentro de las VJTH