On the study of crowdsourced labelled data and annotators: beyond noisy labels

• Autores: Iker Beñaran Muñoz
• Directores de la Tesis: Jerónimo Hernández González (dir. tes.) , Aritz Pérez Martínez (dir. tes.) , José Antonio Lozano Alonso (tut. tes.)
• Lectura: En la Universidad del País Vasco - Euskal Herriko Unibertsitatea ( España ) en 2023
• Idioma: inglés
• Enlaces
  • Tesis en acceso abierto en: ADDI
• Resumen

  • La presente tesis incluye 3 contribuciones al área llamada "learning from crowds", que estudia losmétodos de aprendizaje basados en datos etiquetados por medio del "crowdsourcing". Estas etiquetas secaracterizan por tener una incertidumbre asociada debido a que la fiabilidad de las personas anotadorasno está garantizada. En primer lugar, se propone un nuevo método de "label aggregation", llamado"domain aware voting", una extensión del popular y simple método "majority voting" que tiene en cuentala variable descriptiva, obteniendo resultados mejores especialmente cuando hay una mayor escasez deetiquetas. La segunda contribución consiste en la propuesta de un nuevo marco de etiquetado, "candidatelabelling", que permite a las personas anotadoras expresar sus dudas acerca de las etiquetas que otorgan,pudiendo otorgar varias etiquetas a cada instancia. Se proponen 2 métodos de "label aggregation"asociados a este tipo de etiquetado, y se muestra, mediante un marco experimental que auna el etiquetadotradicional y el propuesto, que el "candidate labelling" consigue extraer más información con un mismonúmero de personas anotadoras. Por último, se desarrolla un modelo de persona anotadora y 2 métodosde aprendizaje adaptados a este nuevo etiquetado, basados en el algoritmo EM, que obtienen mejoresresultados en general que los métodos análogos en el marco de etiquetado tradicional.