From telegraphic to natural language: an expansion system in a pictogram-based aac application

• Autores: Joan Pahisa Solé
• Directores de la Tesis: Jordi Herrera Joancomartí (dir. tes.)
• Lectura: En la Universitat Autònoma de Barcelona ( España ) en 2017
• Idioma: español
• Tribunal Calificador de la Tesis: Francisco Alcantud Marín (presid.) , Joan Borrell i Viader (secret.) , Eva Patricia Gil Rodríguez (voc.)
• Enlaces
  • Tesis en acceso abierto en: TDX
• Resumen

  • Esta tesis doctoral presenta un sistema de compansión que transforma el lenguaje telegráfico (frases formadas por palabras de contenido no flexionadas), derivado de la comunicación aumentativa y alternativa (CAA) basada en pictogramas, a lenguaje natural en catalán y en castellano. El sistema ha sido diseñado para mejorar la comunicación de personas usuarias de CAA que habitualmente tienen graves problemas en el habla, así como problemas motrices, y que utilizan métodos de comunicación basados en pictogramas en su vida diaria.

    El sistema de compansión tiene dos componentes principales: un analizador de dependencias sintáctico-semántico y un generador que construye la frase final. Este sistema se ha evaluado mediante pruebas técnicas y los resultados muestran que el 99,66% de las frases generadas, dentro de una gramática restringida, fueron consideradas correctas por tres anotadores independientes.

    Paralelamente, también se ha investigado e implementado una interfaz de usuario con un sistema de predicción de pictogramas para poder probar el sistema de compansión con usuarios finales. El sistema en conjunto se ha probado con cuatro participantes con parálisis cerebral severa y diferentes grados de competencia lingüística y de discapacidad intelectual. Durante los tests, los participantes adquirieron nuevas capacidades lingüísticas mientras utilizaban el sistema de compansión que se mostró como una fuente de motivación. El sistema se adaptó a las competencias lingüísticas de cada uno y no requirió ninguna curva de aprendizaje cuando no se utilizó ninguna de sus características especiales. Finalmente, los resultados cualitativos y cuantitativos muestran un incremento medio de la ratio de comunicación del 41,59% si se compara con el mismo dispositivo de comunicación sin el sistema de compansión y una mejora global en la experiencia comunicativa cuando el resultado final es en lenguaje natural.

    --- This doctoral dissertation presents a compansion system that transforms the telegraphic language (utterances with only uninflected content words) that comes from the use of pictogram-based Augmentative and Alternative Communication (AAC) into natural language in Catalan and Spanish. The system has been designed to improve the communication of people who rely on AAC, who usually have severe speech or motor impairments and use pictogram-based communication methods in their daily life.

    The compansion system has two main components: a syntactic-semantic dependency parser and a generator that constructs the final sentence. The system has been technically evaluated and results show that 99,66% of the sentences generated by it, taking into account the restrictions of a constrained grammar, were considered correct by three independent annotators.

    Furthermore, a user interface with a pictogram prediction system has also been researched and implemented during the thesis in order to test it with end-users. The system as a whole was tested with 4 participants with severe cerebral palsy and ranging degrees of linguistic competence and intellectual disabilities. During tests, participants were able to learn new linguistic skills while using the compansion system, which proved a source of motivation. The system can also be adapted to the linguistic competence of each person and required no learning curve during tests when none of its special features were used. Finally, qualitative and quantitative results showed a mean communication rate increase of 41,59%, compared to the same communication device without the compansion system, and an overall improvement in the communication experience when the output is in natural language.