Ajuste y evaluación del modelo DialoGPT sobre distintas colecciones de subtítulos de películas y series de televisión

• Autores: Raúl Giménez de Dios, Isabel Segura Bedmar
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 70, 2023, págs. 63-71
• Idioma: español
• Títulos paralelos:
  • Fine-tuning and evaluation of DialoGPT on several datasets of English movies and TV series subtitles
• Enlaces
  • Texto completo
• Resumen
  • español

    The new streaming platforms have generated a proliferation of movies and series, most of them subtitled. This provides a large number of conversational, less formal, more interactive texts that better reflect communication between human beings. Most of the transformative models developed to date have not been trained with conversational texts. In this article, DialoGPT, a GPT-2 model for the dialog task trained on a collection of Reddit posts, is fine-tuned and evaluated on different collections of English subtitles from popular movies and series. Experiments show that DialoGPT performs well and that English subtitles from movies and series can be an outstanding resource for chatbot development.

  • English

    Las nuevas plataformas de streaming han generado una proliferación de películas y series, la mayoría de ellas subtituladas. Esta proliferación proporciona una ingente cantidad de textos conversacionales, menos formales, más interactivos, que reflejan mejor la comunicación entre seres humanos. La mayoría de los modelos transformers desarrollados hasta la fecha no han sido entrenados con textos conversacionales. En este artículo, DialoGPT, un modelo GPT-2 entrenado para la tarea de diálogo sobre una colección de mensajes de Reddit, es re-entrenado y evaluado sobre distintas colecciones de subtítulos en inglés de series populares. Los experimentos muestran que DialoGPT es obtiene buenos resultados, y que el uso de los subtítulos y diálogos de películas y series es un excelente recurso para el desarrollo de chatbots.

• Referencias bibliográficas
  • Adamopoulou, E. y L. Moussiades. 2020 An overview of chatbot technology. En IFIP International Conference on Artificial Intelligence Applications...
  • Adiwardana, D., M.-T. Luong, D. R. So, J. Hall, N. Fiedel, R. Thoppilan, Z. Yang, A. Kulshreshtha, G. Nemade, Y. Lu, y others. 2020. Towards...
  • Budzianowski, P. y I. Vulic. 2019. Hello, it’s GPT-2 - how can I help you? towards the use of pretrained language models for task-oriented...
  • Chelba, C., T. Mikolov, M. Schuster, Q. Ge, T. Brants, P. Koehn, y T. Robinson. 2014 One billion word benchmark for measuring progress in...
  • Chernyavskiy, A., D. Ilvovsky, y P. Nakov 2021. Transformers:“the end of history” for natural language processing? En Joint European Conference...
  • Devlin, J., M.-W. Chang, K. Lee, y K. Toutanova 2019. BERT: Pre-training of deep bidirectional transformers for language understanding. En...
  • Dhyani, M. y R. Kumar. 2021. An intelligent chatbot using deep learning with bidirectional rnn and attention model. Materials Today: Proceedings,...
  • Fu, T., S. Gao, X. Zhao, J. rong Wen, y R. Yan. 2022. Learning towards conversational ai: A survey. AI Open, 3:14–28
  • Huang, M., X. Zhu, y J. Gao. 2020. Challenges in building intelligent open-domain dialog systems. ACM Transactions on Information Systems...
  • Konapur, S. P., T. Krishna, V. G, U. R, y S. H. 2021. Design of a chatbot for people under distress using transformer model En 2021 2nd Global...
  • Lavanya, P. y E. Sasikala. 2021. Deep learning techniques on text classification using natural language processing (nlp) in social healthcare...
  • Meister, C. y R. Cotterell. 2021. Language model evaluation beyond perplexity En Proceedings of the 59th Annual Meeting of the Association...
  • Ngo, H., J. G. Araujo, J. Hui, y N. Frosst 2021. No news is good news: A critique of the one billion word benchmark. En 35th Conference on...
  • Papineni, K., S. Roukos, T. Ward, y W.-J Zhu. 2002. Bleu: a method for automatic evaluation of machine translation En Proceedings of the 40th...
  • Patel, F., R. Thakore, I. Nandwani, y S. K Bharti. 2019. Combating depression in students using an intelligent chatbot: A cognitive behavioral...
  • Radford, A., J. Wu, R. Child, D. Luan, D. Amodei, I. Sutskever, y others. 2019 Language models are unsupervised multitask learners. OpenAI...
  • Satish, T. y A. Punkit. 2016. Emotion detection in text
  • So, D., Q. Le, y C. Liang. 2019. The evolved transformer. En International Conference on Machine Learning, paginas 5877–5886 PMLR
  • Thoppilan, R., D. De Freitas, J. Hall, N. Shazeer, A. Kulshreshtha, H.-T. Cheng, A. Jin, T. Bos, L. Baker, Y. Du, y others. 2022. Lamda: Language...
  • Vaswani, A., N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, y I. Polosukhin. 2017a. Attention is all you need. Advances...
  • Vaswani, A., N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, y I. Polosukhin. 2017b. Attention is all you need. En...
  • Vrbancic, G. y V. Podgorelec. 2020. Transfer learning with adaptive fine-tuning. IEEE Access, 8:196197–196211
  • Wolf, T., L. Debut, V. Sanh, J. Chaumond, C. Delangue, A. Moi, P. Cistac, T. Rault, R. Louf, M. Funtowicz, y others 2020. Transformers: State-of-the-art...
  • Zhang, Y., S. Sun, M. Galley, Y.-C. Chen, C. Brockett, X. Gao, J. Gao, J. Liu, y B. Dolan. 2020. DIALOGPT : Largescale generative pre-training...
  • Zhuang, L., L. Wayne, S. Ya, y Z. Jun. 2021 A robustly optimized BERT pre-training approach with post-training. En Proceedings of the 20th...