Aprendizaje por demostración para la creación de personajes automáticos con estilo de juego humano en videojuegos arcade

• Autores: Maximiliano Miranda Esteban
• Directores de la Tesis: Antonio Alejandro Sánchez Ruiz-Granados (dir. tes.) , Federico Peinado Gil (dir. tes.)
• Lectura: En la Universidad Complutense de Madrid ( España ) en 2023
• Idioma: español
• Número de páginas: 278
• Tribunal Calificador de la Tesis: Pedro González Calero (presid.) , Carlos León Aznar (secret.) , Raúl Lara Cabrera (voc.) , Antonio Mora García (voc.) , David Camacho Fernández (voc.)
• Enlaces
  • Tesis en acceso abierto en: Docta Complutense
• Resumen
  • español

    En los últimos años la industria del ocio electrónico ha vivido grandes cambios motivados por los avances tecnológicos y por las expectativas que los jugadores tienen de los videojuegos que consumen. Por un lado, se ha vivido una gran democratización en el desarrollo, y por otro lado, las expectativas de los consumidores han evolucionado desde un fuerte enfoque en el aspecto visual hacia otros apartados como la implementación de mecánicas de juego más novedosas o el desarrollo de personajes no controlados por el jugador con comportamientos más creíbles.

    Tradicionalmente, el modelado de comportamientos para estos personajes se realiza con modelos computacionales como máquinas de estados o árboles de comportamiento, y el desarrollo de comportamientos complejos sigue siendo un proceso muy costoso que suele requerir de un gran conocimiento técnico y de largas sesiones de prueba y error. En este contexto, no es de extrañar cómo el aprendizaje por imitación, un paradigma de la IA para el modelado de jugadores cuya idea principal es la de aprender comportamientos en base a la imitación de otros jugadores, principalmente humanos, ha gozado de gran popularidad en los últimos años. La idea principal es la creación de agentes capaces de desplegar un comportamiento complejo asociado a jugadores humanos y no únicamente que sean capaces de "jugar bien".

    Sin embargo, en el aprendizaje por imitación siguen existiendo desafíos importantes. Uno concierne a la evaluación de los agentes resultantes, puesto que, hasta el momento, no existe un estándar formal y riguroso para determinar cómo de humano resulta su comportamiento, y tampoco para determinar cómo de similar es un comportamiento con respecto a otro. Otro problema se encuentra en las técnicas clásicas de aprendizaje supervisado, al no ofrecer buenos resultados cuando se intenta aprender con los datos de partidas jugadas por jugadores humanos. Esto es debido a que esta configuración supone una violación de la asunción de variables aleatorias independientes e idénticamente distribuidas, ya que el conjunto de datos de entrenamiento (los datos utilizados para entrenar al agente) y el conjunto de datos de prueba (cómo juega después el agente) no provienen de la misma distribución.

    Esta tesis se centra en estos dos problemas en el contexto de los videojuegos de género arcade, donde los comportamientos que despliegan los jugadores tienden a ser simples y reactivos. Para ello, por un lado se proponen una serie de parámetros de alto nivel extraídos de las sesiones de juego de los jugadores que sirven para caracterizar distintos estilos de juego y permiten compararlos con los de otros jugadores. Por otro lado, se propone una herramienta para la creación de agentes utilizando un sistema interactivo de razonamiento basado en casos con explicaciones en el que el agente entrenado y el usuario del sistema se turnan a la hora de controlar al personaje del juego. Este sistema permite que diseñadores sin conocimientos técnicos puedan crear agentes con comportamientos complejos utilizando aprendizaje por demostración.

    Tanto los parámetros de alto nivel propuestos para la evaluación, como el sistema desarrollado para la creación de estos agentes, son evaluados a través de distintos experimentos utilizando una versión del videojuego arcade clásico Ms. Pac-Man. Así, se muestra cómo estos parámetros sirven para caracterizar, hasta cierto punto, estilos de juego de distintos jugadores humanos, y el sistema propuesto como herramienta produce agentes que son capaces de imitar el estilo de juego de distintos jugadores humanos mejorando el desempeño de sistemas de aprendizaje offline o no interactivos. El sistema además presenta un proceso accesible y comprensible gracias a la capacidad de mostrar explicaciones que ayudan a entender el proceso de aprendizaje del agente.

  • English

    In the recent years, the video game industry has experienced great changes driven by technological advances and the expectations of the players regarding the video games they choose to play. On one hand, there has been a process of democratisation in the context of video games development, and on the other hand, players expectations have evolved from the visual complexity towards otrher aspects like the implementation of modern gameplay mechanics or the develpment of non-player characters (NPCs) with more believable behaviours.Traditionally, the creation of behaviours for NPCs have been done with computational models like finite state machines of bejaviour trees, and the development of complex behaviours is still considered a complex and error prone porcess which usually requires high level of technical knowledge and many hours of trial and error. In this context, it is hardly surprising high learning by imitation, an AI paradigm for player modelling which main idea is to learn behaviours by imitating other players, mainly human, has received great attention in the recent years. The main idea is the develpment of agents capable of deploying complex behaviours, usually associated to human players, and not only to be capable of playing of playing well...