Resumen de Sequential Decision Making in Normative Environments
Moser Silva Fagundes
Los sistemas multiagentes normativos son un vibrante campo de investigación que ha recibido bastante atención en los recientes años. En particular, una amplia variedad de modelos normativos de agente fueron desarrollados con la intención de implementar razonamientos normativos en agentes con diferentes niveles de autonomía en diferentes tipos de entorno. Todavía, propuestas que permitan que agentes autónomos generen planos complejos en entornos dinámicos y no deterministas son raras, una vez que ellos son notablemente difíciles de estructural y evaluar en términos cuantitativos. La presente tesis introduce los Normative Markov Decision Precesses (NMDPs), una extensión de los Markov Decision Proecesses (MDPs) para modelar agentes racionales normativos operando en entornos estocásticos regulados por normas, bien como dos modelos de raciocinio normativo utilitario, perteneciendo a agentes egoístas (self-interested) y agtentes que siempre cumplen las normas (norm-compliant). Mientras los agentes self-interested priorizan el incremento de la utilidad, los agentes norm-compliant priorizan el comportamiento normativo. La combinación de MDPs con modelos normativos de agente ha revelado un significante potencial sinérgico entre esas dos áreas de investigación. Por un lado, las normas nos permiten moldear el comportamiento de los agentes racionales basados en MDPs, impulsar la cooperación en un ámbito multiagente, y acotar el espacio de búsqueda en la construcción de los planes con la intención de reducir el tiempo necesario para computar un plan multiagente y acotar el espacio de búsqueda en la construcción de los planes con la intención de reducir el tiempo necesario para computar un plan óptimo. Por otro lado, los MDPs facilitan la representación de conocimiento incierto y el desarrollo de algoritmos generales efectivos para determinar planos de acción en entornos no deterministas. Eso, en contrapartida, hace posible las evaluaciones cuantitiativas, tanto de los agentes como del sistema. Para validar nuestro abordaje, hemos realizado varios experimentos en un entorno de movilidad simulado, en el cual hemos medido el desempeño de diferentes poblaciones de agentes en relación a determinados parámetros controlados. Además, por medio de un estudio de caso en un dominio de mercados secundarios aeroespaciales, hemos demostrado la aptitud de los NMDPs para modelar propiedades relenates de un escenario del mundo real y razonar sobre contratos.
