Propuesta metodológica para el análisis y clasificación automática de contenidos de cibermercados negros en redes de anonimización

• Autores: Víctor Pablo Prado Sánchez
• Directores de la Tesis: Adrián Domínguez Díaz (dir. tes.) , José Javier Martínez Herráiz (dir. tes.)
• Lectura: En la Universidad de Alcalá ( España ) en 2026
• Idioma: español
• Número de páginas: 118
• Programa de doctorado: Programa de Doctorado en Ingeniería de la Información y del Conocimiento por la Universidad de Alcalá
• Enlaces
  • Tesis en acceso abierto en: e_Buah
• Resumen
  • español

    La Dark Web constituye un entorno digital altamente dinámico y opaco, donde proliferan cibermercados negros y actividades ilícitas que representan un reto significativo para la ciberseguridad y la inteligencia digital. El análisis y clasificación automática de estos contenidos resulta esencial, pero se ve limitado por la escasez de datos etiquetados, la evolución constante del lenguaje criminal y la ambigüedad semántica inherente a estos dominios. En este contexto, los Grandes Modelos de Lenguaje (LLMs) emergen como una alternativa prometedora gracias a su capacidad de generalización semántica y su uso bajo enfoques zero-shot, sin necesidad de entrenamiento supervisado.

    Esta tesis doctoral propone y valida un protocolo metodológico reproducible para la evaluación de LLMs comerciales en tareas de clasificación automática de contenidos ilícitos en la Dark Web. A través de un compendio de tres artículos científicos, se analiza de forma progresiva la viabilidad del enfoque zero-shot, la estabilidad y reproducibilidad de los modelos generativos, la coherencia intermodelo y su alineación con el juicio humano. Los experimentos se realizan sobre el dataset CoDA, empleando condiciones experimentales controladas y métricas tanto de rendimiento técnico como de fiabilidad estadística y acuerdo semántico.

    Los resultados muestran que los LLMs pueden alcanzar niveles elevados y estables de rendimiento (F1), así como una alta coherencia entre modelos y un grado de acuerdo con anotaciones humanas comparable al observado entre expertos. En conjunto, la tesis aporta un marco metodológico sólido y replicable que permite evaluar de forma rigurosa el uso de LLMs en dominios sensibles, sentando las bases para aplicaciones futuras de inteligencia artificial generativa en la ciberseguridad y el análisis automatizado de la Dark Web.

  • English

    The Dark Web represents a highly dynamic and opaque digital environment in which illicit activities and underground marketplaces proliferate, posing major challenges for cybersecurity and threat intelligence. Automatic content analysis and classification in this domain are essential but remain limited by the scarcity of labeled data, the rapid evolution of criminal language, and inherent semantic ambiguity. In this context, Large Language Models (LLMs) have emerged as a promising alternative due to their semantic generalization capabilities and their ability to operate under zero-shot settings without supervised training.

    This doctoral thesis proposes and validates a reproducible methodological protocol for evaluating commercial LLMs in the automatic classification of illicit Dark Web content. Through a compendium of three peer-reviewed scientific articles, the research progressively examines the feasibility of zero-shot classification, the stability and reproducibility of generative models, inter-model semantic coherence, and alignment with human judgment. Experiments are conducted on the CoDA dataset under controlled experimental conditions, combining traditional performance metrics with statistical reliability and agreement measures.

    The results demonstrate that LLMs can achieve high and stable classification performance (F1), strong inter-model coherence, and levels of agreement with human annotations comparable to those observed among expert annotators. Overall, this thesis contributes a robust and replicable methodological framework for the rigorous evaluation of LLMs in sensitive domains, laying the groundwork for future applications of generative artificial intelligence in cybersecurity and automated Dark Web analysis.