Predicción de trayectorias en cola larga con visión-lenguaje-acción y segmentación

• Borau Bernad, Javier ^[1] ; Caballero García-Alcaide, Diego ^[1] ; Fernández Matellán, Raúl ^[1] ; Santiago Soto, Martín ^[1] ; Armingol Moreno, José María ^[1] ; Sanchis de Miguel, Araceli ^[1]
  1. [1] Universidad Carlos III de Madrid

     Universidad Carlos III de Madrid

     Madrid, España

     
• Localización: Jornadas de Automática, ISSN-e 3045-4093, Nº. 47, 2026
• Idioma: español
• DOI: 10.17979/ja-cea.2026.47.13800
• Títulos paralelos:
  • Long-Tail Trajectory Prediction with Vision-Language-Action Models and Semantic Segmentation
• Enlaces
  • Texto completo
• Resumen
  • español

    La conducción autónoma sigue fallando en situaciones raras y críticas, la llamada cola larga, donde los modelos genéricos tienen poca cobertura de datos. Este trabajo aborda la predicción de trayectorias condicionada por instrucciones mediante dos familias de métodos, evaluadas con la puntuación multi-maniobra (Multi-Maneuver Score, MMS), que premia el seguimiento de la instrucción a través de varios futuros válidos, no la proximidad a una referencia. La primera induce a un modelo de lenguaje visual (VLM) general a emitir waypoints con un prompt de razonamiento estructurado, restringiéndolo a la calzada mediante la segmentación semántica (SAM3) y una reparación determinista. La segunda adopta un modelo visión--lenguaje--acción (VLA) específico de conducción, con una selección multi-hipótesis guiada por un sustituto de la métrica y un desempate conservador por viabilidad de calzada. El enfoque VLA eleva la MMS de 4,34 a 5,15 y, con la selección, hasta 5,52, la más alta de la clasificación pública a fecha de redacción.

  • English

    Autonomous driving still fails in rare, safety-critical situations, the so-called long tail, where generic models have little data coverage. This work addresses instruction-conditioned trajectory prediction through two families of methods, evaluated with the Multi-Maneuver Score (MMS), which rewards following the instruction across several valid futures rather than proximity to a single reference. The first prompts a general-purpose visual language model (VLM) to emit waypoints via structured reasoning, constraining it to the road with semantic segmentation (SAM3) and deterministic repair. The second adopts a driving-specific vision--language--action (VLA) model with multi-hypothesis selection guided by a surrogate of the official metric and a conservative road-feasibility tie-break. The VLA approach raises the MMS from 4.34 to 5.15, nearly halving the L2 error, and selection increases it to 5.52, the highest score on the challenge's public leaderboard at the time of writing.

• Referencias bibliográficas
  • Caesar, H., Bankiti, V., Lang, A. H., Vora, S., Liong, V. E., Xu, Q., Krishnan, A., Pan, Y., Baldan, G., Beijbom, O., 2020. nuscenes: A multimodal...
  • Carion, N., Gustafson, L., Hu, Y.-T., Debnath, S., Hu, R., Suris, D., Ryali, C., Alwala, K. V., Khedr, H., Huang, A., et al., 2025. Sam 3:...
  • Choudhary, T., Dewangan, V., Chandhok, S., Priyadarshan, S., Jain, A., Singh, A. K., Srivastava, S., Jatavallabhula, K. M., Krishna, K. M.,...
  • Ettinger, S., Cheng, S., Caine, B., Liu, C., Zhao, H., Pradhan, S., Chai, Y., Sapp, B., Qi, C. R., Zhou, Y., et al., 2021. Large scale interactive...
  • Google DeepMind, 2026. Gemma 4 model card. https://ai.google.dev/gemma/docs/core/model_card_4, accessed: 2026-05-27.
  • Hu, Y., Yang, J., Chen, L., Li, K., Sima, C., Zhu, X., Chai, S., Du, S., Lin, T., Wang, W., et al., 2023. Planning-oriented autonomous driving....
  • Kirillov, A., Mintun, E., Ravi, N., Mao, H., Rolland, C., Gustafson, L., Xiao, T., Whitehead, S., Berg, A. C., Lo, W.-Y., et al., 2023. Segment...
  • Mao, J., Qian, Y., Ye, J., Zhao, H., Wang, Y., 2023. Gpt-driver: Learning to drive with gpt. arXiv preprint arXiv:2310.01415. DOI: 10.48550/arXiv.2310.01415
  • Shao, H., Hu, Y., Wang, L., Song, G., Waslander, S. L., Liu, Y., Li, H., 2024. Lmdrive: Closed-loop end-to-end driving with large language...
  • Sima, C., Renz, K., Chitta, K., Chen, L., Zhang, H., Xie, C., Beißwenger, J., Luo, P., Geiger, A., Li, H., 2024. Drivelm: Driving with graph...
  • Tian, X., Gu, J., Li, B., Liu, Y., Wang, Y., Zhao, Z., Zhan, K., Jia, P., Lang, X., Zhao, H., 2024. Drivevlm: The convergence of autonomous...
  • Wagner, R., Tas, O. S., Villa, J., Hauser, F., Shen, Y., Steiner, M., Strutz, D., Fernandez, C., Kinzig, C., Guitierrez-Cabello, G. S., Königshof,...
  • Wang, Y., Luo, W., Bai, J., Cao, Y., Che, T., Chen, K., Chen, Y., Diamond, J., Ding, Y., Ding, W., et al., 2025. Alpamayo-r1: Bridging reasoning...
  • Wei, J., Wang, X., Schuurmans, D., Bosma, M., Xia, F., Chi, E., Le, Q. V., Zhou, D., et al., 2022. Chain-of-thought prompting elicits reasoning...
  • Wilson, B., Qi, W., Agarwal, T., Lambert, J., Singh, J., Khandelwal, S., Pan, B., Kumar, R., Hartnett, A., Pontes, J. K., et al., 2023. Argoverse...
  • Xu, Z., Zhang, Y., Xie, E., Zhao, Z., Guo, Y., Wong, K.-Y. K., Li, Z., Zhao, H., 2024. Drivegpt4: Interpretable end-to-end autonomous driving...