Resumen de Modelización estadística: problemas de clasificación binaria, aplicaciones en oncología
El trabajo presentado en esta memoria versa sobre problemas de clasificación binaria. Éste es un campo donde existe una variedad de posibles modelos cuyo uso puede dar lugar a predicciones más o menos ajustadas y donde la validez del modelo viene definida por algún tipo de parámetro de bondad de ajuste. La disparidad en la construcción de modelos hace que las funciones objetivo a optimizar sean muy variadas y no puedan ser comparadas directamente.
Quizá la propiedad más usada como criterio de bondad de ajuste universal en problemas de clasificación binaria es la discriminación del modelo, y particularmente dentro de este ámbito, la curva ROC y el área bajo la curva (AUC) son las herramientas que cuantifican esa capacidad de discriminación del modelo.
El objetivo principal del trabajo presentado aquí es el desarrollo e implementación práctica de técnicas para la construcción de modelos con mayor capacidad de discriminación y subsidiariamente criterios para mejorar la aplicabilidad de dichos modelos. En este sentido, el trabajo práctico con oncólogos me ha hecho ver que los modelos que son de uso hoy en día para muchos problemas de clasificación binaria tienen una capacidad de discriminación limitada y deberían ser mejorados. Esta limitación a veces viene dada por una baja capacidad de discriminación de las variables predictoras, pero también por una combinación demasiado simple de las mismas, justificada por la búsqueda del modelo más sencillo posible basado en el principio de parsimonia. En este punto, la categorización de variables predictoras es un proceso muy utilizado en estos modelos, pero dan lugar a predicciones poco ajustadas, debido a que en muchos casos los grupos que se construyen no son homogéneos, sino heterógeneos y se pierde la capacidad predictiva de las variables originales.
Desarrollando un poco más el objetivo del trabajo, dos son las aportaciones fundamentales desarrolladas aquí, la primera conseguir una combinación de variables predictoras, a partir de la estimación de modelos lineales, que mejore la capacidad de discriminación de los clasificadores, y la segunda, proporcionar herramientas gráficas para implementar reglas de clasificación sencillas a partir de los modelos predictivos construidos. Por tanto, en contraste con otro tipo de clasificadores, el proceso que seguimos es construir un modelo que extraiga la mayor capacidad predictiva de las variables y a partir de dicho modelo, seleccionar un punto de corte para clasificar a cada individuo en una clase 0 o 1 de un modo sencillo y lo más ajustado posible a la realidad.
El estudio sobre modelos con mayor capacidad predictiva ha sido desarrollado de forma teórica en un artículo y capítulo de libro que aparecen en el compendio de esta tesis. Se ha implementado en la práctica un algoritmo paso a paso para estimar de forma no paramétrica modelos lineales que maximicen el AUC. Este modelo reduce la complejidad computacional de otras propuestas y tiene un funcionamiento muy cercano al modelo lineal óptimo, es decir el que corresponde con el máximo AUC. No obstante, a través de las simulaciones hemos podido comprobar que es necesario tener en cuenta detalles técnicos como la normalización de variables o la selección adecuada de parámetros para no dar lugar a falta de convergencia al modelo óptimo. También se proporciona un test de comparación de modelos que previene el sobreajuste. Este modelo se ha aplicado también en un problema real de clasificación de cáncer de próstata con buenos resultados, similares a los obtenidos con el modelo de regresión logística.
Esta línea de trabajo ha sido también reflejada en dos artículos que aparecen en el compendio que forma esta tesis. En ambos casos se ha afrontado un problema asociado al cáncer de próstata, en el primero predecir la recidiva temprana en pacientes sometidos a prostatectomía radical y en el segundo predecir la recurrencia bioquímica en pacientes tratados con radioterapia con o sin tratamiento hormonal adyuvante. En el primer estudio se ha demostrado que técnicas asociadas a la selección de variables y su recombinación pueden ayudar a identificar nuevas variables predictoras, en este caso marcadores genéticos, que aumenten la capacidad de discriminación de los modelos. Este estudio fue realizado en colaboración con Progenika Biopharma, los hospitales Miguel Servet (Zaragoza), Cruces (Bilbao), Vall d'Hebron (Barcelona), Gregorio Marañon (Madrid), Txagorritxu (Vitoria) y la Fundación Puigvert (Barcelona). En el segundo estudio, las técnicas de estratificación de un modelo pronóstico nos han permitido construir un modelo cuya capacidad de discriminación es claramente superior a los anteriormente construidos en la población a estudio. También se ha verificado mediante un análisis de supervivencia que este modelo permite determinar grupos de riesgo con una supervivencia más claramente diferenciada que los grupos de riesgo más utilizados actualmente, como son los de la National Cancer Comprehensive Network (NCCN). Este trabajo ha sido realizado en colaboración con el Registro Español de Cáncer de Próstata (RECAP) y en él han participado 12 instituciones distintas.
En cuanto a los métodos gráficos para implementar la aplicación práctica de los clasificadores seleccionando un punto de corte óptimo, en dos artículos del compendio se desarrolla la metodología y se valida la misma en dos problemas aplicados en oncología. El primero de ellos es un estudio de órgano confinación de cáncer de próstata y el segundo un trabajo sobre el marcador PCA3 y su capacidad para predecir el cáncer de próstata en un proceso de screening.
Desde el punto de vista matemático, en la mayoría de los casos, los clasificadores proporcionan un valor numérico para cada individuo que nos permite identificarlos como pertenecientes a clase 0 o 1 si dicho valor está por debajo o por encima de otro valor numérico que denominamos punto de corte. Un clasificador perfecto debería proporcionar para todos los individuos de la clase 1 valores por encima del punto de corte y para los de la clase 0 por debajo. No existiendo un clasificador óptimo, es necesario conocer cómo se distribuyen los resultados que proporciona el clasificador para la clase 0 y 1. Esta distribución nos permite conocer si la mayoría de resultados para la clase 0 o 1 toman valores concentrados en un intervalo determinado y además están claramente separados o se distribuyen en un amplio rango produciéndose una gran superposición de éstos.
La estimación de las funciones de densidad mediante aproximaciones tipo kernel ha sido utilizada para el suavizado de curvas ROC. En los trabajos se expone como nosotros hemos propuesto e implementado su uso para la selección de puntos de corte óptimos. Esta metodología proporciona la distribución de resultados del clasificador y constituye una herramienta sencilla para poder determinar la utilidad práctica del modelo clasificatorio para una selección del punto de corte óptimo.
En un primer estudio determinamos una propuesta de punto de corte para implementar dos modelos de órgano-confinación en cáncer de próstata, uno de ellos es una actualización del modelo de referencia en el estudio de la estadificación del cáncer de próstata y este trabajo ha sido referenciado en la guía de uso clínico sobre cáncer de próstata de la NCCN del año 2015. Este estudio ha sido realizado en colaboración con Hospital Universitario Miguel Servet (Zaragoza) y el Instituto Valenciano de Oncología.
En un segundo trabajo, se valida el uso de un modelo predictivo de cáncer de próstata desarrollado con una población europea y americana para su aplicación en una población española. En este trabajo se determina que la inclusión del marcador PCA3 produce mejoras en este tipo de modelos predictivos, pero que la diferencia en las características poblacionales de la población española con las usadas en la generación del modelo nos lleva a la selección de un punto de corte óptimo distinto del seleccionado originalmente por los autores. En ese sentido, una conclusión importante es que los modelos predictivos deben ser validados en otras poblaciones para generalizar su uso, pero que también los puntos de corte, asociados a los modelos predictivos, si han sido propuestos, deben ser validados. El estudio de calibración realizado en el trabajo verifica que las probabilidades predichas por el modelo sobreestiman claramente la incidencia real de cáncer de próstata en dicha población española. Esto nos lleva a que el modelo no es de aplicación si no se proporciona un punto de corte más ajustado a las características de la población.
Este estudio también ha sido realizado en colaboración con Hospital Universitario Miguel Servet (Zaragoza) y el Instituto Valenciano de Oncología.
Estos dos trabajos ya están teniendo continuidad en nuevas publicaciones donde no solo se está trabajando en la selección, mediante las funciones de densidad, de puntos de corte óptimos para la implementación de modelos predictivos, sino que se están implementando nuevas técnicas gráficas para el análisis de la utilidad clinica de los modelos clasificatorios.
En resumen, en este compendio aparece reflejado un trabajo continuado en mejoras de capacidad predictiva de modelos clasificatorios. Las técnicas estadísticas propuestas han proporcionado herramientas para construir modelos con una mayor capacidad de discriminación y su uso se ha implementado con éxito en distintos problemas asociados a la oncología. También aportamos herramientas abiertas y adaptables a cualquier tipo de objetivo no balanceado para la selección de puntos de corte en la clasificación de individuos, frente a otro tipo de técnicas clásicas que ponderan de igual manera la clasificación errónea de los individuos de clase 0 o 1.
A continuación, se incluye por orden de publicación la referencia de todos los artículos incluidos en este trabajo con la información del factor de impacto de las revistas donde fueron publicados.
• Esteban, L. M., Sanz, G., & Borque, A. (2011). A step-by-step algorithm for combining diagnostic tests. Journal of Applied Statistics, 38(5), 899-911. Factor de impacto JCR 2011: 0.405. Posición: 99/116 (Q4) Statistics & Probability.
• Borque, Á., del Amo, J., Esteban, L. M., Ars, E., Hernández, C., Planas, J., Arruza, A., Llanera, R., Palou, J., Herranz, F., Raventós, C.X., Tejedor, D., Artieda, M., Simón, L., Martínez, A., Carceller, E., Suarez, M., Sanz, G. \& Morote, J. (2013). Genetic predisposition to early recurrence in clinically localized prostate cancer. BJU international, 111(4), 549-558. Factor de impacto JCR 2013: 3.13. Posición: 17/77 (Q1) Urology & Nephrology.
• Borque, Á., Rubio-Briones, J., Esteban, L.M., Sanz, G., Domínguez Escrig, J., Ramírez Backhaus, M., Calatrava, A. & Solsona, E. (2014). Implementing the use of nomograms by choosing threshold points in predictive models: 2012 updated Partin Tables vs a European predictive nomogram for organ confined disease in prostate cancer. BJU international, 113(6), 878-886. Factor de impacto JCR 2014: 3.533. Posición: 13/76 (Q1) Urology & Nephrology.
• López-Torrecilla, J., Boladeras, A., Cabeza, M. A., Zapatero, A., Jove, J., Esteban, L. M., Henriquez, I., Casaña, M., González-San Segundo,C., Gómez-Caamaño, A., Mengual, J., Hervás, A., Muñoz,J. & Sanz, G. (2015). Three linked nomograms for predicting biochemical failure in prostate cancer treated with radiotherapy plus androgen deprivation therapy. Strahlentherapie und Onkologie, 191(10), 792-800. Factor de impacto JCR 2014: 2.914. Posición: 28/125 (Q1) Radiology, Nuclear Medicine & Medical Imaging; 102/211 (Q2) Oncology.
• Rubio-Briones, J., Borque, A., Esteban, L. M., Casanova, J., Fernandez Serra, A., Rubio, L., Casanova-Salas, I., Sanz, G., Domínguez Escrig, J., Collado, A., Gómez-Ferrer, A., Iborra, I., Ramírez Backhaus, M., Martínez, F., Calatrava, A. & Lopez Guerrero, J. A. (2015). Optimizing the clinical utility of PCA3 to diagnose prostate cancer in initial prostate biopsy. BMC cancer, 15(1), 633. Factor de impacto JCR 2014: 3.362. Posición: 80/211 (Q2) Oncology.
