Resumen de Image-Based Biomarker Localization from Regression Networks

Carlos Cano Espinosa

• Introducción ---------------- A medida que se desarrollan nuevos avances tecnológicos en el ámbito médico, los cuales facilitan el acceso a los servicios de prevención y diagnóstico provocando un aumento del volumen de datos a analizar, están surgiendo nuevos métodos para reducir en consecuencia la sobrecarga de trabajo de los especialistas. El avance en los recursos computacionales hizo posible el uso de esta tecnología en el análisis de grandes cantidades de da- tos utilizando diferentes tipos de métodos para ayudar al humano experto en esas tediosas tareas repetitivas que consumen mucho tiempo. En los últimos años, el advenimiento de las técnicas de Aprendizaje Profundo ha significado un gran salto adelante en todos los campos del conocimiento. El entorno clínico no es la excepción, mejorando los resultados en muchas áreas importantes, incluyendo la predicción, estadificación, localización, pronóstico e incluso tratamiento de enfermedades.

  Esta tesis explorará el uso de métodos de Aprendizaje Profundo (DL) para el tratamiento de imágenes médicas, específicamente Tomografías Computerizadas (CT). El DL se utilizará para analizar la implicación de diferentes biomarcadores basados en imágenes en la detección y clasificación de la enfermedad. Se centrará principalmente en dos problemas, el grado de las Calcificaciones de las Arterias Coronarias (CAC) y la caquexia. El primero servirá para, por un lado, estudiar el desarrollo de un sistema de regresión directa de biomarcadores utilizando sólo su valor agregado y, por otro lado, diseñar un método de localización de biomarcadores de enfermedades basado en ese valor. El segundo se utilizará para validar esta propuesta de forma más exhaustiva.

  Motivación -------------- El mayor problema para el integrador de soluciones de aprendizaje profundo en el ámbito médico es la falta de confianza en este tipo de métodos, debido principalmente a que actúan como cajas negras en las que sólo se obtiene la decisión final sin que se obtenga ninguna explicación humana amigable acerca de como se calcula este resultado. Cuando tratamos de descifrar esto, sólo se obtiene un conjunto numérico abstracto sin una fácil interpretación. Las investigaciones más actuales están tratando de abordar este problema aplicando diferentes métodos que transforman los datos de las redes intermedias en información útil que ayuda al especialista clínico a comprender la decisión del sistema, mejorando la confianza sobre estos métodos y rompiendo la barrera de su integración como herramienta de apoyo a la toma de decisiones.

  Las redes de regresión no son la excepción, sino todo lo contrario, ya que este tipo de redes están diseñadas para calcular un valor final directamente. No se limitan a mantener una relación espacial como ocurre con las redes de segmentación. Los métodos actuales para saber dónde está enfocando su atención el sistema requieren un cálculo extra en el post-procesamiento, alterando la estructura de la red en algunos casos y obteniendo en su mayoría mapas de atención de baja resolución.

  Además, las bases de datos médicos están parcialmente etiquetadas, no conservando toda la información y, en particular cuando un biomarcador se basa en una tarea de segmentación previa, el experto normalmente descarta esta información intermedia, conservando únicamente el valor final del biomarcador.

  Propuesta -------------- Debido a la falta de explicabilidad en las red, la cual se ha manifestado múltiples veces en los diferentes estados del arte, sumado al hecho de que los datos son comúnmente fraccionados, lejos de ser ideal para este tipo de sistemas, entendemos que es necesario explorar nuevas opciones que difieren de lo que intuitivamente se está haciendo en la actualidad.

  En este sentido, proponemos, en primer lugar, un sistema de regresión directa para biomarcadores basados en imágenes combinado con un estudio de rendimiento más profundo a través de diferentes estudios de las funciones de coste y cómo puede afectar a los resultados. Y, además, esto inspira el diseño de un método capaz de localizar la zona de la imagen a partir de la cual se infiere el valor final de ese biomarcador, añadiendo conocimiento experto al problema para guiar a la red a encontrar la solución de una manera que pueda ser expresada directamente sobre esa imagen.

  Vamos a probar este método en tres problemas, el índice de calcio de la arteria coronaria, el área de grasa subcutánea y el área del músculo pectoral. Todos ellos son biomarcadores que indican una enfermedad que puede ser localizada en un escáner, por lo que son candidatos perfectos para probar la viabilidad de este método.

  Objetivos ------------ El primer objetivo de esta investigación es desarrollar un sistema de regresión directa para biomarcadores basados en imágenes, analizando su capacidad y limitaciones para comprender mejor su comportamiento. Se realiza una revisión del estado del arte con el fin de situar nuestro método dentro de él y poder compararlo con sistemas similares que utilizan el aprendizaje profundo u otros más tradicionales. Por otra parte, es necesario un conocimiento más profundo de las fuentes de datos para determinar qué características son las más importantes a tener en cuenta a la hora de diseñar el sistema propuesto. Además, es necesario un análisis profundo de las diferentes funciones de coste y de cómo se adaptan a las características particulares de los datos.

  El segundo y principal objetivo es diseñar un nuevo método de localización de biomarcadores a partir de un sistema de regresión sin utilizar ninguna información espacial, que resuma todo el conocimiento adquirido a través del objetivo anterior para diseñar el sistema capaz de realizar esta tarea. Este desarrollo tiene la característica de ser una solución extensible a cualquier problema de esta naturaleza y que no requiere ningún tipo de postprocesamiento o modificación una vez que ha sido entrenado.

  Estructura de la tesis ---------------------------- Esta obra tiene la siguiente estructura: En el capítulo 2 se propone y valida un sistema de regresión directa para biomarcadores basados en imágene sobre la enfermedad de calcificación de la arteria coronaria. Además, se realiza un estudio más detallado sobre el uso de las diferentes funciones de coste y cómo afectan al rendimiento.

  En el capítulo 3 proponemos una metodología novedosa para la localización de fuentes de biomarcadores basada en imágenes utilizando redes de regresión que añaden conocimientos adicionales para guiar la solución hacia una forma más intuitiva. Lo aplicamos a tres biomarcadores diferentes: Índice Agatston para Calcificación de la Arteria Coronaria, Área de Grasa Subcutánea y Área Muscular del Pectoral para la caquexia. Este estudio incluye una comparativa entre múltiples estructuras de red y cómo la cantidad de datos de entrenamiento puede afectar el rendimiento final del sistema en cada problema.

  Finalmente, en el capítulo 4 se discuten en profundidad varias conclusiones inferidas de este trabajo, junto con las aportaciones realizadas y sus publicaciones asociadas explicadas brevemente. Además, al final de este capítulo se realiza una exposición sobre futuras investigaciones y trabajos.

  Conclusiones ------------------ En esta tesis se propuso un sistema de regresión directa de biomarcadores basados en imágenes, siendo capaz de inferir el valor cuantitativo de los mismos utilizando únicamente datos de imagen de un escáner de un paciente. Además, un conocimiento más profundo de cómo los diferentes mecanismos utilizados en las redes neuronales afectan al rendimiento final, como su estructura o función de coste, ha llevado al diseño de un novedoso sistema capaz de obtener una localización de alta precisión de estructuras, tejidos, órganos, fluidos o lesiones que están directamente relacionadas con biomarcadores específicos que describen una enfermedad específica.

  Para alcanzar este objetivo, se ha seguido un enfoque de investigación determinado. En primer lugar, se hizo la propuesta de la red de regresión de biomarcadores, con una muy buena aceptación, resultando en una publicación en el congreso SPIE 2018 desde el 10th hasta 15th de Febrero en Houston, Texas (Estados Unidos). Posteriormente, una beca para realizar una estancia en el Applied Chest Imaging Laboratory, directamente asociada al Brigham and Women’s Hospital de Boston, contribuyó positivamente a la consecución de los siguientes pasos que se dieron, y concluyó con la realización de un estudio adicional sobre cómo la función de coste utilizada en las redes de regresión directa afecta al rendimiento de este tipo de redes y cómo las propiedades de los datos utilizados son un factor importante en la elección de esta función. Los resultados fueron presenta- dos en el congreso de la Medical Image Computing and Computer Assisted Intervention Society (MICCAI), celebrado en Granada (España) del 16 al 20 de Septiembre de 2018.

  Los estudios realizados hasta ahora han culminado en el diseño de un sistema capaz no sólo de realizar la regresión directa de su valor sino también de localizar la estructura asociada a un biomarcador específico sin necesidad de utilizar ninguna máscara previamente segmentada en el pro- ceso de formación. Este nuevo paradigma destaca por poder obtener un resultado muy preciso con la misma resolución del escáner original. Además, no implica que se deba realizar ninguna modificación posterior al proceso. Una primera aproximación fue presentada en el congreso ISBI celebrado en Venecia (Italia) en 2019 del 8th a 11th de Abril, el cual se amplió considerablemente para dar lugar a un trabajo actualmente en revisión en la revista Medical Image Analysis (MedIA).

  Finalmente, en el transcurso de esta tesis se pudieron verificar varios aspectos importantes: Por un lado, hay evidencia de que un regresor directo de biomarcadores es factible y ha demostrado suficiente efectividad para concluir que es un campo de interés con una gran posibilidad de mejora. Por otra parte, aún queda un largo camino por recorrer para comprender y explotar el método propuesto.

  Aportaciones de la Tesis -------------------------------- Esta investigación ha aportado las siguientes contribuciones: • La propuesta y aplicación de un sistema de regresión directa de bio- marcadores basado en imágenes.

  • El estudio del rendimiento utilizando diferentes funciones de coste, su relación con las fuentes de datos y su implicación en los métodos de regresión.

  • El desarrollo de un nuevo sistema de localización de biomarcadores directamente a partir de su valor agregado que no requiere de una máscara segmentada de referencia.

  • El estudio de validación del método de localización utilizando biomarcadores CAC, PMA y SFA, incluyendo su generalización para utilizar cualquier red de segmentación como núcleo del sistema.

  Bibliografía --------------- [Abadi et al., 2015] Abadi, M., Agarwal, A., Barham, P., Brevdo, E., Chen, Z., Citro, C., Corrado, G. S., Davis, A., Dean, J., Devin, M., Ghemawat, S., Goodfellow, I., Harp, A., Irving, G., Isard, M., Jia, Y., Jozefowicz, R., Kaiser, L., Kudlur, M., Levenberg, J., Mané, D., Monga, R., Moore, S., Murray, D., Olah, C., Schuster, M., Shlens, J., Steiner, B., Sutskever, I., Talwar, K., Tucker, P., Vanhoucke, V., Vasudevan, V., Viégas, F., Vinyals, O., Warden, P., Wattenberg, M., Wicke, M., Yu, Y., and Zheng, X. (2015). TensorFlow: Large-scale machine learning on heterogeneous systems. Software available from tensorflow.org. 38 [Acharya et al., 2017] Acharya, U. R., Oh, S. L., Hagiwara, Y., Tan, J. H., Adam, M., Gertych, A., and San Tan, R. (2017). A deep convolutional neural network model to classify heartbeats. Computers in biology and medicine, 89:389–396. 13, 90 [Agatston et al., 1990] Agatston, A. S., Janowitz, W. R., Hildner, F. J., Zusmer, N. R., Viamonte, M., and Detrano, R. (1990). Quantification of coronary artery calcium using ultrafast computed tomography. Journal of the American College of Cardiology, 15(4):827–832. 10, 12, 48, 54, 86, 87 [Andrews et al., 2018] Andrews, J., Psaltis, P. J., Di Bartolo, B. A., Nicholls, S. J., and Puri, R. (2018). Coronary arterial calcification: A review of mechanisms, promoters and imaging. Trends in cardiovascular medicine, 28(8):491–501. 12, 87 118 Bibliography [Avendi et al., 2016] Avendi, M., Kheradvar, A., and Jafarkhani, H. (2016). A combined deep-learning and deformable-model approach to fully automatic segmentation of the left ventricle in cardiac mri. Medical image analysis, 30:108–119. 14, 90 [Bai et al., 2018] Bai, W., Sinclair, M., Tarroni, G., Oktay, O., Rajchl, M., Vaillant, G., Lee, A. M., Aung, N., Lukaschuk, E., Sanghvi, M. M., et al. (2018). Automated cardiovascular magnetic resonance image analysis with fully convolutional networks. Journal of Cardiovascular Magnetic Resonance, 20(1):65. 20, 97 [Bermejo-Peláez et al., 2018] Bermejo-Peláez, D., Estepar, R. S. J., and Ledesma-Carbayo, M. J. (2018). Emphysema classification using a multi- view convolutional network. In 2018 IEEE 15th International Sympo- sium on Biomedical Imaging (ISBI 2018), pages 519–522. IEEE. 29, 107 [Budoff et al., 2011] Budoff, M. J., Nasir, K., Kinney, G. L., Hokanson, J. E., Barr, R. G., Steiner, R., Nath, H., Lopez-Garcia, C., Black-Shinn, J., and Casaburi, R. (2011). Coronary artery and thoracic calcium on noncontrast thoracic CT scans: Comparison of ungated and gated ex- aminations in patients from the COPD Gene cohort. Journal of Car- diovascular Computed Tomography, 5(2):113–118. 34, 48 [Cai et al., 2017] Cai, J., Lu, L., Xie, Y., Xing, F., and Yang, L. (2017). Improving deep pancreas segmentation in ct and mri images via recur- rent neural contextual learning and direct loss functcion. arXiv preprint arXiv:1707.04912. 20, 97 [Campo et al., 2018] Campo, M. I., Pascau, J., and Estépar, R. S. J. (2018). Emphysema quantification on simulated x-rays through deep learning techniques. In 2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018), pages 273–276. IEEE. 29, 107 [Cano-Espinosa et al., 2018] Cano-Espinosa, C., González, G., Washko, G. R., Cazorla, M., and San José Estépar, R. (2018). On the relevance of the loss function in the agatston score regression from non-ecg gated Bibliography 119 ct scans. In Image Analysis for Moving Organ, Breast, and Thoracic Images, pages 326–334, Cham. Springer International Publishing. 54 [Cano-espinosa et al., 2018] Cano-espinosa, C., González, G., Washko, G. R., et al. (2018). Automated Agatston score computation in non- ECG gated CT scans using deep learning. In Medical Imaging - Image Processing- Proceedings of SPIE, number March. 46, 54 [Castellino, 2005] Castellino, R. A. (2005). Computer aided detection (cad): an overview. Cancer Imaging, 5(1):17. 20, 97 [Cho et al., 2015] Cho, J., Lee, K., Shin, E., Choy, G., and Do, S. (2015). How much data is needed to train a medical image deep learning system to achieve necessary high accuracy? arXiv preprint arXiv:1511.06348. 14, 90 [Chollet, 2015] Chollet, F. (2015). Keras. https://github.com/ fchollet/keras. 38 [Conklin et al., 1984] Conklin, J. E., Lieberman, J. V., Barnes, C. A., and Louis, D. Z. (1984). Disease staging: implications for hospital reimburse- ment and management. Health care financing review, 1984(Suppl):13. 21, 98 [Curvo-Semedo et al., 2012] Curvo-Semedo, L., Lambregts, D. M., Maas, M., Beets, G. L., Caseiro-Alves, F., and Beets-Tan, R. G. (2012). Diffusion-weighted mri in rectal cancer: Apparent diffusion coefficient as a potential noninvasive marker of tumor aggressiveness. Journal of Magnetic Resonance Imaging, 35(6):1365–1371. 10, 86 [de Vos et al., 2019] de Vos, B. D., Wolterink, J. M., Leiner, T., de Jong, P. A., Lessmann, N., and Išgum, I. (2019). Direct automatic coronary calcium scoring in cardiac and chest ct. IEEE transactions on medical imaging. 28, 47, 63, 68, 105 [Dubost et al., 2017] Dubost, F., Bortsova, G., Adams, H., et al. (2017). Gp-unet: Lesion detection from weak labels with a 3d regression net- work. In International Conference on Medical Image Computing and Computer-Assisted Intervention, pages 214–221. Springer. 46 120 Bibliography [El Boueiz et al., 2019] El Boueiz, A., Dy, J., Ross, J., Masoomi, A., Washko, G., Silverman, E., Castaldi, P., and San Jose Estepar, R. (2019). Deep learning prediction of copd progression using enriched densitometry phenotypes. In B101. ADVANCES IN COPD PATHO- GENESIS, pages A4054–A4054. American Thoracic Society. 29, 107 [Erbel et al., 2007] Erbel, R., Möhlenkamp, S., Kerkhoff, G., Budde, T., and Schmermund, A. (2007). Non-invasive screening for coronary artery disease: calcium scoring. Heart, 93(12):1620–1629. xxvii, 12, 37, 88 [ESR et al., 2010] ESR et al. (2010). White paper on imaging biomarkers. Insights into imaging, 1(2):42–45. 10, 86 [Garg et al., 1978] Garg, M. L., Louis, D. Z., Gliebe, W. A., Spirka, C. S., Skipper Jr, J. K., and Parekh, R. R. (1978). Evaluating inpatient costs: the staging mechanism. Medical Care, pages 191–201. 21, 98 [Gerard et al., 2018] Gerard, S. E., Patton, T. J., Christensen, G. E., Bay- outh, J. E., and Reinhardt, J. M. (2018). Fissurenet: A deep learning approach for pulmonary fissure detection in ct images. IEEE transac- tions on medical imaging, 38(1):156–166. 29, 107 [Gonnella et al., 2003] Gonnella, J. S., Louis, D. Z., Gozum, M., Callahan, C. A., Barnes, C. A., and RHIA, C. (2003). Disease staging clinical and coded criteria. Ann Arbor, MI: Thomson Medstat. 21, 99 [Gonnella et al., 1976] Gonnella, J. S., Louis, D. Z., and McCord, J. J. (1976). The staging concept: An approach to the assessment of outcome of ambulatory care. Medical Care, pages 13–21. xxxiii, 21, 23, 98, 100 [González et al., 2018] González, G., Ash, S. Y., Vegas-Sánchez-Ferrero, G., Onieva Onieva, J., Rahaghi, F. N., Ross, J. C., Díaz, A., San José Es- tépar, R., and Washko, G. R. (2018). Disease staging and prognosis in smokers using deep learning in chest computed tomography. American journal of respiratory and critical care medicine, 197(2):193–203. 22, 99 [Gonzalez et al., 2016] Gonzalez, G., Washko, G. R., and Estepar, R. S. (2016). Automated agatston score computation in a large dataset of non Bibliography 121 ecg-gated chest computed tomography. Proc IEEE Int Symp Biomed Imaging, 2016:53–57. 24, 35, 50, 101 [González et al., 018a] González, G., Washko, G. R., and Estépar, R. S. J. (2018a). Multi-structure segmentation from partially labeled datasets. application to body composition measurements on ct scans. In Image Analysis for Moving Organ, Breast, and Thoracic Images, pages 215– 224. Springer. 61 [González et al., 2018] González, G., Washko, G. R., and José, R. S. (2018). Deep learning for biomarker regression : application to osteo- porosis and emphysema on chest CT scans. In Medical Imaging - Image Processing- Proceedings of SPIE, number March. 34, 46 [Greene et al., 2002] Greene, F. L., Balch, C. M., Fleming, I. D., Fritz, A., Haller, D. G., Morrow, M., and Page, D. L. (2002). AJCC cancer staging handbook: TNM classification of malignant tumors. Springer Science & Business Media. 10, 86 [Gulshan et al., 2016] Gulshan, V., Peng, L., Coram, M., Stumpe, M. C., Wu, D., Narayanaswamy, A., Venugopalan, S., Widner, K., Madams, T., Cuadros, J., et al. (2016). Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs. Jama, 316(22):2402–2410. 20, 97 [Harmouche et al., 2014] Harmouche, R., Ross, J. C., Washko, G. R., and Estépar, R. S. J. (2014). Pectoralis muscle segmentation on ct images based on bayesian graph cuts with a subject-tailored atlas. In Inter- national MICCAI Workshop on Medical Computer Vision, pages 34–44. Springer. 48 [He et al., 2016] He, K., Zhang, X., Ren, S., and Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778. xxvi, xxxi, 26, 103 [Hochreiter, 1998] Hochreiter, S. (1998). The vanishing gradient problem during learning recurrent neural nets and problem solutions. Interna- 122 Bibliography tional Journal of Uncertainty, Fuzziness and Knowledge-Based Systems, 6(02):107–116. 26, 103 [Huang et al., 2017] Huang, G., Liu, Z., Van Der Maaten, L., and Wein- berger, K. Q. (2017). Densely connected convolutional networks. In Pro- ceedings of the IEEE conference on computer vision and pattern recog- nition, pages 4700–4708. 21, 98 [Huttenlocher et al., 1992] Huttenlocher, D. P., Rucklidge, W. J., and Klanderman, G. A. (1992). Comparing images using the hausdorff dis- tance under translation. In Proceedings 1992 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pages 654– 656. IEEE. 19, 95 [Isgum et al., 2012] Isgum, I., Prokop, M., Niemeijer, M., Viergever, M., and van Ginneken, B. (2012). Automatic Coronary Calcium Scoring in Low-Dose Chest Computed Tomography. IEEE Transactions on Medical Imaging, 31(12):2322–2334. 24, 48, 101 [Isgum et al., 2009] Isgum, I., Staring, M., Rutten, A., Prokop, M., Viergever, M., and van Ginneken, B. (2009). Multi-Atlas-Based Seg- mentation With Local Decision Fusion-Application to Cardiac and Aor- tic Segmentation in CT Scans. IEEE Transactions on Medical Imaging, 28(7):1000–1010. 24, 101 [Jetley et al., 2018] Jetley, S., Lord, N. A., Lee, N., and Torr, P. H. (2018). Learn to pay attention. arXiv preprint arXiv:1804.02391. 27, 105 [Kak et al., 2002] Kak, A. C., Slaney, M., and Wang, G. (2002). Principles of computerized tomographic imaging. Medical Physics, 29(1):107–107. 6, 82 [Kalinovsky and Kovalev, 2016] Kalinovsky, A. and Kovalev, V. (2016). Lung image ssgmentation using deep learning methods and convolu- tional neural networks. 19, 96 [Kallenberg et al., 2016] Kallenberg, M., Petersen, K., Nielsen, M., Ng, A. Y., Diao, P., Igel, C., Vachon, C. M., Holland, K., Winkel, R. R., Bibliography 123 Karssemeijer, N., et al. (2016). Unsupervised deep learning applied to breast density segmentation and mammographic risk scoring. IEEE transactions on medical imaging, 35(5):1322–1331. 19, 96 [Khalili et al., 2019] Khalili, N., Lessmann, N., Turk, E., Claessens, N., de Heus, R., Kolk, T., Viergever, M., Benders, M., and Išgum, I. (2019). Automatic brain tissue segmentation in fetal mri using convolutional neural networks. Magnetic Resonance Imaging. 20, 97 [Kikinis et al., 2014] Kikinis, R., Pieper, S. D., and Vosburgh, K. G. (2014). 3d slicer: a platform for subject-specific image analysis, visual- ization, and clinical support. In Intraoperative imaging and image-guided therapy, pages 277–289. Springer. 8, 83 [Kingma and Ba, 2014] Kingma, D. P. and Ba, J. (2014). Adam: A method for stochastic optimization. CoRR, abs/1412.6980. 38 [Kinsey et al., 2017] Kinsey, C. M., Estepar, R. S. J., Van der Velden, J., Cole, B. F., Christiani, D. C., and Washko, G. R. (2017). Lower pectoralis muscle area is associated with a worse overall survival in non– small cell lung cancer. 47 [Kochanek et al., 2017] Kochanek, K. D., Murphy, S. L., Xu, J., and Arias, E. (2017). Mortality in the united states, 2016. 28, 106 [Kronmal et al., 2007] Kronmal, R. A., McClelland, R. L., Detrano, R., Shea, S., Lima, J. A., Cushman, M., Bild, D. E., and Burke, G. L. (2007). Risk factors for the progression of coronary artery calcification in asymptomatic subjects. Circulation, 115(21):2722–2730. 12, 87 [Liu et al., 2014] Liu, S., Liu, S., Cai, W., Pujol, S., Kikinis, R., and Feng, D. (2014). Early diagnosis of alzheimer’s disease with deep learning. In 2014 IEEE 11th international symposium on biomedical imaging (ISBI), pages 1015–1018. IEEE. 22, 99 [Løkke et al., 2006] Løkke, A., Lange, P., Scharling, H., Fabricius, P., and Vestbo, J. (2006). Developing copd: a 25 year follow up study of the general population. Thorax, 61(11):935–939. 28, 106 124 Bibliography [Long et al., 2015] Long, J., Shelhamer, E., and Darrell, T. (2015). Fully convolutional networks for semantic segmentation. In The IEEE Con- ference on Computer Vision and Pattern Recognition (CVPR). 47 [Lowekamp et al., 2013] Lowekamp, B. C., Chen, D. T., Ibáñez, L., and Blezek, D. (2013). The Design of SimpleITK. Frontiers in neuroinfor- matics, 7(December):45. 38 [Lu et al., 2018] Lu, D., Popuri, K., Ding, G. W., Balachandar, R., and Beg, M. F. (2018). Multimodal and multiscale deep neural networks for the early diagnosis of alzheimer’s disease using structural mr and fdg-pet images. Scientific reports, 8(1):5697. 22, 99 [Matsuoka et al., 2011] Matsuoka, S., Yamashiro, T., Diaz, A., Estépar, R. S. J., Ross, J. C., Silverman, E. K., Kobayashi, Y., Dransfield, M. T., Bartholmai, B. J., Hatabu, H., and Washko, G. R. (2011). The Relationship between Small Pulmonary Vascular Alteration and Aortic Atherosclerosis in Chronic Obstructive Pulmonary Disease: Quantita- tive CT Analysis. Acad Radiol, 18(1):40–46. 12, 34, 87 [McDonald et al., 2014] McDonald, M.-L. N., Diaz, A. A., Ross, J. C., San Jose Estepar, R., et al. (2014). Quantitative Computed Tomography Measures of Pectoralis Muscle Area and Disease Severity in Chronic Obstructive Pulmonary Disease. A Cross-Sectional Study. Annals of the American Thoracic Society, 11(3):326–334. 10, 47, 86 [Moreta-Martinez et al., 2017] Moreta-Martinez, R., Onieva-Onieva, J., Pascau, J., and Estépar, R. S. J. (2017). Pectoralis muscle and subcuta- neous adipose tissue segmentation on ct images based on convolutional networks. Springer. 48 [Nardelli et al., 2018] Nardelli, P., Jimenez-Carretero, D., Bermejo-Pelaez, D., Washko, G. R., Rahaghi, F. N., Ledesma-Carbayo, M. J., and Esté- par, R. S. J. (2018). Pulmonary artery–vein classification in ct images us- ing deep learning. IEEE transactions on medical imaging, 37(11):2428– 2440. 29, 107 Bibliography 125 [Nielsen et al., 2018] Nielsen, A., Hansen, M. B., Tietze, A., and Mourid- sen, K. (2018). Prediction of tissue outcome and assessment of treatment effect in acute ischemic stroke using deep learning. Stroke, 49(6):1394– 1401. 14, 90 [Noh et al., 2015] Noh, H., Hong, S., and Han, B. (2015). Learning decon- volution network for semantic segmentation. In Proceedings of the IEEE international conference on computer vision, pages 1520–1528. 53 [Oh et al., 2018a] Oh, S. L., Hagiwara, Y., Raghavendra, U., Yuvaraj, R., Arunkumar, N., Murugappan, M., and Acharya, U. R. (2018a). A deep learning approach for parkinson’s disease diagnosis from eeg signals. Neural Computing and Applications, pages 1–7. 11, 87 [Oh et al., 2018b] Oh, S. L., Ng, E. Y., San Tan, R., and Acharya, U. R. (2018b). Automated diagnosis of arrhythmia using combination of cnn and lstm techniques with variable length heart beats. Computers in biology and medicine, 102:278–287. 13, 90 [Oktay et al., 2018] Oktay, O., Schlemper, J., Folgoc, L. L., Lee, M., Hein- rich, M., Misawa, K., Mori, K., McDonagh, S., Hammerla, N. Y., Kainz, B., et al. (2018). Attention u-net: learning where to look for the pan- creas. arXiv preprint arXiv:1804.03999. xxvii, xxxi, 27, 104, 105 [Onieva et al., 2018] Onieva, J. O., Marti-Fuster, B., de la Puente, M. P., and Estépar, R. S. J. (2018). Diffeomorphic lung registration using deep cnns and reinforced learning. In Image Analysis for Moving Organ, Breast, and Thoracic Images, pages 284–294. Springer. 29, 107 [Poplin et al., 2018] Poplin, R., Varadarajan, A. V., Blumer, K., Liu, Y., McConnell, M. V., Corrado, G. S., Peng, L., and Webster, D. R. (2018). Prediction of cardiovascular risk factors from retinal fundus photographs via deep learning. Nature Biomedical Engineering, 2(3):158. 11, 87 [Prescott, 2013] Prescott, J. W. (2013). Quantitative imaging biomarkers: the application of advanced image processing and analysis to clinical and preclinical decision making. Journal of digital imaging, 26(1):97–108. 9, 86 126 Bibliography [Rahaghi et al., 2017] Rahaghi, F. N., Vegas-Sanchez-Ferrero, G., and Minhas, e. a. (2017). Ventricular geometry from non-contrast non-ecg- gated ct scans: An imaging marker of cardiopulmonary disease in smok- ers. Acad Radiol. 34 [Rajpurkar et al., 2017a] Rajpurkar, P., Hannun, A. Y., Haghpanahi, M., Bourn, C., and Ng, A. Y. (2017a). Cardiologist-level arrhyth- mia detection with convolutional neural networks. arXiv preprint arXiv:1707.01836. 13, 90 [Rajpurkar et al., 2017b] Rajpurkar, P., Irvin, J., Zhu, K., Yang, B., Mehta, H., Duan, T., Ding, D., Bagul, A., Langlotz, C., Shpanskaya, K., et al. (2017b). Chexnet: Radiologist-level pneumonia detection on chest x-rays with deep learning. arXiv preprint arXiv:1711.05225. 20, 98 [Reeves et al., 2012] Reeves, A. P., Biancardi, A. M., Yankelevitz, D. F., Cham, M. D., and Henschke, C. I. (2012). Heart region segmentation from low-dose CT scans: an anatomy based approach. In Haynor, D. R. and Ourselin, S., editors, SPIE, volume 8314, page 83142A. 24, 101 [Regan et al., 2010] Regan, E. A., Hokanson, J. E., Murphy, J. R., Make, B., Lynch, D. A., Beaty, T. H., Curran-Everett, D., Silverman, E. K., and Crapo, J. D. (2010). Genetic Epidemiology of COPD (COPDGene) Study Design. COPD: Journal of Chronic Obstructive Pulmonary Dis- ease, 7(1):32–43. 28, 34, 49, 106 [Richmond, 2004] Richmond, C. (2004). Sir godfrey hounsfield. 4, 79 [Rodriguez-Lopez et al., 2015] Rodriguez-Lopez, S., Jimenez-Carretero, D., Estepar, R. S. J., Moreno, E. F., Kumamaru, K. K., Rybicki, F. J., Ledesma-Carbayo, M. J., and Gonzalez, G. (2015). Automatic ventricle detection in computed tomography pulmonary angiography. In Biomedi- cal Imaging (ISBI), 2015 IEEE 12th International Symposium on, pages 1143–1146. IEEE. 24, 35, 50, 101 [Ronneberger et al., 2015] Ronneberger, O., Fischer, P., and Brox, T. (2015). U-net: Convolutional networks for biomedical image segmen- Bibliography 127 tation. In International Conference on Medical image computing and computer-assisted intervention, pages 234–241. Springer. xxvi, xxx, 15, 16, 53, 92, 93 [Roy et al., 2017] Roy, A. G., Conjeti, S., Sheet, D., Katouzian, A., Navab, N., and Wachinger, C. (2017). Error corrective boosting for learning fully convolutional networks with limited data. In International Confer- ence on Medical Image Computing and Computer-Assisted Intervention, pages 231–239. Springer. 17, 53, 93 [Roy et al., 2018] Roy, A. G., Navab, N., and Wachinger, C. (2018). Con- current spatial and channel ‘squeeze & excitation’in fully convolutional networks. In International Conference on Medical Image Computing and Computer-Assisted Intervention, pages 421–429. Springer. xxvi, xxx, 16, 17, 53, 93, 94 [San Jose Estepar et al., 2015] San Jose Estepar, R., Ross, J. C., Har- mouche, R., et al. (2015). Chest imaging platform: an open-source library and workstation for quantitative chest imaging. In C66. LUNG IMAGING II: NEW PROBES AND EMERGING TECHNOLOGIES, pages A4975–A4975. American Thoracic Society. 8, 51, 83 [Schernthaner et al., 2012] Schernthaner, R. E., Stadler, A., Beitzke, D., Homolka, P., Weber, M., Lammer, J., Czerny, M., and Loewe, C. (2012). Dose modulated retrospective ecg-gated versus non-gated 64-row ct an- giography of the aorta at the same radiation dose: comparison of motion artifacts, diagnostic confidence and signal-to-noise-ratios. Eur J Radiol, 81(4):e585–90. 43 [Shahzad et al., 2013] Shahzad, R., van Walsum, T., Schaap, M., Rossi, A., Klein, S., Weustink, A. C., de Feyter, P. J., van Vliet, L. J., and Niessen, W. J. (2013). Vessel Specific Coronary Artery Calcium Scoring. Academic Radiology, 20(1):1–9. 24, 43, 48, 101 [Simonyan and Zisserman, 2014] Simonyan, K. and Zisserman, A. (2014). Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556. 26, 103 128 Bibliography [Sokooti et al., 2017] Sokooti, H., de Vos, B., Berendsen, F., Lelieveldt, B. P., Išgum, I., and Staring, M. (2017). Nonrigid image registration using multi-scale 3d convolutional neural networks. In International Conference on Medical Image Computing and Computer-Assisted Inter- vention, pages 232–239. Springer. 29, 107 [Szegedy et al., 2015] Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., Erhan, D., Vanhoucke, V., and Rabinovich, A. (2015). Going deeper with convolutions. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1–9. xxvii, xxxi, 26, 27, 103, 104 [Takahashi et al., 2017] Takahashi, H., Tampo, H., Arai, Y., Inoue, Y., and Kawashima, H. (2017). Applying artificial intelligence to disease staging: Deep learning for improved staging of diabetic retinopathy. PloS one, 12(6):e0179790. 21, 99 [Ting et al., 2017] Ting, D. S. W., Cheung, C. Y.-L., Lim, G., Tan, G. S. W., Quang, N. D., Gan, A., Hamzah, H., Garcia-Franco, R., San Yeo, I. Y., Lee, S. Y., et al. (2017). Development and validation of a deep learning system for diabetic retinopathy and related eye diseases us- ing retinal images from multiethnic populations with diabetes. Jama, 318(22):2211–2223. 11, 87 [Wang et al., 2016] Wang, D., Khosla, A., Gargeya, R., Irshad, H., and Beck, A. H. (2016). Deep learning for identifying metastatic breast cancer. arXiv preprint arXiv:1606.05718. 11, 87 [Wang et al., 2017] Wang, S., Zhou, M., Liu, Z., Liu, Z., Gu, D., Zang, Y., Dong, D., Gevaert, O., and Tian, J. (2017). Central focused convolu- tional neural networks: Developing a data-driven model for lung nodule segmentation. Medical image analysis, 40:172–183. 20, 97 [Waterton, 2001] Waterton, J. C. (2001). What imaging biomarkers are and how they are used. Pharmacology & Therapeutics, 81:104–107. 10, 86 Bibliography 129 [WHO et al., 2001] WHO, W. H. O. et al. (2001). Biomarkers in risk assessment: Validity and validation. 9, 85 [Wolterink et al., 2016] Wolterink, J. M., Leiner, T., de Vos, B. D., van Hamersvelt, R. W., Viergever, M. A., and Išgum, I. (2016). Automatic coronary artery calcium scoring in cardiac CT angiography using paired convolutional neural networks. Medical Image Analysis, 34:123–136. 24, 43, 48, 101 [Wolterink et al., 2015a] Wolterink, J. M., Leiner, T., Takx, R. A., Viergever, M. A., and Išgum, I. (2015a). Automatic coronary calcium scoring in non-contrast-enhanced ecg-triggered cardiac ct with ambigu- ity detection. IEEE transactions on medical imaging, 34(9):1867–1878. 68 [Wolterink et al., 2014] Wolterink, J. M., Leiner, T., Takx, R. A. P., Viergever, M. A., and Išgum, I. (2014). An automatic machine learning system for coronary calcium scoring in clinical non-contrast enhanced, ECG-triggered cardiac CT. In SPIE, volume 9035, pages 90350E– 90350E–8. 24, 43, 48, 101 [Wolterink et al., 2015b] Wolterink, J. M., Leiner, T., Viergever, M. A., and Išgum, I. (2015b). Automatic Coronary Calcium Scoring in Cardiac CT Angiography Using Convolutional Neural Networks, pages 589–596. Springer International Publishing, Cham. 24, 101 [Wong et al., 1994] Wong, N. D., Kouwabunpat, D., Vo, A. N., Detrano, R. C., Eisenberg, H., Goel, M., and Tobis, J. M. (1994). Coronary cal- cium and atherosclerosis by ultrafast computed tomography in asymp- tomatic men and women: relation to age and risk factors. American heart journal, 127(2):422–430. 12, 87 [Xie et al., 2014] Xie, Y., Cham, M. D., Henschke, C., Yankelevitz, D., and Reeves, A. P. (2014). Automated coronary artery calcification detection on low-dose chest CT images. In SPIE, volume 9035, pages 90350F– 90350F–9. 24, 48, 101 130 Bibliography [Yan et al., 2018] Yan, C., Yao, J., Li, R., Xu, Z., and Huang, J. (2018). Weakly supervised deep learning for thoracic disease classification and localization on chest x-rays. In Proceedings of the 2018 ACM Inter- national Conference on Bioinformatics, Computational Biology, and Health Informatics, pages 103–110. ACM. 47 [Yasaka et al., 2018] Yasaka, K., Akai, H., Kunimatsu, A., Abe, O., and Kiryu, S. (2018). Deep learning for staging liver fibrosis on ct: a pilot study. European radiology, 28(11):4578–4585. 22, 99 [Yushkevich et al., 2006] Yushkevich, P. A., Piven, J., Cody Hazlett, H., Gimpel Smith, R., Ho, S., Gee, J. C., and Gerig, G. (2006). User-guided 3D active contour segmentation of anatomical structures: Significantly improved efficiency and reliability. Neuroimage, 31(3):1116–1128. 8, 83 [Zeiler and Fergus, 2014] Zeiler, M. D. and Fergus, R. (2014). Visualizing and understanding convolutional networks. In European conference on computer vision, pages 818–833. Springer. 28, 105 [Zeiler et al., 2011] Zeiler, M. D., Taylor, G. W., Fergus, R., et al. (2011). Adaptive deconvolutional networks for mid and high level feature learn- ing. In ICCV, volume 1, page 6. 28, 105