Entrenamiento de una Red Neuronal Convolucional con ...

Entrenamiento de una Red NeuronalConvolucional con Jupyter y TensorFlow para laclasificacion de tejido invasivo de cancer de seno

Fabian A. Cano-Ramırez1, Angel Cruz-Roa1

Grupo de Investigacion GITECX, Semillero de Investigacion AdaLab, Universidad delos Llanos, Villavicencio Meta, Colombia

[email protected],[email protected]

Abstract. En la actualidad, el analisis y deteccion de patologıas enlaminas de histopatologıa requiere el tiempo de medicos patologos espe-cializados, quienes analizan las muestras de tejido en el microscopio. Eltiempo que transcurre desde la extraccion de tejido del paciente hastaque se conocen los resultados puede prolongarse por varios dıas e in-cluso meses, retrasando ası el inicio del tratamiento. Gracias a la in-cipiente patologıa digital, las muestras son escaneadas y transformadasen imagenes digitales, permitiendo agilizar el analisis y deteccion de pa-tologıas, ademas de reducir el deterioro al que se exponen las muestrasdurante su manipulacion. La sustitucion de las imagenes microscopicaspor las imagenes digitales supone un avance importante que permite quepatologos a distancia puedan realizar el analisis, asegurando un pronto di-agnostico sin necesidad de trasladar las muestras, con el costo de tiempoy transporte que ello supone.

Al realizar el analisis y preprocesamiento de las imagenes de histopa-tologıa por metodos computacionales se puede reducir los tiempos dediagnostico que requieren los patologos para analizar los resultados, per-mitiendo a su vez priorizar el orden de las muestras mas crıticas o dedifıcil diagnostico. Con la incursion de tecnicas de computacion y apren-dizaje de maquina se esta empezando a contemplar que las muestras seanpreprocesadas una vez digitalizadas como apoyo al diagnostico, lograndoque los expertos analicen las muestras mas rapido, disminuyendo costosy tiempo por caso.

Con ayuda del proyecto Jupyter y del framework Tensorflow se crea unared neuronal convolucional entrenada para detectar la presencia de tejidoinvasivo de cancer de seno en imagenes de histopatologıa previamenteprocesadas. Se entreno el clasificador con 279 casos de estudio recuper-ados de distintos sitios como The Cancer Genome Atlas, obteniedo unaprecision AUC = 81.93%.

Keywords: Patologıa Digital · Clasificacion Automatica · Analisis deImagenes Medicas · Red Neuronal Convolucional.

2 Fabian A. Cano-Ramırez, Angel Cruz-Roa

1 Introduccion

Debido al escaso numero de medicos patologos y allimitado tiempo con el quecuentan para un paciente, las citas con un especialista pueden tardar mas deun mes, y aunque se detecte tempranamente cualquier tipo de patologıa, eltratamiento con el especialista puede llegar a comenzar hasta seis meses despues[2].

Para hacer frente a este problema comienza a surgir un nuevo campo deinvestigacion denominado patologıa digital, la cual consiste en crear, observar,compartir, analizar e interpretar imagenes digitales de laminas completas dehistopatologıa (en ingles Whole-Slide Images, WSI ). Mientras que los patologostradicionales observan de manera individual los tejidos extraıdos al paciente atraves del microscopio, mediante la patologıa digital las muestras son escaneadasy transformadas en imagenes digitales que pueden ser examinadas por especial-istas en cualquier parte del mundo [2].

Es difıcil lograr que un medico patologo analice todas las muestras debidoa problemas de tiempo o carga laboral, por lo que la acumulacion de casos escomun. La patologıa digital y las imagenes digitales de histopatologıa permitenclasificar la carga de trabajo digital, ademas de organizar mas eficientemente loscasos segun su urgencia clınica [2].

Los parametros usados para la clasificacion de las regiones de cancer son sub-jetivos, por lo que pueden llegar a variar de patologo a patologo. El diagnosticopositivo o negativo tambien es algo subjetivo, razon por la cual comienzan aincursionar algoritmos de aprendizaje automatico usados para predecir mas efi-cientemente la supervivencia de los pacientes con cancer basandose en la se-leccion automatica de las caracterısticas histologicas de las laminas digitales dehistopatologıa [2].

Existe una gran cantidad de datos publicos listos para analizar como datosde entrenamineto en aprendizaje supervizado en el campo de la patologıa dig-ital, como The Cancer Genome Atlas (TCGA) y Genotype-Tissue Expression(GTEx), los cuales contienen muchos WSI de alta resolucion descargables libre-mente [3].

El analisis digital de imagenes patologicas generalmente utiliza tecnicas com-putacionales de reconocimiento de imagenes, sin embargo, debido a que algunasimagenes contienen caracterısticas unicas, a menudo se requieren tecnicas es-peciales de procesamiento, razon por la cual las tecnicas de reconocimiento deimagenes estan siendo reemplazadas por aprendizaje profundo (Deep Learning),como por ejemplo las Redes Neuronales Convolucionales (Convolutional NeuralNetworks - CNNs, en ingles) [4].

Para los algoritmos de aprendizaje automatico primero debe realizarse unpreprocesamiento de los datos, el cual, basicamente consiste en detecar las re-giones cancerıgenas en las WSIs, y extraer regiones cuadradas (parches) localesde la WSI grande. Luego, se extraen las caracterısticas visuales (e.g. color, forma,textura) de la imagen con el objetivo de obtener informacion util para las tareasde aprendizaje automatico [4].

Red neuronal convolucional para la clasificacion de cancer de seno 3

Debido a la gran cantidad de parametros involucrados en la creacion y en-trenamiento de las redes neuronales, es necesario disponer de una gran canti-dad de ejemplos de entrenamiento correctamente etiquetados por los expertospatologos. En los problemas en los que se dispone de gran cantidad de ejemplosde capacitacion se ha obtenido resultados de prediccion impresionantes [5].

2 Trabajos previos

El uso de las redes neuronales convolucionales ha venido creciendo en el campode la medicina. Algunos trabajos previos relacionados con la deteccion y clasifi-cacion de mitosis en cancer de seno obtuvieron resultados destacables, como elcaso de [7], [8] y [10]. Por otra parte, en el area de deteccion automatica de cancerinvasivo, las redes neuronales convolucionales ofrecen un buen rendimiento a lahora de detectar las regiones de tejido con presencia de cancer en comparacioncon las anotaciones de los expertos patologos [9].

3 Justificacion

El entorno de trabajo Jupyter ofrece las herramientas necesarias para que loscientıficos incursionen en el campo de la investigacion. Es un proyecto de soft-ware libre basado en componentes libres, por lo que esta apoyado, desarrolladoy mantenido por una amplia comunidad. Su entorno de programacion orien-tado a bloques permite separar las funcionalidades del codigo y ejecutarlas deacuerdo a las necesidades, razon por la cual, el control de errores se maneja in-dependientemente en cada bloque sin necesidad de revisar todo el codigo comose harıa normalmente. Cada bloque permite diferentes formatos configurablesen su kernel como Markdown o Latex, diferentes lenguajes de programacioncomo Python, Ruby o R, graficos, videos, presentaciones o cualquier elementode multimedia. Uno de los principales objetivos del proyecto Jupyter es fomentarla comparticion de conocimiento apoyandose en plataformas como GitHub, lascuales facilitan esta tarea. Es ası como Jupyter esta siendo cada vez mas usadoen el mundo del analisis de datos, enriqueciendose continuamente por su muyactiva y heterogenea comunidad.

4 Metodologıa

4.1 Preparacion del conjunto de datos

El conjunto de datos esta compuesto por 277.524 imagenes de 50x50 pıxelescorrespondientes a 279 casos de estudio, de las cuales, 65.811 corresponden aimagenes con presencia de tejido invasivo de cancer de seno y 159.929 corre-sponden a imagenes sin presencia de tejido invasivo de cancer de seno. Cada unade las imagenes esta etiquetada de acuerdo a su naturaleza; las imagenes conpresencia de cancer con la etiqueta ”clase 1”, y las imagenes con ausencia de


Fig. 1. Muestra del conjunto de imagenes de histopatologıa.

cancer con la etiqueta ”clase 0”. La figura 1 muestra un conjunto pequeno delas imagenes de histopatologıa usadas como conjunto de entrenamiento.

El conjunto de datos corresponde a casos de estudio con presencia de cancerde mama invasivo. El cancer de mama invasivo es aquel que se disemina desdeel sitio original hacia el tejido mamario circundante. Estos comprenden aprox-imadamente el 70% de todos los casos de cancer de mama, teniendo un peorpronostico comparado con los subtipos de cancer in situ [1].

Datos de entrenamiento Partiendo de un conjunto de imagenes previamenteclasificadas con presencia o ausencia de cancer se construye el conjunto de en-trenamiento de la red neuronal convolucional. Este conjunto de datos permiteque en la fase de entrenamiento se obtengan los pesos de la red y se ajusten losparametros. Se toman 225.740 imagenes recuperadas del Hospital of the Univer-sity of Pennsylvania (HUP), de las cuales 65.811 corresponden a imagenes conpresencia de cancer y 159.929 corresponden a imagenes con ausencia de cancer.Como la cantidad de imagenes clasificadas con presencia y ausencia de cancerson diferentes, se debe realizar un proceso por el cual se igualan los conjuntos dedatos llamado sobremuestreo (Oversampling). El proceso de sobremuestreo con-siste en tomar el conjunto de imagenes de menor cantidad y aplicar tecnicas derotacion de la imagen. Aplicando el proceso de sobremuestreo se consiguen sieteimagenes mas a partir de una sola imagen. Una vez terminado el sobremuestreo,se iguala la cantidad de datos del conjunto de datos clasificados con ausencia decancer con el conjunto de datos clasificados con presencia de cancer. El nuevoconjunto de datos de entrenamiento esta compuesto por 319.858 imagenes de


las cuales 159.929 corresponden a imagenes con presencia de cancer, y la mismacantidad para las imagenes con ausencia de cancer.

Datos de validacion Permiten comparar el desempeno de la arquitectura dela red y ajustar los parametros segun el caso. El conjunto de datos de validacionesta compuesto por 51.784 imagenes recuperadas de Cancer Institute of NewJersey (CINJ) de las cuales 12.975 corresponden a imagenes con presencia decancer y 38.809 a imagenes con ausencia de cancer. De la misma manera quecon el conjunto de datos de entrenamiento, se debe realizar un proceso de so-bremuestreo con el cual se obtiene el nuevo conjunto de datos de validacionconformado por 77.618 imagenes, de las cuales la mitad corresponde a imagenesclasificadas con presencia de cancer y la otra mitad con ausencia de cancer. Ellas imagenes recuperadas de CINJ se utilizaron como el conjunto de datos devalidacion porque es el conjunto de datos patologicos mas pequeno con anota-ciones manuales independientes de casos de tumores invasivos de 3 diferentespatologos.

Datos de prueba El conjunto de datos de prueba permite estimar el de-sempeno de la red. Esta compuesto por 182.883 imagenes tomadas de The Can-cer Genome Atlas (TCGA) de las cuales 82.197 corresponden a imagenes conpresencia de cancer y 100.686 corresponden a imagenes con ausencia de cancer.Al igual que con el conjunto de datos de entrenamiento, el conjunto de datosde prueba debe estar equilibrado, por lo que de igual manera se debe realizarun sobremuestreo (Oversampling). El nuevo conjunto de datos de prueba estacompuesto por 201.372 imagenes de las cuales 100.686 corresponden a imagenescon presencia de cancer, y la misma cantidad para las imagenes con ausencia decancer.

Una vez construido el conjunto de imagenes de entrenamiento y prueba serealiza un proceso en el cual los conjuntos de imagenes y sus respectivas etiquetasse organizan aleatoriamente teniendo en cuenta que las etiquetas de cada unade las imagenes coincidan con la imagen asociada.

Ajuste de formato Cada una de las imagenes son abiertas de tal maneraque matematicamente esten representadas en sus tres canales de color: rojo (R),verde (G) y azul (B) como se ve en la figura 2. Ademas, se realiza un redimen-sionamiento a cada una de las imagenes de 50x50 pıxeles a 51x51 pıxeles. Estaredimension se realiza con el fin de que no hayan pixeles sobrantes en el procesode convolucion.

4.2 Normalizacion del conjunto de datos

Cuando se realiza el proceso de tincion de las biopsias de tejidos, es probable quela intensidad con la que se tinen las regiones de los tejidos varıe entre las distintasmuestras. Esta variacion de la tincion puede provocar errores al momento del


Fig. 2. Imagen de histopatologıa en sus tres canales de color. A. Representa la imagenoriginal, B. Representa la imagen en el canal de color rojo (R), C. Representa la imagenen el canal de color verde (G), D. Representa la imagen en el canal de color azul (B).

entrenamiento de la red neuronal por lo que es necesario normalizar el color decada una de las imagenes. La normalizacion del color consiste en hallar el valormedio de color de cada una de las imagenes y hallar su desviacion estandar. Acada una de las imagenes se le resta el valor medio encontrado, y se divide por sudesviacion estandar, obteniendo ası una normalizacion de media cero y varianzaunitaria. Este proceso permite que el conjunto de imagenes este representadobajo un mismo nivel de tincion. El proceso de normalizacion de color se realizatanto para el conjunto de entrenamiento, como para el conjunto de prueba.

Para obtener un mejor rendimiento en la etapa del entrenamiento de la redneuronal se pueden aplicar otro tipo de normalizaciones al conjunto de imagenes.

4.3 Creacion del modelo

Una vez terminada la preparacion del conjunto de datos, se comienza la creaciondel modelo. La implementacion de la red neuronal convolucional se realizo us-ando la API Keras y el framework Tensorflow, los cuales permiten construirredes neuronales usando modelos secuenciales facilmente implementables. Losmodelos se construyen teniendo en cuenta las capas que tendra la red neuronal.Como se muestra en la figura 3, la arquitectura de la red neuronal convolu-cional consta de cuatro capas. La primera capa recibe el conjunto de imagenesde 51x51 pıxeles y aplica dos procesos; el primer proceso corresponde a un con-junto de neuronas convolucionales que tienen el objetivo de filtrar cada una delas imagenes del conjunto de entrada con un nucleo previamente entrenado. Losdatos son trasformados de tal manera que ciertas caracterısticas se vuelven masdominantes en las imagenes de salida al tener un valor numerico mas alto enlos pıxeles que las conforman; el segundo proceso corresponde a un conjunto deneuronas de reduccion de muestreo que realizan una operacion de agrupacion(max-pooling) sobre los pıxeles de las imagenes. Esta operacion consiste en en-contrar el valor maximo entre una ventana de muestra que se pasa por toda laimagen. El resultado de esta operacion es la reduccion del tamano de los datosen un factor igual al tamano de la ventana utilizada. En este punto el conjunto


de imagenes tendra un tamano de 25x25 pıxeles. La segunda capa recibe el re-sultado de las operaciones de la primera capa y aplica los mismos dos procesosutilizados previamente, resultando en un conjunto de imagenes con un tamanode 12x12 pıxeles. Una vez terminada la segunda capa, el conjunto de datos entraa la tercera capa. En esta capa se pierde la informacion espacial y las neuronasestan conectadas todas con todas (fully-connected). El resultado de la operacionrealizada en la tercera capa permite que las neuronas de clasificacion de la cuartacapa clasifiquen los datos de acuerdo a las caracterısticas de una etiqueta u otra(cancer invasivo o no cancer invasivo). La arquitectura del modelo de la red neu-ronal convolucional tambien contempla unas capas en las que se implementanunas funciones de activacion (activation) y unas funciones de abandono (dropout)que se activan en la fase de entrenamiento y permiten prevenir el sobreajuste(overfitting) de los datos realizando una desconexion de un porcentaje de lasneuronas en cada iteracion.

Fig. 3. Arquitectura de la red neuronal convolucional de cuatro capas.

La figura 4 muestra un breve resumen de cada una de las capas del modeloconstruido, la operacion que realizan y la cantidad de neuronas de cada una delas capas.

4.4 Entrenamiento del modelo

La fase de entrenamiento del modelo consiste en tomar las imagenes del con-junto de entrenamiento y sus respectivas etiquetas y realizar una cantidad deiteraciones (epocas) en las cuales los pesos de cada una de las neuronas se vanajustando. En el modelo realizado por [6] se encontro que los parametros conlos que se obtuvo el mejor resultado para el entrenamiento del clasificador con


Fig. 4. Descripcion general del modelo generado con la API Keras.

las imagenes de cancer invasivo fueron: un tamano de kernel de 3 (core), untamano de ventana de 2 (pool), 256 neuronas por capa, 25 epocas, una taza deaprendizaje de 1e-3 (learning rate) y una decadencia de la taza de aprendizajede 1e-7 (learning rate decay).

La figura 5 muestra una grafica del resultado de la precision del entre-namiento de la red neuronal convolucional. La lınea azul corresponde al de-sempeno obtenido con los datos de entrenamiento, y la lınea verde al desempenoobtenido con los datos de validacion. Una mayor precision identificar un mejorrendimiento del clasificador. Del mismo modo, la figura 6 muestra una grafica delresultado de la perdida del entrenamiento de la red neuronal convolucional. Laperdida es la suma de los errores cometidos para cada dato en los conjuntos deentrenamiento o validacion. Cuanto menor sea la perdida, mejor sera el modelo.La lınea azul corresponde al resultado obtenido con los datos de entrenamiento,y la lınea verde al resultado obtenido con los datos de validacion. Es notableel aumento de la perdida a lo largo de cada una de las iteraciones. Se esperaque la perdida disminuya al pasar cada iteracion. El resultado obtenido con elmodelo planteado en contraste con [6] puede deberse a una mala normalizaciondel conjunto de datos.

Con los parametros encontrados se comienza el entrenamiento del modelo en25 epocas. Una vez terminado el entrenamiento se procede a evaluar la precisiondel clasificador con el conjunto de imagenes de prueba.


Fig. 5. Resultados de la precision del modelo en la fase de entrenamiento con el con-junto de datos de entrenamiento (lınea azul) y validacion (lınea verde) durante cadaepoca de entrenamiento

Fig. 6. Resultados de la perdida del modelo en la fase de entrenamiento con el conjuntode datos de entrenamiento (lınea azul) y validacion (lınea verde) durante cada epocade entrenamiento


5 Analisis de resultados

En un primer acercamiento a la construccion del modelo se trabajo con 20.000imagenes de entrenamiento (la mitad etiquetadas con presencia de cancer y laotra mitad con ausencia de cancer) y 5.000 imagenes de prueba, el modelo con-staba de 4 capas de convolucion y de pooling y no se realizo la normalizacion decolor de las imagenes. El entrenamineto del clasificador tardo al rededor de 12minutos y se obtuvo una precision del 26%.

El nuevo modelo de la red convolucional, la normalizacion de las imagenesy el trabajo con un conjunto de imagenes notablemente mayor contribuyo almejoramiento de la precision del clasificador. El entrenamiento tardo al rededorde 4 horas y se obtuvo una precision en la evaluacion del modelo de 75.44% yuna precision en la prediccion del clasificador de AUC = 81.93%. El AUC es unamedida de clasificacion no sesgada que permite la evaluacion del rendimiento dela clasificacion independientemente de un umbral fijo.

La figura 7 muestra la matriz de confusion de la fase predictiva del modelode la red neuronal convolucional. La matriz de confusion permite visualizar eldesempeno del clasificador, ademas de comprobar si el algoritmo se esta confun-diendo a la hora de clasificar los datos. La fisura 8 muestra algunos ejemplos delresultado del clasificador.

Fig. 7. Matriz de confusion de los resultados de la prediccion de la red neuronal con-volucional.


Fig. 8. Ejemplos de prediccion del clasificador. A. Imagen de histopatologıa etiquetadacon ausencia de cancer. Evaluacion del clasificador: 99.98%. B. Imagen de histopatologıaetiquetada con presencia de cancer. Evaluacion del clasificador: 99.57%. C. Imagen dehistopatologıa etiquetada con presencia de cancer. Evaluacion del clasificador: 60.01%.D. Imagen de histopatologıa etiquetada con ausencia de cancer. Evaluacion del clasifi-cador: 99.99%

6 Conclusiones y recomendaciones

Para cualquier caso que involucre el entrenamiento de una red neuronal con-volucional, se obtienen mejores resultados cuando el conjunto de datos de entre-namiento es grande, es decir, entre mas datos es mejor.

Debido al proceso por el cual las biopsias de tejido de los pacientes se tinencon componentes como hematoxilina-eosina, es probable que la intensidad conla que se tinen las regiones de los tejidos varıe entre las distintas muestras. Lavariacion de la tincion en las imagenes de histopatologıa hace necesario que seaplique algun proceso de normalizacion que permita que el color de cada una delas imagenes este en un mismo nivel.

Con la incusion de la patologıa digital y el aprendizaje de maquina es posibleobtener una prediccion mas eficiente de la supervivencia de los pacientes concancer basandose en la seleccion automatica de las caracterısticas histologicasde las laminas digitales de histopatologıa. Las tecnicas de procesamiento y clasi-ficacion de las muestras ayuda a reducir los tiempos de diagnositco y analisis delos resultados, permitiendo a su vez que los patologos expertos diagnostiquen lasmuestras con mayor eficiencia, contribuyendo a la supervivencia de los pacientes.

References

1. DeSantis, C., Siegel, R., Bandi, P. & Jemal, A. Breast cancer statistics, 2011. In: ACancer Journal for Clinicians 61, 408–418 (2011)

2. Bracey, T. Digital pathology. In: The Bulletin of the Royal College of Surgeons ofEngland 99(3), 93–96 (2017). https://doi.org/10.1308/rcsbull.2017.93

3. Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., Fei-Fei, L. Ima-geNet Large Scale Visual Recognition Challenge. In: International Journal of Com-puter Vision 115(3), 211–252 (2015). https://doi.org/10.1007/s11263-015-0816-y

4. Komura, D., & Ishikawa, S. Machine learning methods for histopathological imageanalysis. (n.d.). Retrieved from https://arxiv.org/pdf/1709.00786.pdf


5. Krizhevsky, A., Sutskever, I. & Hinton, G. ImageNet Classification with Deep Con-volutional Neural Networks. In: Advances in Neural Information Processing Systems25, 1106–1114 (2012)

6. Angel Cruz-Roa, Hannah Gilmore, Ajay Basavanhally, Michael Feldman, ShridarGanesan, Natalie N.C. Shih, John Tomaszewski, Fabio A. Gonzalez & Anant Mad-abhushi. Accurate and reproducible invasive breast cancer detection in whole-slideimages: A Deep Learning approach for quantifying tumor extent. In: Scientific Re-ports 7, 46450 (2017). https://doi.org/doi:10.1038/srep46450

7. Ciresan, D., Giusti, A., Gambardella, L. & Schmidhuber, J. Mitosis Detection inBreast Cancer Histology Images with Deep Neural Networks. In: Medical ImageComputing and Computer-Assisted Intervention - MICCAI 2013, 8150, 411—418(2013).

8. Wang, H. et al. Mitosis detection in breast cancer pathology images by combin-ing handcrafted and convolutional neural network features. In: Journal of MedicalImaging 1, 34003 (2014).

9. Cruz-Roa, A. et al. Automatic detection of invasive ductal carcinoma in whole slideimages with convolutional neural networks. In: Proc. SPIE 9041, 904103-–904115(2014).

10. Malon, C. & Cosatto, E. Classification of mitotic figures with convolutional neuralnetworks and seeded blob features. In: Journal of Pathology Informatics 4, 9 (2013).

Entrenamiento de una Red Neuronal Convolucional con ...

Documents

Transcript of Entrenamiento de una Red Neuronal Convolucional con ...