Procedimiento y sistema de vision artificial para la descripcion y clasificacion de espermatozoides segun el estado de su acrosoma
OBJETO DE LA INVENCION
El objeto de la presente invencion es un proceso automatizado para describir y clasificar espermatozoides en dos clases: espermatozoides con acrosoma Integra o espermatozoides con acrosoma danado. A partir de fotograflas digitales de las cabezas de espermatozoides tomadas en escala de grises, el procedimiento obtiene y utiliza el descriptor patron binario local adaptativo (ALBP, Adaptive Local Binar y Pattern" en sus siglas en ingles) combinado con las medias y las desviaciones tlpicas de los niveles de gris de los plxeles de la imagen a lo largo de diferentes orientaciones para su posterior clasificacion.
ANTECEDENTES DE LA INVENCION
Realizar un control de calidad del semen es una tarea imprescindible en los procesos de inseminacion artificial asistida, tanto humana como animal. Existe una gran cantidad de companlas interesadas en adquirir muestras de semen proveniente de empresas especializadas, que deben garantizar la mejor calidad posible de las mismas para asegurar una buena fertilizacion.
La utilization del analisis digital de imagenes en el estudio medico en general, y la valoracion de las caracterlsticas de los espermatozoides en particular, dio comienzo a principios de siglo. Casi todos los trabajos realizados hasta el momento en este campo se limitan a estudiar los resultados obtenidos al evaluar el semen con los sistemas CASA (Computer-Assisted Sperm Analysis) existentes (C. Soler, J. J. de Montserrat, R. Gutierrez, J. Nunez, M. Nunez, M. Sancho, F. Perez-Sanchez, y T.G. Cooper, "Use of the Sperm-Class Analyser for objective assessment of human sperm morphology", International Journal of Andrology, Vol. 26, No. 5, 2003, pp. 262-270) , o comparando las medidas obtenidas con distintos sistemas (J. Z. Chan, W. Krause, y C. Bohring, "Computer assisted analysis of sperm morphology with the aid of lectin staining", Andrologia, Vol. 34, 2002, pp. 379-383).
Otros trabajos analizan la morfometrla de la cabeza del espermatozoide de distintas
especies. Sin embargo, las tecnicas de vision artificial basadas en la textura de la cabeza o en la morfologla del acrosoma para determinar su estado, no han sido practicamente evaluadas. En la practica veterinaria se asume que la fertilidad de un espermatozoide esta altamente relacionada con el estado de su acrosoma. La comprobacion de este estado suele hacerse de manera visual, utilizando tinciones, microscopios de fluorescencia as! como otro material y personal especializados, haciendo que el proceso sea muy costoso tanto en tiempo como en recursos. Por ello, resulta muy interesante desarrollar un metodo que permita realizar este proceso mediante imagenes en contraste de fases, que son mas sencillas de obtener y tan solo requieren un microscopio convencional adherido a una camara. El objetivo del metodo es clasificar las cabezas de los espermatozoides segun el estado de su acrosoma como Integras o danadas.
La presente invencion se refiere a un procedimiento y un sistema de vision artificial para la descripcion y clasificacion de cabezas de espermatozoides segun el estado de su acrosoma, como Integras o danadas, a partir de una imagen digital inicial tomada de una muestra de semen.
El procedimiento comprende los siguientes pasos:
- segmentar la imagen mediante umbralizacion para detectar las cabezas de los espermatozoides;
- describir las cabezas de espermatozoides utilizando un patron binario local adaptativo y los vectores de las medias y desviaciones tlpicas orientadas, obteniendo el vector de caracterlsticas;
- clasificar las cabezas como Integras o danadas en funcion del estado de su acrosoma utilizando el vector de caracterlsticas de la imagen y un algoritmo de aprendizaje supervisado.
El paso de segmentar la imagen empleando un umbral comprende preferentemente detectar por umbralizacion las zonas de la imagen donde se encuentran las cabezas de los espermatozoides, y recortar las regiones detectadas.
En una realizacion particular el paso de descripcion de las cabezas de espermatozoides utilizando un patron binario local adaptativo y los vectores de las medias y desviaciones tlpicas orientadas comprende:
- calcular el histograma de longitud P+2 elementos utilizando el algoritmo de patron binario local adaptativo;
- calcular el vector de medias orientadas en las P direcciones indicadas por el numero de vecinos;
- calcular el vector de desviaciones tlpicas orientadas en las P direcciones indicadas por el numero de vecinos;
- concatenar el histograma de patron binario local adaptativo, el vector de medias y el vector de desviaciones tlpicas formando un unico vector de caracterlsticas de 3P+2 elementos, usado como descriptor final de la imagen.
El paso de clasificacion de las cabezas de espermatozoides puede tambien comprender entrenar un sistema de aprendizaje automatico con un conjunto de entrenamiento etiquetado y con el vector de caracterlsticas obtenido; y clasificar los espermatozoides, con el sistema previamente entrenado, segun su acrosoma representado por su vector de caracterlsticas sea Integra o danado.
El procedimiento puede comprender mostrar la etiqueta de la cabeza evaluada, una vez ha sido clasificada. El procedimiento ademas puede comprender un paso previo de preprocesamiento de la imagen digital inicial. El preprocesamiento puede comprender la conversion de la imagen original a escala de grises, y/o el estiramiento del histograma para que el rango dinamico de la imagen se corresponda con el rango estatico.
El procedimiento puede comprender un paso de registro de imagenes para homogeneizar su tamano y orientacion. El procedimiento ademas puede comprender un paso de adquisicion de la imagen digital inicial en escala de gris utilizando una camara digital acoplada a un microscopio optico.
El algoritmo de aprendizaje supervisado esta preferiblemente basado en redes neuronales o en maquinas de vectores soporte.
Otro aspecto de la presente invention se refiere a un sistema de vision artificial para la descripcion y clasificacion de cabezas de espermatozoides segun el estado de su acrosoma, como Integras o danadas, a partir de una imagen digital inicial tomada de una muestra de semen. El sistema comprende medios de procesamiento de datos
configurados para ejecutar las etapas del procedimiento. El sistema puede comprender una camara digital acoplada a un microscopio optico y configurada para la adquisicion de la imagen digital inicial en escala de gris. Ademas, el sistema puede comprender unos medios de almacenamiento de datos donde se almacena un archivo de datos de la description y un archivo de datos de la clasificacion de las cabezas de espermatozoides.
El procedimiento de la invention permite discriminar las cabezas de espermatozoides en Integras o danadas segun el estado de su acrosoma, utilizando unicamente imagenes en escala de gris y por lo tanto disminuyendo el tiempo necesario para el analisis y mejorando su fiabilidad. Este procedimiento se puede aplicar a la industria de production animal, donde la incorporacion de controles de calidad en los principales parametros seminales es indispensable para obtener un procesamiento eficiente y preciso de las muestras de eyaculados. El procedimiento de la invencion clasifica las cabezas, previamente descritas mediante los histogramas de ALBP combinados con las medias y desviaciones tlpicas orientadas, y es aplicable a distintas especies animales, aunque tiene especial interes en la industria porcina, debido al alto Indice de consumo de productos derivados del cerdo. Por otro lado, en el campo de la reproduction humana, el procedimiento de la invencion puede ser util para valorar la calidad seminal de los pacientes en casos que requieran reproduccion asistida.
Las operaciones basadas en los tamanos de espermatozoides estan condicionadas por la especie y los aumentos a los que se toma la imagen en cada aplicacion concreta. Resulta evidente que no es igual el tamano de un espermatozoide de cerdo que el de un espermatozoide humano, ni tampoco tiene el mismo tamano la imagen de un espermatozoide de cerdo a 40x que a 100x aumentos. Por otra parte, en la presente invencion se emplea de manera general el termino "imagen" para hacer referencia tanto a imagenes fijas (o fotograflas) como a cada una de las imagenes presentes en una secuencia (o video).
El procedimiento que propone la presente invencion para describir las cabezas de espermatozoides mediante una combinacion de ALBP y los vectores de la media y la desviacion tlpica orientadas, as! como su clasificacion en funcion del estado del acrosoma, como Integras y danadas, comprende las siguientes etapas:
- adquirir un conjunto de imagenes digitales a partir de muestras de semen
obtenidas previamente;
- cuando sea necesario, modificar el conjunto previo preprocesando dichas imagenes de manera que se facilite la posterior description de las mismas.
- obtener las regiones de la imagen que se corresponden con las cabezas de espermatozoides;
- obtener la descripcion de las imagenes de las cabezas segmentadas;
- clasificar las cabezas de los espermatozoides como Integras o danadas, en funcion del estado de su acrosoma.
En la etapa de adquisicion se capturan imagenes de la muestra que se desea analizar, bien como imagenes fijas, o procedentes de una secuencia de video utilizando una camara acoplada a un microscopio. Esta camara digital esta conectada a un ordenador en el cual se analiza la imagen digital adquirida. Preferentemente las imagenes se capturan en contraste de fases negativo, aunque el procedimiento funcionarla de manera analoga utilizando contraste de fases positivo. Cada imagen, por tanto, contendra una o varias cabezas de espermatozoides, dependiendo del numero de aumentos y del tamano de los espermatozoides. Por ultimo, se obtiene una clasificacion utilizando tecnicas supervisadas con un conjunto de entrenamiento de imagenes.
El procedimiento puede comprender una etapa de preprocesamiento de la imagen capturada con el objeto de mejorar el contraste o simplemente reducir la profundidad de color de la misma. La imagen resultante al termino de esta primera etapa se denominara "imagen", tanto si se ha realizado el preprocesamiento como si no se ha hecho.
La etapa de obtencion de las regiones de interes mediante la segmentation de cada cabeza de espermatozoide de la imagen se realiza de manera automatica. El primer paso consiste en detectar las zonas donde hay cabezas. Las cabezas aparecen con niveles de gris oscuro sobre fondo claro Por lo tanto, mediante una segmentacion basada en umbral se consigue determinar la position de los espermatozoides. A continuation, las cabezas son recortadas obteniendo su rectangulo circunscrito.
De acuerdo con una realization preferida preferente de la invention, a continuacion se registran las cabezas, redimensionandolas al mismo tamano y rotandolas de forma que todas tengan la misma orientation.
Las imagenes resultantes al termino de esta etapa se denominaran "imagenes de cabezas segmentadas", tanto si se ha registrado la imagen como si no se ha hecho.
La etapa de description de las imagenes de cabezas segmentadas se realiza concatenando los histogramas resultantes de aplicar el algoritmo ALBP con las medias y las desviaciones tlpicas orientadas de las imagenes, creando asl el vector de caracterlsticas.
De acuerdo con una realization preferente de la invention, los parametros del patron binario local adaptativo (ALBP) optimos son 16 vecinos y un radio de 2 plxeles.
En la etapa de clasificacion de las imagenes de cabezas segmentadas segun el estado de su acrosoma como Integras o danadas se utiliza un algoritmo de clasificacion supervisada. De acuerdo con una realizacion preferente de la invencion, los metodos de clasificacion supervisada optimos son las redes neuronales y las maquinas de vectores soporte (SVM, del ingles support vector machines).
Por ultimo, se entiende de la presente descripcion que la invencion se extiende tambien a programas de ordenador, particularmente los programas de ordenador que se encuentran situados sobre o dentro de una portadora, adaptados para llevar a la practica el procedimiento descrito. El programa puede tener la forma de codigo fuente, codigo objeto, una fuente intermedia de codigo y codigo objeto, por ejemplo, como en forma parcialmente compilada, o en cualquier otra forma adecuada para uso en la puesta en practica de los procesos segun la invencion. La portadora puede ser cualquier entidad o dispositivo capaz de soportar el programa.
Por ejemplo, la portadora podrla incluir un medio de almacenamiento, como una memoria ROM, una memoria CD ROM o una memoria ROM de semiconductor, una memoria Flash, una memoria de estado solido (SSD, del ingles solid-state drive) o un soporte de grabacion magnetica, por ejemplo, un disco duro. Ademas, la portadora puede ser una portadora transmisible, por ejemplo, una senal electrica u optica que podrla transportarse a traves de cable electrico u optico, por radio o por cualesquiera otros medios.
Cuando el programa va incorporado en una senal que puede ser transportada directamente por un cable u otro dispositivo o medio, la portadora puede estar constituida por dicho cable u otro dispositivo o medio.
Como variante, la portadora podrla ser un circuito integrado en el que va incluido el programa, estando el circuito integrado adaptado para ejecutar, o para ser utilizado en la ejecucion de los procesos correspondientes.
BREVE DESCRIPCION DE LOS DIBUJOS
La Fig. 1 muestra un esquema simplificado de un sistema capaz de efectuar el procedimiento de la presente invencion.
La Fig. 2 muestra una representation simple de la imagen original.
La Fig. 3 muestra la imagen original despues de la detection de las cabezas de los espermatozoides utilizando tecnicas de umbralizacion.
La Fig. 4 muestra una imagen recortada con la cabeza del espermatozoide.
La Fig. 5 muestra la imagen de la cabeza del espermatozoide despues de ser registrada.
La Fig. 6 muestra el procedimiento que se utiliza para el calculo del valor numerico del LBP (Local Binar y Pattern) para un pixel cualquiera.
La Fig. 7A muestra una region de la imagen sobre la que se indican las direcciones consideradas para el caso de 8 vecinos. La Figura 7B muestra la region utilizada en los ejemplos de calculo. Las Figuras 7C y 7D muestran dos ejemplos de calculo del primer elemento del vector de medias y de desviaciones, para la primera direction d1 con orientation 0°, y para el tercer elemento del vector de medias, con orientation 90°.
REALIZACION PREFERENTE DE LA INVENCION
Se describe a continuation un ejemplo de procedimiento de acuerdo con la invention, haciendo referencia a las figuras adjuntas. La Figura 1 muestra un sistema de captura que comprende a un microscopio optico 2, que podrla ser, por ejemplo, un modelo Nikon E50i, donde se dispone la muestra de semen 1. El microscopio optico 2 esta acoplado a
una camara digital 3, como la Basler scoout sc A780, la Basler A312fc u otra, que a su vez esta conectada a medios de procesamiento de datos, por ejemplo un ordenador 4, bien mediante una tarjeta digitalizadora, mediante una conexion FireWire, o bien de la forma que la camara digital 3 requiera para que la imagen capturada llegue al ordenador 4 como una imagen digital. Un archivo de datos de la description 5 permite almacenar los descriptores obtenidos ALBP y los vectores de la media y la desviacion estandar orientadas, y un archivo de datos de la clasificacion 6 guarda los resultados obtenidos en la clasificacion. A continuacion se describe cada paso del procedimiento de la invencion.
1. Adquisicion y preprocesamiento de las imagenes
En primer lugar, siguiendo el esquema presentado en la Figura 1, la muestra de semen 1 que se quiere analizar, se deposita en el microscopio 2 y se ilumina y enfoca apropiadamente para que la imagen aparezca nltida. El sistema se ha evaluado con imagenes y videos tomados a 40 aumentos en contraste de fases negativo, pero el mismo metodo puede funcionar con otras configuraciones. La ventaja de utilizar imagenes tomadas a 40 aumentos es que es mayor el numero de cabezas existentes en la imagen con respecto a las tomadas a 100 aumentos, por lo que se tarda menos tiempo en evaluar los espermatozoides.
Una vez obtenidas las imagenes de contraste de fases se lleva a cabo un preprocesamiento de las mismas. Si la imagen adquirida es una imagen RGB o en color indexado, se convierte a una imagen en escala de grises. Adicionalmente, para mejorar el contraste se realiza un estiramiento del histograma de manera que el rango dinamico de la imagen se corresponda con el rango estatico. Este estiramiento puede consistir en una simple ampliacion del contraste, una ecualizacion, o cualquier otro metodo de ajuste del contraste que se elegira dependiendo del contraste de las imagenes con las que se trabaje. En este ejemplo, el resultado del preprocesamiento es la imagen digital 10 representada de modo simplificado en la Figura 2, a la que se hara referencia como "imagen preprocesada".
2. Segmentation de las cabezas de espermatozoides.
El primer paso a realizar es detectar las regiones de la imagen que contienen una cabeza 11 de espermatozoide. En principio, se puede emplear cualquier metodo clasico de umbralizacion, aunque en el procedimiento de este ejemplo el umbral para la
segmentation se obtiene mediante el metodo de Otsu. Otra option serla calcular el umbral experimentalmente estudiando el resultado obtenido tras realizar la detection sobre algunas docenas de imagenes con distintos umbrales. Aunque podrla automatizarse la busqueda de este umbral empleando relaciones de aspecto (eje mayor/eje menor) de las regiones detectadas, para un tipo de imagen (especie animal, aumentos de la captura, contraste de la imagen) , se considera que es mas operativo que este umbral se establezca a priori, antes de que el sistema inicie su production. Finalmente, se obtiene una imagen segmentada 13 con unas regiones como las mostradas en la Figura 3.
Una vez detectadas las regiones con las cabezas 11 de espermatozoides, se recorta la imagen, dejando como resultado final una imagen recortada 14 con la cabeza del espermatozoide por cada region detectada (Figura 4).
A continuation se registran estas imagenes de cabezas, de forma que todas quedan redimensionadas al mismo tamano, que en una realization preferente de la invention es de 108x63 plxeles y rotadas para que todas tengan la misma orientation. La Figura 5 muestra la Imagen registrada 15 de una cabeza de espermatozoide 11.
3. Description de las imagenes de cabezas segmentadas
Una vez que las cabezas han sido rotadas y registradas, el siguiente paso es aplicar los algoritmos de description de la imagen para obtener un conjunto de vectores de caracterlsticas que las representen. El descriptor utilizado en la presente invention se basa en LBP ("Local Binar y Pattern", patron binario local) uniforme e invariante a rotation, T. Ojala, M. Pietikainen, y T. T. Maenpaa, "Multiresolution gray-scale and rotation invariant texture classification with Local Binar y Pattern, " IEEE Trans. on PAMI 24 (7) , pp. 971-987, 2002.
Para cada pixel, LBP calcula un codigo comparando el nivel de gris de este pixel con los de sus vecinos utilizando la formula:
LBPP, R = lppZb s (gp - gc) 2p, s (x) = {J X < J (1)
donde gc es el valor del pixel central, gp es el valor de sus vecinos, P el numero total de vecinos y R el radio utilizado para determinar el vecindario.
La Figura 6 muestra un ejemplo del procedimiento para la obtencion del valor numerico
para LBP con 8 vecinos y radio 1. El recuadro de la izquierda corresponde a los niveles de gris de un fragmento de la imagen, en concreto 9 pixeles, donde el valor en nivel de gris del pixel central gc es 70, y el valor de los pixeles vecinos gp es, segun el indice p creciente, 3 (p=0) , 18 (p=1) , 120 (p=2) , 112 (p=3) , 72 (p=4) , 68 (p=5) , 32 (p=6) , 6 (p=7). El recuadro central corresponde a s (gp - gc) y el recuadro de la derecha a 2p, de forma que multiplicando los valores de ambos recuadros segun la ecuacion (1) se obtiene LBP:
LBP = 0x1 + 0x2 + 1x4 + 1x8 + 1x16 + 0x32 + 0x64 + 0x128 = 28
El LBP uniforme e invariante a rotation examina el numero de transiciones del patron agrupando en P+1 patrones uniformes diferentes cuando los patrones no presentan mas de 2 transiciones y agrupando el resto de patrones no uniformes en otro grupo:
donde
p-i
LBPffi
= { X S (9p ~ 9c)
p=o
J> + 1
s i U (LBPpR) < 2 en otro caso
p-i
U (LBPpiR) = \s (9p _! - 9c) - s (9q - 9c) \ + ^|s (9p - 9c) - s (9p - i - 9c) |
p=i
Por lo que finalmente se genera un histograma con P+2 elementos.
En 2010, se publico un metodo adaptativo utilizando LBP (Guo, Z., Zhang, L., Zhang, D., Zhang, S.: Rotation invariant texture classification using adaptive LBP with directional statistical features. In: Image Processing (ICIP) , 2010 17th IEEE International Conference on. (2010) 285-288) que se basa en introducir un nuevo parametro o a la formula inicial del LBP para conseguir minimizar la variation de la media y la desviacion tipica en las distintas direcciones de la imagen. Este parametro se obtiene utilizando la formula:
{N M
XXl9c ( iij) - o ' 9p (iJ) |2
i=lj=l donde N y M son el numero de filas y de columnas de la imagen respectivamente.
Asi pues, para obtener el descriptor de una imagen utilizando este metodo adaptativo
basado en LBP (ALBP) , se usa:
p-i
Z ( 1 x > 0 s (gP *a>p- gc) p, s (x) = {0 'x " 0
p=0
Una vez obtenido el ALBP para cada imagen, se obtienen los vectores de las medias y las desviaciones tipicas orientadas cuya dimension sera igual al numero de vecinos escogidos para la obtencion del histograma. Para ello, es necesario obtener las diferencias del valor de gris para las distintas orientaciones a lo largo de toda la imagen. En la Figura 7A se muestra una region de la imagen sobre la que se indican las direcciones d1-d8 consideradas para el caso de 8 vecinos. En el caso de la media, la formula a utilizar es:
donde:
^ LL M-N
( = 1 y=l N y M son el numero de filas y de columnas de la imagen, dp (xc, yc) = \gc -Sp\
y las coordenadas de gp se definen como:
(, yP) = (xc + R cos
np P
, yc - R sin
2np
P
)
siendo "P" el numero de direcciones elegidas, que coincide con el numero de vecinos, y "p" el valor correspondiente a esa direccion, que sera 1, 2,..., P
Analogamente, para calcular la desviacion tipica de las diferentes orientaciones se utiliza la formula:
N M
LLw ij') -^p) 2f (M'N.
La Figura 7B muestra la region utilizada en los ejemplos de calculo de las Figuras 7C y 7D. La Figura 7C muestra un ejemplo de calculo del primer elemento del vector de medias y de desviaciones, para la primera direccion d1 con orientacion 0° (media=25, deviacion=29). La Figura 7D muestra un ejemplo de calculo para la tercera direccion d3
con orientation 90° (media=18, desviación=20).
El descriptor final de cada imagen esta formado por la concatenation del histograma de P+2 elementos obtenido utilizando ALBP y de los vectores de medias y desviacion tlpicas 5 de las diferentes orientaciones, dando como resultado un vector de 3P+2 caracterlsticas. Su forma para 8 direcciones sera:
Descriptor: albpl,..., albp10+ 1v n8 +ax.. _a8 donde el signo "+" indica concatenation.
4. Clasificacion de las imagenes de cabezas segmentadas.
A continuation, el descriptor calculado en la fase anterior, se clasifica utilizando algun algoritmo de aprendizaje supervisado entrenado previamente. Esta clasificacion devuelve para cada vector de caracterlsticas un valor 0 o 1 que determina si el estado del acrosoma del espermatozoide correspondiente es Integra o danado.
