Redes Neuronales

Carlos TrianaJonathan AlvaradoEsteban SifuentesOsvaldo Hinojosa

Control de ventanas del SO por medio de Kinect

Nuestro proyecto trata sobre el control de las ventanas de Gnome por medio de movimientos de la mano, los cuales serán interpretados por Kinect.

El control de las ventanas constará de maximizar, minimizar, modificar el tamaño de las ventanas y moverlas de lugar.

Pre-procesamiento

La primera etapa que realizamos fue la del pre-procesamiento.

Nuestro pre-procesamiento consta de obtener los valores de las coordenadas del movimiento de la mano o el dedo que detecte Kinect.

Luego de obtener los valores, nosotros solo mostramos a la entrada de la red los valores que realmente se necesitan (valor de x1, valor de x2).

Coordenadas pre-procesamiento

Clasificar movimiento

Para esta entrega creamos sólo una capa de la red para con la cual clasificamos si los movimientos son hacia la izquierda o hacia la derecha.

Como entrada a esta neurona utilizamos un arreglo con n coordenadas, cada coordenada consta de un conjunto de coordenadas x,y.

Estas coordenadas x,y son los pixeles en la imagen que detecta el Kinect. Kinect solo detecta una imagen de 640 x 480, comenzando por la esquina superior izquierda y avanzando hacia la derecha.

Para obtener nuestra salida, la cual nos dice si el movimiento es hacia la izquierda o hacia la derecha, se compara con el valor 320 ya que es el valor medio de la ventana.

Por lo tanto si al calcular la sumatoria de las entradas por los pesos el valor obtenido es mayor a 320 es un movimiento a la derecha, si es menor sería clasificado como un movimiento a la izquierda

Desde python mandamos llamar al programa en Processing, luego después que se realiza el movimiento con la mano, processing nos guarda todas coordenadas de los movimientos en un txt, de manera que cuando termina la ejecución del .pde, python entra a ese .txt y los valores de cada salto de línea los pone en un vector de n = 2.

Al final se forman los vectores de entrada con esas coordenadas generadas por processing, y se compara con un valor que nosotros definimos como constante que es la coordenada central de x de los límites de los pixeles en el eje x del kinect.