Reconocimiento gestual para la interacción hombre-máquina

Un sistema de reconocimiento gestual con funcionalidad de tiempo real ha sido desarrollado por investigadores de la Universidad Politécnica de Madrid para mejorar la interacción entre las personas y las máquinas.

04.10.19

Investigadores del Grupo de Tratamiento de Imágenes (GTI) de la Escuela Técnica Superior de Ingenieros de Telecomunicación (ETSIT) de la Universidad Politécnica de Madrid (UPM) han desarrollado un sistema de reconocimiento gestual basado en el uso de información visual mediante el uso del sensor Leap Motion con el objetivo de permitir una interacción hombre-máquina más intuitiva.

Debido al aumento en el número de dispositivos electrónicos con los que es posible interactuar, se ha incrementado el número de trabajos que proponen nuevos métodos de interacción. La mayoría de las soluciones se basan bien en el uso de la voz o de la interacción mediante gestos corporales ya que, en ambos casos, son formas de interacción habituales entre humanos. En el caso de la interacción gestual, se proponen distintas alternativas como puede ser el uso de guantes, sensores hápticos o el uso de información visual.

Los investigadores de la UPM Tomás Mantecón, Carlos Roberto del Blanco, Fernando Jaureguizar y Narciso García, autores de este proyecto han propuesto una solución que se basa en el reconocimiento gestual utilizando imágenes obtenidas mediante el uso del sensor Leap Motion. Este sensor está especialmente pensado para su uso en la interacción hombre-máquina ya que es pequeño y diseñado para funcionar tanto sobre una mesa para la interacción en un entorno más convencional, así como sobre gafas de realizada virtual. Este dispositivo proporciona imágenes infrarrojas que,  además, tienen la propiedad de tener más iluminados los objetos más cercanos, esto reduce considerablemente la información del fondo que no es relevante en el proceso de reconocimiento gestual.

En el trabajo se presenta un sistema capaz de distinguir entre distintos gestos tanto estáticos como dinámicos en un tiempo de unos milisegundos. Este rápido proceso de reconocimiento permite que el tiempo que transcurre entre la realización del gesto y la respuesta del sistema sea suficientemente baja para obtener una buena sensación en el proceso de interacción. Este estudio ha dado lugar a la publicación del artículo "A real-time gesture recognition system using near-infrared imagery" en la revista científica norteamericana Plos One.

Aparte del desarrollo del sistema de reconocimiento, se ha creado la base de datos “Multi-modal Leap Motion dataset for Hand Gesture Recognition” que consta de  diversos gestos con el objetivo de comprobar la adecuación del sistema. Dicha base de datos puede servir como idea de los posibles gestos que pueden llevarse a cabo en un proceso de interacción hombre-máquina.

Este sistema se puede utilizar en un entorno más profesional para la interacción con robots, ordenadores, en entornos de realidad virtual o realidad aumentada, así como en entornos de domótica para permitir una interacción con los diversos dispositivos de un hogar conectado.