Control de un juego mediante la mirada (eye tracking)

Hola a tod@s.

Llevo aproximadamente 3 años trabajando en temas de seguimiento de la mirada (eye tracking o gaze tracking), fundamentalmente colaborando en el desarrollo de un nuevo sistema orientado a personas con discapacidad severa. Este tipo de sistema permite a pacientes de esclerosis lateral amiotrófica, ictus cerebral, etc manejar un ordenador con la mirada (y con ello navegar, escribir, controlar el entorno, etc).

Dado que siempre he querido aprender a programar un videojuego, se me ha pasao por la cabeza juntar las 2 cosas, y desarrollar un videojuego en el que el control se realice con la mirada además de con ratón o pad. Por ejemplo, en un shooter se apuntaría donde estés mirando, lo cual es muchísimo más rápido que el movimiento del ratón.

Me gustaría conocer la opinión de los eolianos sobre la viabilidad de un sistema de control de estas características, si os parece interesante, ideas para posibles juegos, voluntarios para colaborar si la cosa sale adelante XD, etc etc.

Saludos!

PD: esto no sé si va en multiplataforma, si no es así que algún moderador lo mueva a su sitio
No sabría valorarte la viabilidad de un proyecto de esa envergadura... pero eso si, espero ke en un futuro los videojuegos se jueguen asi.
A mi si me parece una gran idea, lo malo k yo no te puedo ayudar nose hacer na de juegos de ellos si se pero en lo del Making off poco.
Y Felicidades por tu trabajo de ayudar a gente la cual no tiene las ventajas que otros tienen
Coño, es la oportunidad de SONY por innovar. PATENTE YA! [jaja]
En juegos como control principal, es poco viable, ten en cuenta que tienes que estar atento a múltiples cosas a la vez, no como pasa en las cámara fotográficas, por ejemplo, que usan esta tecnología; pero en un shooter, si que se puede implementar como lo hacen los cazas, que lo usan como sistema para apuntar.
La implementación en un shooter es la más "directa", vamos la primera que se le ocurre a uno. Lo q pasa es que no lo veo real, ya que el movimiento del ratón con la mano "simula" el tener que mover el arma para apuntar. En cambio, apuntar con el ojo es rapídisimo, por lo que sería un poco hacer trampa :P

Estoy pensando en qué otro tipo de juegos se podría aplicar esta tecnología. Básicamente mi idea es hacer algo muuuuuy simple que demuestre qué se puede hacer (una tech demo vamos XD). Lo q pasa es q mñn me voy pa copenhage 2 semanas (iwal empiezo la tesis allá) y toy un poco espeso.

brigate escribió:Coño, es la oportunidad de SONY por innovar. PATENTE YA! [jaja]

En las becas de sony me han rechazao, así q mucho interés en el tema no tendrán :( Iwal debería mandar el CV a Nintendo [amor]

G. Dragmire escribió:Y Felicidades por tu trabajo de ayudar a gente la cual no tiene las ventajas que otros tienen

Gracias. Yo no he tenido contacto con ningún paciente (investigo en la uni), pero los de la empresa nos cuentan que cuando una persona que sólo puede mover los ojos prueba el sistema por primera vez, se le abren las puertas del cielo.

Venga, un saludo a todos :)
Parece una idea muy buena. Lo que podrias hacer es coger algún juego que sea libre e intentar implementar esa tecnologia.

Al hablar sobre esto me vino a la "cabeza" el siguiente video:

http://www.youtube.com/watch?v=qCSSBEXBCbY&search=pong%20brain
Por curiosidad, ¿el "seguimiento de la mirada" que estudias incluye todo el movimiento de la cabeza o solo el de los ojos?. ¿Qué tipo de interface/sensores usáis para detectar los cambios en la mirada?
User447 está baneado del subforo por "No especificado"
Para que esto funcione tendría que tener disparo continuo. Porque si hay que fijar la mirada X tiempo en el objetivo ya sería una tortura.

Con fuego continuo vas barriendo la pantalla en un shooter clásico, donde pones el ojo pones la bala. Y el doble parpadeo la bomba xD.

Yo creo que este sistema tiene que cansar bastante, no sólo los ojos, sino la mente. La concentración que exige es muy superior a la convencional. Nosotros percibimos un todo a través de la vista y el cerebro decide que es importante en cada momento, lo que permite momentos de desconexión o distracción (como cuando se conduce automaticamente). El utilizar los ojos del modo que se propone requiere siempre participación activa de un modo que ni estamos acostumbrados a usar.

Forzar la vista a fijarse en puntos concretos de modo reiterado y frenético para resolver problemas con multitud de objetos en situacciones de stress va contra natura. Lo suyo es dejar que la mente decida que que es importante de lo que vemos y coordine movimientos corporales de toda la vida, que en el caso del mando es una prolongación de los dedos. Mando que se controla igual que cualquier otra herramienta, que es a fin de cuentas para lo que estamos evolucionados.
Sorry por tardar en contestar, stoy en Copenhagen trabajando en una universidad de aquí durante 2 semanas. Me han ofrecido hacer la tesis aquí... bufff a ver si pongo un post en el rincón :)

Spira escribió:Al hablar sobre esto me vino a la "cabeza" el siguiente video:

http://www.youtube.com/watch?v=qCSSBEXBCbY&search=pong%20brain

En eso está trabajando una chica de mi laboratorio... :-P Parece que es la hostia, pero le queda mucho tiempo para ser utilizable.

dixforz escribió:Por curiosidad, ¿el "seguimiento de la mirada" que estudias incluye todo el movimiento de la cabeza o solo el de los ojos?. ¿Qué tipo de interface/sensores usáis para detectar los cambios en la mirada?

Lo q yo hago es solo seguimiento de la mirada. Algunos sistemas siguen también la cabeza, de manera que si el usuario se mueve, se mueve la cámara para seguirle, pero eso es muy costoso.

Nosotros utilizamos una camara con un filtro en el infrarrojo, y se ilumina al usuario con dos iluminadores de LED infrarrojos, de manera que se puede detectar la pupila y dos destellos producidos por los LEDs. La luz de los LEDs es totalmente invisible, por lo que el usuario ni se entera.

User447 escribió:Para que esto funcione tendría que tener disparo continuo. Porque si hay que fijar la mirada X tiempo en el objetivo ya sería una tortura.

No tiene porqué, para jugar se puede apuntar con la mirada, pero disparar haciendo click con el ratón.

Sobre tu otro comentario, cuando uno está jugando generalmente está muy concentrado (en shooters me refiero, en los sims no :P). No creo q sea muy problemático utilizar la mirada como un sistema de control más, siempre ayudado por un ratón, pad, revomando, etc. La cuestión es encontrar un modo de empleo que sea cómodo y usable.

Tendré que seguir dándole vueltas al tema :)

Saludos y gracias!
Una solución casera sería emplear el TrackIR y usar en uno de los ojos una lentilla con el material reflectante que recoge dicho aparato.

http://www.naturalpoint.com/trackir
10 respuestas