Sony PlayStation Eye: Playstation Entra a la Realidad Aumentada

En el blog he puesto muchos posts sobre realidad aumentada, es simplemente algo que me apasiona. Sony ha presentado un experimento llamado Playstation Eye, un software que reconoce los rostros de las personas que posan delante de una camara y les asigna caras virtuales en tiempo real.

En el video se puede ver como procesa todos los movimientos, tanto en en plano de arriba, abajo como 3D, ya que reconoce giros, profundidad, determinar el género, diferenciarlo de otros jugadores y hasta si abren o cierran los ojos o la boca. Todo eso viene en la Vision Library de Sony

Para quienes no sepan cómo funciona o qué es la realidad aumentada aquí dejo una explicación:

La realidad aumentada consiste en un conjunto de dispositivos que añaden información virtual a la información física ya existente. Esta es la principal diferencia con la realidad virtual, puesto que no sustituye la realidad física, sino que sobreimprime los datos informáticos al mundo real.

Cómo funciona

Los dispositivos de Realidad aumentada normalmente constan de un “headset” y un

sistema de display para mostrar al usuario la información virtual que se añade a la real. El “headset” lleva incorporado sistemas de GPS, necesarios para poder localizar con precisión la situación del usuario. También incluye sistemas inerciales y ópticos que son capaces de medir características como son la aceleración, la orientación y el ángulo de inclinación. Los dos principales sistemas de “displays” empleados son la pantalla óptica transparente (Optical See-through Display) y la pantalla de mezcla de imágenes (Video-mixed Display). Tanto uno como el otro usan imágenes virtuales que se muestran al usuario mezcladas con la realidad o bien proyectadas directamente en la pantalla.

D.A.R.T. (Designer’s Augmented Reality Toolkit)

El D.A.R.T. es un

sistema de programación que fue creado por el Augmented Environments Lab, en el Georgia Institute of Technology, para ayudar a los diseñadores a visualizar la mezcla de los objetos reales y virtuales. Proporciona un conjunto de herramientas para los diseñadores: extensiones para el Macromedia Director (herramienta para crear juegos, simulaciones y aplicaciones multimedia) que permiten coordinar objetos en 3D, vídeo, sonido e información de seguimiento de objetos de Realidad Aumentada. Incorpora unas paletas de comportamiento (acciones que un sistema informático tiene en respuesta a un estímulo) gracias a las cuales se puede seguir objetos marcados en un vídeo y reaccionar en tiempo real a señales de sensores, como por ejemplo cuando en un vídeo la cámara sigue los movimientos de una persona. EL D.A.R.T. ofrece un marco de trabajo extensible del cual los diseñadores pueden apropiarse: así pues, cualquiera que esté desarrollando una nueva aplicación de Realidad Aumentada puede editar los comportamientos del D.A.R.T. con el fin de adaptarlo a sus propias necesidades.

La Realidad Aumentada debe generar modelos informáticos de lugares y sonidos relacionados con la realidad física, así como determinar la situación exacta de cada usuario, y ser capaz de mostrar al usuario una representación realista del entorno que se ha añadido virtualmente. Es muy importante determinar la orientación y posición exacta del usuario, sobre todo en las aplicaciones que así lo requieran: uno de los retos más importante que se tiene a la hora de desarrollar proyectos de Realidad Aumentada es que los elementos visuales estén coordinados a la perfección con los objetos reales, puesto que un pequeño error de orientación puede provocar un desalineamiento perceptible entre los objetos virtuales y físicos. En zonas muy amplias los sensores de orientación usan magnetómetros, inclinómetros, sensores inerciales… que pueden verse afectados gravemente por campos magnéticos, y por lo tanto se ha de intentar reducir al máximo este efecto. Sería interesante que una aplicación de Realidad Aumentada pudiera localizar elementos naturales (como árboles o rocas) que no hubieran sido catalogados previamente, sin que el

sistema tuviera que tener un conocimiento previo del territorio. Como reto a largo plazo es posible sugerir el diseño de aplicaciones en los que la realidad aumentada fuera un poco más allá, lo que podemos llamar “realidad aumentada retroalimentada”, esto es, que la “descoordinación” resultante del uso de sensores de posición/orientación, fuera corregida midiendo las desviaciones entre las medidas de los sensores y las del mundo real. Imagina un

sistema de realidad aumentada que partiendo de pares de imágenes estéreo obtenidas de dos cámaras solidarias al usuario (head-mounted) y de la posición del mismo, fuera capaz de determinar la posición y orientación exacta del que mira.

Aplicaciones

La Realidad Aumentada ofrece infinidad de nuevas posibilidades de interacción, que hacen que esté presente en muchos y varios ámbitos, como son la arquitectura, el entretenimiento, la educación, el arte, la medicina o las comunidades virtuales.

* Proyectos educativos: Actualmente la mayoría de aplicaciones de Realidad Aumentada para proyectos educativos se usan en museos, exhibiciones, parques de atracciones temáticos… puesto que su coste todavía no es suficientemente bajo para que puedan ser empleadas en el ámbito doméstico. Estos lugares aprovechan las conexiones wireless para mostrar información sobre objetos o lugares, así como imágenes virtuales como por ejemplo ruinas reconstruidas o paisajes tal y como eran en el pasado.

* Cirugía: La aplicación de Realidad Aumentada en operaciones permite al cirujano superponer datos visuales como por ejemplo termografías o la delimitación de los bordes limpios de un tumor, invisibles a simple vista, minimizando el impacto de la cirugía.

* Entretenimiento: Teniendo en cuenta que el de los juegos es un mercado que mueve unos 30.000 millones de dólares al año en los Estados Unidos, es comprensible que se esté apostando mucho por la Realidad Aumentada en este campo puesto que ésta puede aportar muchas nuevas posibilidades a la manera de jugar. Una de las puestas en escena más representativas de la Realidad aumentada es el Can you See Me now?”, *[1] de Blast Theory [2]. Es un juego on-line de persecución por las calles donde los jugadores empiezan en localizaciones aleatorias de una ciudad, llevan un ordenador portátil y están conectados a un receptor de GPS. El objetivo del juego es procurar que otro corredor no llegue a menos de 5 metros de ellos, puesto que en este caso se les hace una foto y pierden el juego. La primera edición tuvo lugar en Sheffield pero después se repitió en otras muchas ciudades europeas. Otro de los proyectos con más éxito es el ARQuake Project, donde se puede jugar al videojuego Quake en exteriores, disparando contra monstruos virtuales. A pesar de estas aproximaciones, todavía es difícil obtener beneficios del mercado de los juegos puesto que el hardware es muy costoso y se necesitaría mucho tiempo de uso para amortizarlo.

* Simulación: Se puede aplicar la Realidad Aumentada para simular vuelos y trayectos terrestres.

* Servicios de emergencias y militares: En caso de emergencia la Realidad Aumentada puede servir para mostrar instrucciones de evacuación de un lugar. En el campo militar, puede mostrar información de mapas, localización de los enemigos…

* Arquitectura: La Realidad Aumentada es muy útil a la hora de resucitar virtualmente edificios históricos destruidos, así como proyectos de construcción que todavía están bajo plano.