Por John Tyrrell
Introducción
Finding BBB* es un juego premiado en la competencia Perceptual Computing Challenge de Intel®. Lo creó TheBestSync, un estudio de desarrollo de aplicaciones con sede en Cantón (China). Finding BBB combina las funcionalidades de la tecnología Intel® RealSense™ (incluido el reconocimiento de rostro, gestos y voz) con la posibilidad de personalizar el juego y de que el jugador cree misiones, conectividad con Facebook* y servicios basados en la localización. Esta amalgama de elementos brinda lo que a criterio de TheBestSync es una experiencia de usuario innovadora e intuitiva.
Figura 1: Los jugadores usan gestos para dirigir la abeja por el entorno tridimensional.
Finding BBB es un juego interactivo social freemium que amplía y perfecciona lo que el estudio había incorporado en sus juegos anteriores BBB GOAL* y JOY*. JOY ganó el Gran Premio de la Fase del Intel® Perceptual Computing Challenge. Si bien el juego se centra en la implementación de la interfaz de usuario del SDK de Intel® RealSense™, el equipo de TheBestSync también brinda la posibilidad de controlarlo del modo tradicional con mouse y teclado, o mediante una interfaz táctil. Los motivos de esto último son dos: el primero es que el reconocimiento de gestos y voz todavía no se usa mucho en el sector de los videojuegos y hay una buena proporción de jugadores a los que no les resulta familiar; en segundo lugar, porque es importante ofrecer diferentes opciones. Los jugadores también pueden usar varias modalidades en paralelo y eso les da una gran libertad en cuanto a la manera de jugar.
Figura 2: Además de gestos, el jugador puede usar el teclado si lo desea.
Optimizaciones y dificultades
Control por medio de gestos
Una de las partes más importantes del trabajo de optimización que llevó adelante el equipo se relacionó con la interpretación de los datos proporcionados por el SDK de Intel RealSense. Descubrieron que el altísimo nivel de sensibilidad y precisión de la cámara 3D Intel® RealSense™, y la precisión y la velocidad de los datos resultantes, creaba una situación inesperada: el más ligero movimiento natural de la mano se interpretaba como un movimiento a veces innecesario del personaje del juego. Para reducir estos movimientos adicionales, el equipo creó un filtro que limitaba la frecuencia de muestreo del flujo de datos y de ese modo suavizaba los movimientos de la mano que el SDK de Intel RealSense enviaba al juego. En última instancia, con esta solución se estabilizaron los movimientos de los personajes en la pantalla hasta un grado aceptable para el jugador y satisfactorio desde el aspecto visual en el contexto del entorno del juego.
Figura 3: A los jugadores se les indica paso a paso cómo usar los controles por gestos.
Otra sorpresa que apareció durante el proceso de pruebas fue que el sistema que el equipo había implementado para controlar el personaje de la abeja dentro del juego les creaba algunas dificultades a los jugadores que no estaban acostumbrados a la combinación de un entorno tridimensional y el control por gestos. El equipo lo atribuyó a que los jugadores estaban más habituados a usar controles 2D por mouse en los cuales solo se tenían en cuenta los ejes x e y. El agregado del eje z en el contexto de la interfaz de control por gestos 3D hizo que algunos usuarios tuvieran inconvenientes para establecer su posición, y se movían hacia atrás o hacia delante, giraban o hacían otros movimientos en el entorno tridimensional.
Con el fin de mejorar la experiencia del usuario, se buscó reducir la dificultad de aprendizaje de los controles. La manera en que lo hicieron fue con la implementación de un proceso paso a paso para adentrarse en el esquema de controles 3D. En las primeras etapas del juego se utilizan controles 2D, con la idea de ir acostumbrándose a los gestos básicos antes de que se agregue el eje z. Estas etapas de adaptación demostraron ayudar a los jugadores a dominar los controles y divertirse con el juego.
Servicios basados en la localización
TheBestSync también mejoró la realidad inmersiva y aumentada de Finding BBB: recreó dentro del juego las condiciones climáticas y los ciclos de día y noche del mundo real. Al integrar OpenWeatherMap API, que se conecta al juego por JavaScript*, se adquieren para cada jugador datos sobre el tiempo y la hora del día específicos de la zona geográfica. Estos factores se reflejan en el universo del juego en tiempo real. Si está lloviendo, está nublado o es de noche en las inmediaciones de donde se encuentra el jugador, Finding BBB lo reproduce dentro del juego.
Figura 4:En el mundo del juego se representan las condiciones meteorológicas del mundo real, como la lluvia.
Reconocimiento de voz
El reconocimiento de voz del SDK de Intel RealSense se emplea en las pruebas de deletreo que exigen decir palabras en voz alta para completar misiones. El juego contiene varias palabras predefinidas (por ejemplo, “NAME”) cuyas letras se exhiben desordenadas en la pantalla. El jugador tiene que dilucidar cuál es la palabra y decirla en voz alta. La funcionalidad de reconocimiento de voz detecta si el jugador dijo la palabra correcta.
Se ofrece la posibilidad de crear versiones propias de esta prueba y compartirlas con amigos.
Figura 5: Los jugadores tienen que superar pruebas de deletreo con la funcionalidad de reconocimiento de voz.
Reconocimiento facial
En Finding BBB, los jugadores toman fotos de sí mismos y asignan las imágenes al personaje de la abeja que ellos controlan en el universo del juego. TheBestSync considera que esta integración del usuario en el mundo del juego es una forma de realidad aumentada, una especialidad muy relacionada con los orígenes de esta empresa. El objetivo final de Finding BBB es que el jugador se convierta en el héroe del juego.
Figura 6: Gracias al reconocimiento facial, el jugador puede poner su rostro al personaje de la abeja.
Funcionalidad social
Como las relaciones sociales entre los jugadores son importantes en la experiencia general del juego, Finding BBB utiliza la API de Facebook, y emplea su entrada al sistema y la lista de amigos de Facebook de cada jugador. Sin embargo, en China, donde Facebook está bloqueado, el juego usa una funcionalidad similar de las redes sociales WeChat* y Viber*. Debido a la imposibilidad de acceder directamente a Facebook de manera local, el equipo usó una VPN para tener una dirección IP que no fuese China y de ese modo probar la funcionalidad de conexión a Facebook. Aunque esto puede reducir la velocidad de conexión en comparación con el acceso local, el uso de una VPN es una solución sencilla para este problema.
Figura 7: La funcionalidad de conexión con Facebook* ofrece a los jugadores la posibilidad de comunicarse y compartir con sus amigos por internet.
Pruebas y análisis con Intel® VTune™ Amplifier
Finding BBB comenzó a probarse en la etapa de prototipo. Unos 40 desarrolladores de aplicaciones de la empresa dieron sus opiniones al equipo básico de desarrollo. El equipo de investigación del SDK de Intel también envió con regularidad sugerencias sobre las pruebas, al igual que un experto en juegos y un ingeniero del equipo de investigación y desarrollo de Intel en Shanghái. TheBestSync utilizó Intel® VTune Amplifier como herramienta importante para someter a prueba y administrar la asignación de recursos de sistema de Finding BBB, con la meta de optimizar el rendimiento de la CPU y la GPU. Esto implicó ayudar al juego a decidir de manera precisa cuándo activar los subprocesos múltiples que pudiese haber disponibles. Una vez superada la etapa de prototipo, el equipo invitó a amigos que no formaran parte del departamento de desarrollo de TheBestSync para que participasen en las pruebas.
Después de las pruebas y análisis, el equipo halló que las enormes escenas tridimensionales que habían creado, que se representaban en tiempo real, entraban en conflicto con la asignación de recursos que exigía el SDK de Intel RealSense. La consecuencia era una caída en el rendimiento que se manifestaba como reducción de la velocidad de fotogramas en el hardware de destino del procesadorIntel® Core™ i5 a 15 fotogramas por segundo (fps), considerablemente menos que la meta de 30 fps. Para solucionar este problema, el equipo modificó el código de modo de asignar los recursos de manera más razonable a la CPU y la GPU. Como resultado, el rendimiento fue notablemente mejor y se logró una velocidad de fotogramas estable de 30 fps en una amplia variedad de dispositivos, incluidos aquellos no tan potentes.
Los siguientes pasos para Finding BBB
Finding BBB ha cristalizado la visión de TheBestSync de un juego interactivo social que emplee todas las funcionalidades básicas de la tecnología Intel RealSense. Sin embargo, el equipo ha identificado aspectos mejorables del juego. A pesar de ya haber hecho cambios importantes para que lleve menos tiempo aprender a manejar los controles, TheBestSync cree que navegar el entorno 3D podría ser aún más sencillo y accesible. El objetivo es que cualquiera, sin importar la edad, comience a jugar y disfrute de la experiencia con muy poca ayuda. Este aspecto de facilidad de uso es lo que el equipo sigue buscando perfeccionar.
La realidad aumentada y la realidad virtual son dos de las especialidades en que se destaca TheBestSync, y el equipo cree en las posibilidades de combinar la tecnología Intel RealSense con tecnologías de realidad virtual como Oculus Rift. La empresa está convencida de que si introduce una interfaz de control intuitiva y natural en el campo de la realidad virtual, puede crear una experiencia inmersiva a un grado sin precedentes. El jugador podrá aprovechar la realidad virtual para “sentir” el juego mientras usa la tecnología Intel RealSense para controlarlo. Otra aplicación factible de esta combinación de tecnologías es la creación de videos navegables representados en 3D que se puedan mirar y manipular en 360 grados.
Desde que empezó a trabajar con RealSense hace dos años, TheBestSync ya ha visto cambios considerables en el panorama de la comunidad de desarrolladores. Cuando participó en el Intel Perceptual Computing Challenge con JOY, solo unos pocos desarrolladores conocían la existencia de RealSense. Desde entonces, la participación de esta comunidad ha ido aumentando a un ritmo sensacional. El interés se ha esparcido a varias universidades que quieren conocer más acerca de la capacidad y el potencial de esta tecnología. Como consecuencia de este interés y de la experiencia de primera mano de la empresa con esta tecnología, hay mucho entusiasmo en TheBestSync acerca de su potencial a futuro.
Acerca del desarrollador
TheBestSync se fundó en Cantón (China) en 2011. Su director ejecutivo es Alpha Lam. Desde sus inicios, la empresa ha dirigido sus esfuerzos al desarrollo de productos que aprovechen las tecnologías de realidad aumentada e informática perceptual para ofrecer experiencias innovadoras a los usuarios. Al comienzo, sus productos estaban diseñados para las plataformas móviles iOS* y Android*, y luego pasaron a las plataformas Windows*. En la actualidad, está apostando al desarrollo de software y hardware interactivos que empleen de manera innovadora la tecnología Intel RealSense, como por ejemplo la máquina cazamuñecos “Fun Cap” con RealSense, que se mostró durante la nota clave del Foro de Desarrolladores Intel 2014. Está diseñando sus productos para la inminente ola de dispositivos basados en la tecnología Intel RealSense, que incluirá PC, computadoras portátiles, tabletas y Windows Phone*.
TheBestSync también ha establecido relaciones con muchos fabricantes de equipos originales, incluidos Lenovo, Haier, Acer, HP y Dell, con el objetivo de que sus aplicaciones vengan precargadas en los dispositivos Windows*. Anteriormente, la empresa creó una aplicación que se servía de la realidad aumentada y que venía incorporada en el equipo portátil Lenovo X1 Carbon* al momento del lanzamiento. BBB GOAL, su aplicación más reciente, es una de las que vendrán precargadas en dispositivos de próxima aparición equipados con la tecnología Intel RealSense, algo que la empresa espera repetir con Finding BBB.
TheBestSync, siempre en busca de innovar, está promoviendo el uso de redes sociales como Facebook y WeChat (en China) como plataformas de pago de aplicaciones, a la vez que investiga el papel que desempeña la Internet de las Cosas en los productos que está desarrollando. El lanzamiento de Finding BBB está previsto para el segundo trimestre de 2015 en dispositivos con Windows 8 y cámara 3D Intel RealSense integrada. TheBestSync comercializará el juego por dos vías: trabajará con fabricantes de equipos originales para que sus aplicaciones vengan preinstaladas en los dispositivos con Intel RealSense, y también ofrecerá la aplicación por sí sola en la Tienda Windows.