La Realidad Aumentada usada para rehabilitación

Entradas etiquetadas como “Realidad Aumentada

Realidad Aumentada con dos o mas markers

Quiero usar mas de un marker, ese ha sido el objetivo desde que empecé el proyecto, estando en su fase final de desarrollo, voy a intentar explicar que pasa cuando quieres usar mas de un marker.

Crear una aplicación de Realidad Aumentada con un sólo marker no tiene mucha dificultad, ese tema ya lo traté en otra entrada: Primer desarrollo en Realidad Aumentada.

El problema viene cuando quieres crear una aplicación que use dos o mas marcadores, así como distintas figuras, después de volverme loco y darle mas que vueltas no terminaba de ver como podía programa FlartArtToolkit para ello, hasta que encontré la solución, la solución viene dada por una librería llamada FLARManager.

Una vez encontrada la herramienta, tan sólo faltaba encontrar algunos manuales para poder usarla. Desde aquí os recomiendo el manual del vídeo.

El enlace está en inglés y es el siguiente: Tracking multiple augmented Reality Markers with FLARManager and Papervision. Para aquellos que el inglés no sea vuestro fuerte, estaros tranquilos ya que viene muy bien explicado con código e imágenes.

Para aquellos que queráis descargar el FLARManager, esta es su web oficial FLARManager, entre las ventajas del uso de esta librería están:

– Soporte librerías de seguimiento (tracking libraries) incluyendo:

-Soporte 3D frameworks incluidos:

Otro manual en vídeo es el siguiente.

FLARManager

Enlace al vídeo: Augmented Reality with FLARManager – Learn how to use the FLARManager library to make creating AR applications a breeeze.

Espero que este mini manual os ayude tanto como me ayudaron a mi estas webs.


Crear marcadores

Uno de los procesos a hacer es crear nuestros propios marcadores o markers en inglés. Un marker no deja de ser un código de barras bidimensional, similar a los Códigos QR habituales de los móviles.

Este marker es el que viene con el FlarToolKit Starter Kit de Saqoosha (que comentamos en la entrada anterior) pero he decidido crear mis propios marcadores.

Para generar nuestro marker, hemos creado una base con el programa de edición gráfica GIMP, para aquellos que no le conozcáis tan sólo deciros que es la versión de código libre y gratuita similar al  AdobePhotoshop. El Gimp lo podeís descargar desde aquí.

Esta es la base sobre la que vamos a trabajar.

marker_blanco_proyecto_rehabilitary una vez que tenemos la base es muy fácil modificarla con el Gimp y crear otros marcadores.

Como por ejemplo los siguientes.

– con una letra C de conocer por ejemplo


– con las letras AR, siglas de Augmented Reality (Realidad Aumentada)

– con la webcam que tenemos en el logotipo

– con la H de Hospital que tenemos en el logotipo,

pero este último caso no es recomendable, ya que le veo dos problemas:

  1. La figura era simétrica, y de esa forma el programa no sabe cual es la parte superior o inferior del marker, para solucionar esto he añadido los cuadrados negros en la parte inferior derecha
  2. Al ser un color azul, el programa de captura lo reconoce como si fuese un gris tenue.

Una vez que tenemos los marcadores, lo único que tenemos que hacer es hacer clic aquí, y entraremos en la aplicación Marker Generator Online 2.

Su uso es muy sencillo, abrimos el programa y seleccionamos el modo “Load marker image”, para coger con este método las imágenes desde nuestro ordenador sin necesidad de imprimirlas.

Seleccionamos nuestro archivo y pulsamos Open.

Se carga el archivo y el programa lo reconoce (línea roja alrededor del cuadrado).


Pinchamos en Get Pattern, captura nuestra imagen (línea color verde) y nos muestra como quedará el fichero binario que va a usar la aplicación.


Ahora tan sólo nos queda hacer clic sobre Save Current y así obtenemos el fichero binario con nuestro marcador gracias a ARToolKit Marker Generator.


Primer desarrollo Realidad Aumentada

Para desarrollar mi Proyecto Fin de Carrera basado en Realidad Aumentada (Augmented Reality en inglés) no sabía bien por donde comenzar, y tras estar investigando decidí que lo mejor era desarrollarlo en ActionScript 3.0, un lenguaje orientado a objetos desarrollado por Adobe, aquí podemos encontrar la documentación de ActionScript. Para comenzar a desarrollar la idea lo mejor es empezar a cacharrear con algo existente, y por ello seguiremos varios puntos y de esa forma nuestros primeros pasos llegarán a buen puerto. Para este desarrollo se recomienda experiencia en lenguajes de programación. A continuación os pongo un mini manual para saber por donde comenzar en Realidad Aumentada. 1- Recomiendo descargar las siguientes librerías, ya que las vamos a necesitar.

  • FLARToolkit: La base de la realidad aumentada, desarrollada por Saqoosha, se encarga de reconocer los markers (marcadores) mediante el uso de la webcam.Podéis descargarlo desde aquí.
  • Papervision3D: Esta otra librería es el motor gráfico para que se vean nuestros desarrollos en 3D.Podéis descargarlo desde aquí.
  • FLARToolKit Starter Kit: Ejemplos básicos de Realidad Aumentada, con los que empezar a conocer el funcionamiento. Podéis descargarlo desde aquí.

2- Una vez descargadas las librerías, deberemos imprimirnos el siguiente archivo flarlogo-marker.pdf, que es una imagen como la anterior, este archivo está incluido en la carpeta Data dentro de la librería FLARToolKit Starter Kit. 3- Posteriormente, comprobar lista de programas instalados, en una entrada anterior comenté los diversos programas que vamos a necesitar. Así que le echaremos un ojo a los programas necesarios. 4- Una vez instalados todos los programas, nos pondremos con las manos en la masaa crear nuestra primera aplicación. Para orientarme estuve consultando multitud de webs, pero sin ver nada que me pudiese enseñar por donde comenzar, hasta que encontré un varios videotutoriales donde nos van explicando poco a poco los primeros pasos.

  • Estupendo videotutorial en español, por tanto no vamos a tener ningún problema. Agradecer a Zoix, desde aquí su ayuda y colaboración para saber “por donde me daba el aire”.
Para mas detalles del vídeo, pulsa aquí.
  • Otro videotutorial para desarrollar nuestra primera aplicación en Realidad Aumentada, pero esta vez en inglés (se entiende muy bien), enlace aquí.
Espero que os sirva de ayuda este mini manual.

Programas necesarios para crear aplicación AR

Tras llevar un tiempo sin colgar nada aquí, es hora de ir contando mis progresos, pero hoy simplemente vamos a ir contando los programas que he visto necesarios para hacer un ejemplo básico de Realidad Aumentada programado en ActionScript.

Estos programas en mi caso están descargados para Windows 7 64 bits, en algún programa para otros sistemas operativos, Linux o Mac existirán alternativas.

Programas necesarios en orden de uso:

3DStudio Max: Para diseñar las figuras que queramos, se puede descargar desde el portal Education en la web de Autodesk si eres estudiante. Se pueden usar otros como Maya o Blender para diseñar, esto ya es opción de cada uno. Enlace portal Autodesk Education Community

OpenCollada: Plugin para 3D Studio Max, Maya o Blender que nos permite exportar nuestras creaciones. Podéis descargarlo desde aquí.

Notepad ++: Un editor de texto que soporta diferentes lenguajes de programación. Podéis descargarlo desde aquí. También disponible en versión portable.

Adobe Flash Player: Es aconsejable tener la última versión del plugin para evitar problemas cuando hagamos pruebas. Se puede descargar desde aquí.

Marker Generator Online2: Aplicación Flash para la creación de los marcadores. Podéis descargarlo desde aquí.

Adobe Flash Builder 4: Lo vamos a usar para compilar y editar el código. En mi caso me lo he descargado acreditando que soy estudiante. Podéis descargarlo desde aquí.

Es de agradecer que para crear una aplicación como la nuestra no hemos tenido que desembolsar ni un Euro en estos programas, ya que siendo estudiantes nos permiten descargarlo de forma gratuita.


Mas ideas de Realidad Aumentada

Estas tres últimas semanas no he publicado nada, pero sin embargo he ido guardando noticias relacionadas con la realidad aumentada, así que os las muestro a continuación, os aviso de antemano que alguna no tiene pies ni cabeza pero es el uso de la tecnología lo que me interesa.

  • Novia virtual:

Lo de encontrar novia debe ser muy complicado en algunas partes del planeta, por ello en Japón Nintendo ha desarrollado un juego para que puedas tener tu propia novia, pero virtual.

Para mas detalles de este tema, pulsa aquí

  • Diseña tu propio circuito de carreras con latas de refrescos

Si dispones de un Iphone, Ipod o Ipad te puedes descargar en el siguiente enlace (RedBull Augmented Racing) una aplicación (73 MB) que captura la posición de las latas de esta compañía (no pretendo hacer publicidad) y luego te permite jugar a carreras de coches con el circuito diseñado

El vídeo he intentado ponerlo en el blog, pero el código no funciona del todo, así que este es el enlace del vídeo

Otro vídeo que he encontrado:

  • Curriculum Vitae en Realidad Aumentada

El siguiente enlace me le suministró mi tutor, y la idea es interesante, mediante una etiqueta que la gente pueda ver tu CV contándolo por ti mismo en vídeo, la información mas detallada aquí


Mas juegos de realidad aumentada

Navegando he encontrado mas proyectos similares, ambos dos muy interesantes, esta información ha sido sacada del siguiente enlace: Videojuegos accesibles


Proyecto similar

Navegando por Internet buscando información sobre proyectos de realidad aumentada di con una página que da exactamente en el clavo con lo que yo quiero hacer en mi proyecto, crea una aplicación de realidad aumentada para la rehabilitación de personas.

El siguiente vídeo es creación de Mario Morales Moreno y podemos encontrar mas información acerca del vídeo en su blog.

Mario en su blog nos cuenta que Giuseppe Masciopinto se puso en contacto con él para ayudarle con la realización de juegos destinados a la rehabilitación de personas con problemas psicomotrices. Si entramos en la web de Giuseppe, encontramos juegos como el siguiente:

Este tipo de juegos están disponibles para su descarga en la siguiente web, haz clic aquí , con licencia Creative Commons Reconocimiento – CompartirIgual (by-sa)


Proyecto Fin de Carrera

Tras comenzar la carrera años atrás en la Universidad de Burgos (UBU), deseaba que llegase el momento de enfrentarme a mi último reto de la carrera, ni más ni menos que el Proyecto Fin de Carrera (a partir de aquí lo denominaré PFC), tras examinar varios proyectos decidí encaminarme por uno que me ofreció Pedro Sánchez ya que me pareció interesante y novedoso, tenía como nombre Realidad Aumentada orientada a la Rehabilitación, tenía un nombre exótico y a la vez confuso, cuando salí de su despacho la primera vez mi cabeza era una nube de ideas confusas que se entremezclaban entre ellas,  para empezar ¿que era eso de realidad aumentada en realidad? Pedro había comentado que por una parte teníamos la realidad virtual (al estilo  Second Life recordé yo) y por otra parte está la realidad física, esa realidad tangible que vivimos a diario, lo que yo no esperaba era una mezcla entre ambas que es lo que se denomina Realidad Aumentada.

La Realidad Aumentada es una forma de generar una imagen virtual en un entorno real, para ello se usa una cámara (se pueden usar distintos tipos como webcam, la cámara del móvil, consolas, …)  y se suele usar un código de barras bidimensional (a partir de aquí lo llamaremos simplemente bidi) que usa el programa para asociar el bidi con una imagen 3D.

Wikipedia lo define de la siguiente forma:

La realidad aumentada (RA) es el término que se usa para definir una visión directa o indirecta de un entorno físico del mundo real, cuyos elementos se combinan con elementos virtuales para la creación de una realidad mixta a tiempo real. Consiste en un conjunto de dispositivos que añaden información virtual a la información física ya existente. Esta es la principal diferencia con la realidad virtual, puesto que no sustituye la realidad física, sino que sobreimprime los datos informáticos al mundo real.

Una vez hecha la introducción vamos a ver de forma gráfica lo comentado anteriormente.

Ejemplo de bidi:

A pesar de haber leído bastante documentación al respecto cuando llegué a casa, la forma mas clara de entender realmente en que consiste la realidad aumentada (augmented reality en inglés, sus siglas son AR) fue con un vídeo, ya sabéis el dicho “una imagen vale mas que mil palabras”, pues en este caso como ejemplo una secuencia de imágenes.

Tras ver en que consistía la realidad aumentada (la llamaremos en adelante por las siglas RA), nuestro PFC tratará de implementar la RA en un programa para seguir los tratamientos de rehabilitación de pacientes. La idea es que el paciente realice ciertos ejercicios frente a una webcam que monitorice sus movimientos y los vaya registrando en una base de datos, de tal forma que la siguiente vez que el paciente vuelva a hacer esos mismo ejercicios podamos comparar los ejercicios actuales y los anteriores y podamos deducir si el paciente está mejorando o empeorando en cuestiones de movilidad.

La dirección web  que hemos creado vendría de “rehabilita” y las siglas de realidad aumentada en ingles “AR”, quedando la suma de ella como “Rehabilit-AR“. Espero que pueda ser fácil de recordar.

Ahora nos queda un largo camino por delante…