Interacción tangible PEC4 – Proyecto de interacción tangible (desarrollo)

Piano con arduino

 

 

 

Design thinking

 

Fase 1: empatía

Imagina que eres un artista especializado en diseño de interacción tangible de reputación internacional y un centro de producción de artes visuales te invita a realizar una residencia artística para que desarrolles un proyecto libre con Arduino y el software que quieras. Plantea un proyecto adecuado para este contexto en el que predomine resolver un problema, ya sea personal, social, ambiental, económico, empresarial…

Fase 2: definir

En mi caso voy a usar mi prototipo de la PEC2 al que voy a orientar en la siguiente manera: un teclado para niños con el que puedan asociar sonidos con colores y notas musicales.

El proyecto se centra en niños que muestren cierto interés en la música. Con este piano diseñado con Arduino, les será más fácil aprender los sonidos diferentes notas musicales y asociarlos con colores para recordarlas mejor. Al prototipo de la anterior PEC habría que añadirle más complejidad y profundidad.

Fase 3: idear:

Mi lluvia de ideas fue la siguiente:

– Integrar el prototipo con processing y que se muestre una partitura donde se dibujan las notas tocadas con su color correspondiente.

– Diseñar una tapa como si fuera un teclado para ocultar la placa y que sea visualmente más atractivo para los niños. Tener en cuenta la orientación de los botones, puede que tenga que invertir los valores.

A lo que hay que añadir las ideas que tuve en la PEC2:

– Posible integración con processing para reproducir un color o un texto asociado.

– Que se guarden las notas y que con otro botón se vuelvan a reproducir como si fuera una canción grabada.

– Añadir un botón para el modo “Simón dice”.

Y las ideas que se me fueron ocurriendo durante la realización de la PEC:

 – Añadir el tiempo que el usuario tiene pulsado el botón.

– Borrar la canción una vez reproducida.

– Editar los colores de las notas para que sean más diferenciados.

– Pintar cada botón físico con el color del LED cuando se pulsa.

Fase 4: prototipar

En este segundo prototipo voy a añadir el código para el botón de reproducir las notas tocadas y empezaré la integración con processing. De momento descarto la idea del «Simón dice».

En la primera versión del prototipo conseguí guardar las notas del usuario, pero tuve que rellenar el array cancion[] con NULL para evitar notas falsas y de paso lo usé para hacer break del for loop si hubiera menos de las 10 notas máximas que guarda.

En la segunda y última versión, conseguí un timer correcto para que los tonos no se solaparan y sonaran más armónicos y añadí el borrado de la canción después de reproducirla.

En el siguiente prototipo introduciré la conexión con processing y mejoraré el diseño visual.

En la tercera versión, con ayuda de mi padre, diseñamos unos cajoncitos que servían para guardar algunos cables extra y como soporte para las patas del piano. Pegamos todo con masilla y lo dejamos secar 1 día. El objetivo de esta iteración era un prototipo con la parte frontal despejada.

En la cuarta iteración diseñé el exterior del prototipo para que se pareciera a un piano e invertí el orden de botones[] en el código de arduino para que las frecuencias fueran en escala ascendente de izquierda a derecha.
Para la quinta iteración empecé a trabajar en la integración con processing. El prototipo físico ya está acabado. 

Fase 5: probar

Empecé haciendo las ediciones en el código del proyecto de tinkercad. Implementé varias variables nuevas para este botón.

Una vez estuve contenta con los resultados de la primera versión y comprobé que se guardaba correctamente, importé el código a la placa para verificar el resultado real.  Me di cuenta que la duración de las notas hacía que a veces se solaparan entre sí.

En la segunda versión del prototipo conseguí arreglarlo, añadí el borrado de la canción y edité los colores. Exporté el código de tinkercad a IDE y a mi placa Arduino para pruebas.

Para la siguiente iteración en la próxima PEC, editaré el exterior de la placa y moveré el buzzer y el LED de sitio con cables puente y diseñaré la parte de processing.

En la tercera versión, una vez seca la masilla, moví el piezo de sitio y, usando cable de cocodrilo, mantuve las conexiones existentes. Coloqué el buzzer en la parte inferior del prototipo y probé si seguía funcionando correctamente. Al comprobar que sí, fije todo con ductape. Repetí un proceso parecido para las conexiones del LED RGB.

En la cuarta versión, trabajé con cartulina, papel de calcar y pegatinas para hacer la cubierta exterior. Probando los distintos botones me dí cuenta que el LED no hacía el color azul así que tuve que abrir la «cúpula» y reajustar los cables para que volviera a funcionar correctamente. Cambié los colores de las notas para que se ajustaran a las pegatinas.

En la quinta iteración, ví un par de vídeos y tutoriales de cómo conectar arduino con processing. Lo que más me ayudó fueron estos dos: https://www.youtube.com/watch?v=EQugLcDoaOQ&ab_channel=ChepeCarlos. y https://stackoverflow.com/questions/67341715/processing-ide-doesnt-read-data-right-from-serial

Empecé con una interacción simple: cambiar de color el fondo de la ventana de processing al mismo que la LED de arduino.

Conseguí conectarlos usando serial.write(i) en vez de serial.println(i) en arduino mandé el botón activado a processing. Hice una pequeña prueba cambiando el fondo de color.

Una vez entendí cómo funcionaba la comunicación, hice los distintos casos como if… else if… y empecé a trabajar en el código de processing.

En la sexta y última iteración cambié el código para que fueran las notas las que cambiaran de color y de forma y añadí el nombre de cada una en la parte inferior. Limpié el código con una función y añadí que el fondo cambiara a gris durante la reproducción.

Interacción tangible PEC3 – Proyecto de interacción tangible (conceptualización)

Piano con arduino

 

Design thinking

 

Fase 1: empatía

Imagina que eres un artista especializado en diseño de interacción tangible de reputación internacional y un centro de producción de artes visuales te invita a realizar una residencia artística para que desarrolles un proyecto libre con Arduino y el software que quieras. Plantea un proyecto adecuado para este contexto en el que predomine resolver un problema, ya sea personal, social, ambiental, económico, empresarial…

Fase 2: definir

En mi caso voy a usar mi prototipo de la PEC2 al que voy a orientar en la siguiente manera: un teclado para niños con el que puedan asociar sonidos con colores y notas musicales.

El proyecto se centra en niños que muestren cierto interés en la música. Con este piano diseñado con Arduino, les será más fácil aprender los sonidos diferentes notas musicales y asociarlos con colores para recordarlas mejor. Al prototipo de la anterior PEC habría que añadirle más complejidad y profundidad.

Fase 3: idear:

Mi lluvia de ideas fue la siguiente:

– Integrar el prototipo con processing y que se muestre una partitura donde se dibujan las notas tocadas con su color correspondiente.

– Diseñar una tapa como si fuera un teclado para ocultar la placa y que sea visualmente más atractivo para los niños. Tener en cuenta la orientación de los botones, puede que tenga que invertir los valores.

A lo que hay que añadir las ideas que tuve en la PEC2:

– Posible integración con processing para reproducir un color o un texto asociado.

– Que se guarden las notas y que con otro botón se vuelvan a reproducir como si fuera una canción grabada.

– Añadir un botón para el modo “Simón dice”.

Y las ideas que se me fueron ocurriendo durante la realización de la PEC:

 – Añadir el tiempo que el usuario tiene pulsado el botón.

– Borrar la canción una vez reproducida.

– Editar los colores de las notas para que sean más diferenciados.

– Pintar cada botón físico con el color del LED cuando se pulsa.

Fase 4: prototipar

En este segundo prototipo voy a añadir el código para el botón de reproducir las notas tocadas y empezaré la integración con processing. De momento descarto la idea del «Simón dice».

En la primera versión del prototipo conseguí guardar las notas del usuario, pero tuve que rellenar el array cancion[] con NULL para evitar notas falsas y de paso lo usé para hacer break del for loop si hubiera menos de las 10 notas máximas que guarda.

En la segunda y última versión, conseguí un timer correcto para que los tonos no se solaparan y sonaran más armónicos y añadí el borrado de la canción después de reproducirla.

En el siguiente prototipo introduciré la conexión con processing y mejoraré el diseño visual.

Fase 5: probar

Empecé haciendo las ediciones en el código del proyecto de tinkercad. Implementé varias variables nuevas para este botón.

Una vez estuve contenta con los resultados de la primera versión y comprobé que se guardaba correctamente, importé el código a la placa para verificar el resultado real.  Me di cuenta que la duración de las notas hacía que a veces se solaparan entre sí.

En la segunda versión del prototipo conseguí arreglarlo, añadí el borrado de la canción y edité los colores. Exporté el código de tinkercad a IDE y a mi placa Arduino para pruebas.

Para la siguiente iteración en la próxima PEC, editaré el exterior de la placa y moveré el buzzer y el LED de sitio con cables puente y diseñaré la parte de processing.

Interacción tangible PEC2 – Proyecto Arduino (Introducción al entorno de Arduino)

1. Design thinking

Fase 1: empatía

Imagina que trabajas como profesor de la UOC, donde predomina la práctica para la asimilación de los contenidos. Tienes que enseñar a tus alumnos el funcionamiento de Arduino y Processing para que después puedan reflexionar y plantearse contextos en los que podría ser útil aplicar estos conocimientos y desarrollar un proyecto ideado por ellos mismos. Para poder cumplir tu tarea docente, debes realizar las pruebas de todos los ejemplos que tienes disponibles, intentar entenderlos, plantearte preguntas que
después los alumnos pueden llegar a hacerte y modificar los ejemplos para comprobar que has entendido el código y que puedes generar interacciones distintas a partir de los mismos.

Fase 2: definir

Se debe realizar un miniproyecto con Arduino (también con Processing) en el que se usen al menos 2 de los siguientes controles: iluminación (leds), audio (buzzer piezoeléctrico) y/o imagen (pantalla LCD o vía Processing).
Hay que revisar y comentar todo el código para que sea fácilmente entendible por los alumnos.

Fase 3: idear

– Hice los proyectos del libro de arduino.
– Miré los ejemplos propuestos y busqué en internet más ejemplos.
– Me decanté por juntar los ejemplos 4 y 7 del libro de arduino e irle añadiendo más cosas en las siguientes PECs.

Mi lluvia de ideas fue la siguiente:
– Poner una serie de botones en el Arduino que reproduzcan diferentes notas musicales.
– Posible integración con la pantalla LCD, processing o LEDS para reproducir un color o un texto asociado.
– Que se guarden las notas y que con otro botón se vuelvan a reproducir como si fuera una canción grabada.
– Añadir un botón para el modo “Simón dice”.

Fase 4: prototipar

En este primer prototipo voy a probar los botones y su integración con el LED RGB. En los posteriores prototipos intentaré incorporar la integración con la pantalla LCD o con processing y por último intentaré añadir los botones de reproducir todo y de “Simón dice”.

Fase 5: probar

Empecé el prototipo haciendo las conexiones del LED, el piezo y un botón. Busqué en internet y en el libro cómo hacer las conexiones correctamente y qué resistencias usar.
Tras comprobar su funcionamiento, busqué cómo modificar los colores del LED RGB y los tonos del piezo.
Una vez entendido y probado, añadí los demás botones y los valores para cada uno.
Dejé preparado un botón para el siguiente prototipo (a añadir que reproduzca la melodía tocada)

2. Tinkercad

Vista de circuito:

Vista esquemática del modelo:

3. Vídeo del prototipo

4. Archivo PDF

Interacción tangible PEC1 – ¿Qué es la interacción tangible?

1. Clasificación, análisis y reflexión

Busqué todas las técnicas del temario del curso y fui pensando en algún ejemplo práctico que usara alguna. Después, fui comprobando que no estaban mencionadas en los ejemplos antes de indagar más sobre ellas en Google.
Para hacer su análisis, comparé las técnicas y elementos que usaba cada proyecto con el temario.

Face projection mapping

Wildbytes comenzó haciendo escaneos 3D de la modelo, capturando su imagen utilizando luz estructurada y fotogrametría. A partir de ahí, se imprimió en 3D un busto de su cara que usaron para las pruebas y el desarrollo de los efectos de mapeo en posición estática. Después de eso, el equipo necesitaba lanzarse a las imágenes coloridas y caleidoscópicas que se proyectarían.

Más adelante trabajaron en el mapeo en tiempo real con un potente motor de renderizado 3D y el trackeo de la cara de la modelo con el sistema de ftrack.

Me parece el proyecto menos relevante, porque no ayuda con ningún problema de usabilidad o accesibilidad, los temas donde me gustaría centrarme.

Sensor de temperatura (domótica)

Los sensores de temperatura están formados por mecanismos muy sencillos constituidos por dos materiales combinados mediante uniones llamadas unión fría y unión caliente. El grado de temperatura que detectan estas uniones, genera una diferencia de potencial que se transforma en una señal eléctrica.

Los sensores de humedad nos dirán el porcentaje de vapor de agua que se encuentra en el ambiente.

El sensor de temperatura analiza dos niveles de temperatura: uno por debajo de la temperatura que se requiere para calefacción y otro por encima que activa el aire acondicionado de la vivienda.

Existen varios tipos de sensores de humedad, como mecánicos o de sales higroscópicas, y de temperatura, como Termopares o RTD.

El modelo de Xiaomi se conecta a dispositivos inteligentes a través de la app “Mi Bluetooth Gateway”.

No me parece demasiado relevante porque no es algo muy novedoso. A día de hoy hay multitud de fabricantes de este tipo de sensores.

Asistente de Google

El asistente utiliza un modelo de aprendizaje automático que convierte lo que se tararea o silba en una secuencia numérica. Después se compara dicha secuencia numérica con las secuencias de canciones existentes y ya escaneadas. Cuanto más coincidan ambas secuencias, más probabilidad hay de que sea la canción que se busca.

Dicen que han entrenado al modelo de aprendizaje basándose en personas cantando, silbando y tarareando y no tiene en cuenta los instrumentos o la calidad vocal de cada usuario.

Me parece bastante interesante, sobretodo el cómo es capaz de analizar la melodías con sólo un tarareo.

2. Análisis del proyecto elegido

Tobii dynavox TD Pilot

TD Pilot es un dispositivo para iPadOS que te permite generar de voz y controlar tu iPad con seguimiento ocular. Está diseñado para personas con discapacidad y dificultades para comunicarse como personas con afecciones como ELA, lesión de la médula espinal o parálisis cerebral. TD Pilot ayuda a estas personas a comunicarse, usar sus aplicaciones de iPad
favoritas y les permite que su voz se escuche alto y claro.

El dispositivo viene precargado con aplicaciones de CAA: TD Talk para personas alfabetizados o TD Snap para aquellos que utilizan la comunicación basada en pictogramas.

Mecanismos de la interacción y su usabilidad

  • Visión artificial, eye tracking
    El sistema de seguimiento ocular que usa es el Tobii IS5, compuesto por 4 sensores de 850nm (luz infraroja).
  • Tratamiento de datos
    Usa como periférico de entrada los sensores electrónicos del eye tracking para mostrar un cursor en la pantalla del iPad con el que interactuar con los elementos de la GUI. Como periféricos de salida se encuentran los altavoces integrados en el TD Pilot para dictar el mensaje del usuario en forma de audio y la pantalla en la parte posterior para reproducirlo en formato texto.

Análisis y descripción del diseño de interacción

TD Pilot es un dispositivo que te permite controlar un iPad y escribir mensajes con seguimiento ocular. TD Pilot captura el movimiento ocular del usuario gracias a sus 4 sensores infrarrojos y lo plasma con un cursor en pantalla, lo que permite interactuar sin necesitad de usar las manos con cualquier aplicación de tu iPad.

Por otro lado, también viene con 2 aplicaciones, TD Talk y TD Snap, que permiten al usuario introducir textos mediante caracteres o pictogramas y generar un mensaje de voz o reproducir el texto en la parte trasera del TD Pilot.

Diagrama de flujo

Valoración de la usabilidad y facilidad de uso

TD Pilot está diseñado para que las personas con discapacidad o dificultades para comunicarse puedan acceder y usar con mucha más facilidad cualquier aplicación que se pueda instalar en un iPad. Además, les ayuda a comunicarse con los demás pese a sus discapacidades.

Para ayudar a aprender a usar esta herramienta, tobii ha hecho una serie de vídeos guía y elpaquete viene con unas instrucciones detalladas. También tienen la app de TD CoPilot para ayudar con la calibración. Una vez configurado, iniciar el trackeo es bastante sencillo, sólo hay que encender el dispositivo.

El dispositivo se adapta a las necesidades de cada persona, por ejemplo, usando la entrada de texto de TD Talk o con pictogramas con TD Snap. Estas aplicaciones también se pueden utilizar con los dedos.

Opinión personal y aportaciones creativas

Personalmente me parece un producto fantástico y muy flexible, que se puede adaptar apersonas con distintas discapacidades o dificultades y les brinda una mayor calidad de vida.
Lo único que veo negativo es que sólo funciona con iPad, por lo que fuerza un poco a disponer de uno o tener que comprarlo.

3. Webgrafía y enlaces

  1. Wildbytes pioneers live facial projection mapping with ftrack – ftrack
  2. Wildbytes FACE PROJECTION MAPPING FOR PONDS
  3. Wildbytes Kat Von D’s Live Face Projection Mapping – Wildbytes
  4. Domótica para control de temperatura y humedad (hogarsense.es)
  5. Xiaomi Mi Temperature and Humidity Monitor 2 – Termómetro/Higrómetro (tuxiaomi.es)
  6. El buscador de Google ahora es capaz de encontrar una canción con sólo tararearla o silbarla (xataka.com)
  7. Google introduce Hum to Search – «Hey Google, what’s that song that goes na na doo da?» – RouteNote Blog
  8. Tobii gives disabled users the power to control iPads with their eyes (newatlas.com)
  9. TD Pilot – seguimiento ocular disponible en iPad – Seguidor ocular #1 en el mundo – Tobii Dynavox ES
  10. TD Pilot – Tobii Dynavox ES
  11. TD Talk
  12. TD Snap
  13. TobiiDynavox_TDPilot_UsersManual_v1-0-5_es-MX_13000444.pdf (mytobiidynavox.com)
  14. Tobii Eye Tracker 5L | Engineered for innovation – Tobii – Tobii
  15. TD Pilot Product Support – Tobii Dynavox Global

4. Archivo PDF