September 8, 2020 8:45 am

Microsoft Expressive Pixels: una plataforma para la creatividad, la inclusión y la innovación

Por: Athima Chansanchai

Están sentados frente a su PC, en casa, mientras trabajan de manera remota. Tienen a un compañero que hace lo mismo que ustedes.

Sin necesidad de voltear, una pantalla LED, cercana a ustedes y visible para cualquiera, ilumina un emoji: una señal de parada.

Ahora, en casa saben que por el momento están ocupados, sin tener que decir una sola palabra.

Este es uno de los muchos usos de Expressive Pixels, una plataforma de autoría de Windows 10 enfocada en visualizaciones animadas, que está disponible gratis en la Tienda Microsoft. Además de la aplicación, tiene un conjunto común de código fuente de creador de firmware, que permite a los usuarios con un dispositivo de pantalla LED, comunicarse con visuales o emojis.

En conjunto, puede ampliar la comunicación no verbal, impulsar aplicaciones creativas para que los desarrolladores la usen a través de APIs de código abierto, y reducir la barrera de entrada para aspirantes a programadores, diseñadores e investigadores.

Expressive Pixels también funciona como un trampolín para creadores amateurs o para programadores con más conocimientos de cómputo, que les permite construir nuevas creaciones sin tener que descubrir cómo consumir o programar animaciones e imágenes en dispositivos pequeños, al brindar una librería que hace toda la animación.

No importa dónde trabajen, aprendan o conecten, Expressive Pixels entrega una manera animada de personalizar su espacio e incrementar su presencia, en la misma manera en que lo hacen las imágenes y las chucherías.

“Nos enfocamos tanto en las funciones básicas del día a día, pero si observamos a lo que nos hace humanos, existen las emociones. Queremos expresar y conectar entre nosotros”, comentó Bernice You, gerente general de estrategia y proyectos en negocios pequeños, medianos y corporativos, que es parte del equipo del proyecto Expressive Pixels y también es parte fundamental en el lanzamiento de los juegos Eyes First, en 2019, que incorporan Windows 10 Eye Control, una función clave de accesibilidad para gente con discapacidades de habla y movilidad. “Ser productivos es increíble, pero también queremos ser humanos. Es un espacio que casi no se ha tocado”.

El proyecto Expressive Pixels incorpora años de una profunda y significativa colaboración entre Enable Group en Microsoft y personas con severas discapacidades de habla y movilidad, para tratar de comprender sus perspectivas, necesidades y problemas en relación a la comunicación, expresión creativa, identidad y conexión humana, con un enfoque en el aumento de dispositivos AAC tradicionales con experiencias novedosas que sirven como representantes de la comunicación no verbal, la expresión personal y creativa, señales sociales y estado del dispositivo.

Diseños de Expressive Pixels

Ilustración de un perfil y una flor pixeladas

Active Frame

“Esto puede ser tanto algo serio como una manera divertida y creativa de decir algo de ti mismo”, comentó Harish Kulkarni, gerente de ingeniería en el equipo de marcos de IA dentro del grupo de Nube e IA en Microsoft, quien también ha sido parte del equipo de Enable por muchos años y una fuerza que ha guiado la integración de Eye Control en Windows 10.

En el camino hacia este lanzamiento, el equipo desbloqueó todo tipo de innovación fortuita, donde a menudo hacían frente a obstáculos con una perspectiva abierta y fresca, inspirada por el valor que la tecnología puede llevar a las personas.

Cuando descubrieron que necesitaban un factor de forma que pudiera ser visto con facilidad en una habitación y en una variedad de condiciones de iluminación, acudieron a las pantallas LED, fáciles de utilizar, que están disponibles fuera del estante a través de fabricantes de terceros como Sparkfun, Adafruit y SiliconSquared Displays (este último un dispositivo todo en uno hecho a medida, concebido y fabricado para abordar la resolución, conectividad, almacenamiento y capacidades de animación, fabricado por el único ingeniero en el equipo de Expressive Pixel, Gavin Jancke). Pero también pueden utilizar Expressive Pixels sin una pantalla LED u otro dispositivo, tan solo con insertar GIFs animados en emails.

Luego apareció otro obstáculo: desarrollar software que pudiera facilitar el procesamiento de animaciones en las pantallas. De nuevo, Jancke tomó el desafío y fabricó el firmware. Juntos, el firmware más la aplicación de autoría, se combinan para formar una plataforma que puede ser ejecutada en una variedad de dispositivos. Con el firmware, los fabricantes pueden utilizar aspectos específicos o expandirlos. Los creadores pueden compartir sus animaciones originales en una Cloud Gallery en la aplicación.

Jancke ha sido clave en el desarrollo de esos elementos fundamentales para Expressive Pixels, y todo en su tiempo libre, lejos de su trabajo diario.

La comunicación no es sólo lo que dice tu texto o lo que hablas. Sucede mucha comunicación no verbal, incluido el saber cuándo es tu turno para hablar.

– Harish Kulkarni

 

“Por lo general, cuando me involucro en algo, lo hago a lo grande”, bromea Jancke, gerente general de ingeniería dentro de Microsoft Research. Pero ya más serio, añade, “Mi pasión es servir a las poblaciones o comunidades desatendidas, darles las capacidades que están fuera de su alcance debido a su capacidad técnica, pero que están dentro de la mía”.

Jancke es una persona de varios oficios, que obtuvo nuevas habilidades, incluida la ingeniería eléctrica, en los tres años que invirtió en el proyecto. En el camino, creó una nueva categoría de dispositivos con una pantalla de resolución más alta de LEDs RGB de la que había disponible antes. Él también descubrió cómo desvincular la experiencia para una máxima movilidad, a través de incorporar tecnología Bluetooth y diferentes mecanismos para activar animaciones como con señales de música conmutada o MIDI.

“Lo que es en verdad interesante son las consecuencias no deseadas de salir de tu zona de confort, para aprender algo nuevo”, comentó. “Obtienes ideas y habilidades sorprendentes”.

El camino hacia el lanzamiento de Expressive Pixels comenzó hace más de cinco años, con el interés del grupo Enable en mejorar dispositivos AAC (Comunicación Aumentada y Alterna), que por lo general son muy costosos debido a que son parte del mercado médico.

El equipo de Expressive Pixels en el modo Juntos de Microsoft Teams. Fila trasera (de izquierda a derecha): Ann Paradiso, Bernice You. Segunda fila de arriba abajo (de izquierda a derecha): Noelle Sophy, Gavin Jancke, Jarnail Chudge. Tercera fila desde arriba (de izquierda a derecha): Dwayne Lamb, Stacie Stutz. Fila inferior: Christopher O’Dowd.

GIF que muestra un ojo parpadeante en varias pantallas LED diferentes

Expressive Pixels ejecutado en diferentes dispositivos de fabricantes.

Ann Paradiso, investigadora principal de diseño, lideró los esfuerzos, guiada por un deseo de aplicar su energía al servicio de los demás. Ella había trabajado en el equipo de Jancke, en Microsoft Research, antes de moverse al grupo Enable, así que para él fue algo natural ayudarla a medida que el proyecto ganó impulso.

En un principio, trabajaron con el ex jugador de la NFL, Steve Gleason, que ayudó a inspirar y a impulsar el desarrollo de la investigación que llevaría a su proyecto, después de ser diagnosticado con esclerosis lateral amiotrófica (ASL, por sus siglas en inglés). Incluso aunque es considerado un adepto a utilizar la tecnología de rastreo ocular, todavía tuvo problemas para comunicarse con los demás cuando tenía problemas técnicos, pues sus ojos estaban enfocados en su pantalla y no en la persona que trataba de conversar con él.

“Si pasas una cantidad de tiempo con alguien que utiliza sólo con sus ojos un dispositivo de habla, vas a notar que el ritmo de la conversación disminuye de manera drástica al del habla en una conversación. Con frecuencia, los usuarios de AAC ven una disminución de 12 a 25 veces en la tasa de palabras, incluso con mejoras en la predicción y la precisión de la mirada”, mencionó Paradiso. “Así que lo que vemos mucho es un patrón en el que los compañeros de conversación no aprenden a sentarse con el silencio adicional o son incapaces de ver que se compone una respuesta, así que la conversación continúa y la persona con la discapacidad relacionada con el habla se queda atrás”.

Eso llevó a una investigación centrada en el usuario, junto con gente con ALS (PALS) en sus familias. Paradiso y sus colaboradores se reunieron con ellos de manera regular, para acompañarlos en sus citas médicas y observar sus interacciones con neurólogos, patólogos del habla, terapeutas físicos y más. El equipo iba a sus hogares y los invitaba a los laboratorios del equipo en Microsoft. La confianza y las relaciones que surgieron de esto, permitieron al equipo en verdad conocer todo el ecosistema alrededor de las discapacidades, sus sistemas de soporte, familias, equipo, lo que funcionaba y lo que no.

Una de las cosas que notaron rápido fue que podía haber un alto valor en optimizar las pantallas LED para la comunicación basada en emojis.

– Ann Paradiso

“Los emojis ya son ubicuos en las plataformas de comunicación digital, incluida la mensajería basada en texto, emails y redes sociales. Requieren menos ‘clics’ para expresar una intención, añadir contexto, o establecer el tono. Un solo emoji puede alterar o mejorar de manera importante la interpretación de un mensaje. Considero que pueden ser aprovechados como un representante suplementario de expresión para la gente que tal vez no tenga acceso al habla o a los músculos que dirigen la expresión facial”, comentó Paradiso. “Nuestros colaboradores PALS han sido de las personas más divertidas, consideradas y creativas que he conocido, pero su rango expresivo puede estar limitado por las limitantes de la discapacidad, así como por los dispositivos actuales del habla y sus tecnologías subyacentes. Sabemos que la gente quiere expresar mucho más con sus dispositivos AAC que sólo la comunicación básica transaccional. Queríamos crear algo que pudiera ayudar a las personas a mantenerse involucradas de manera activa en las conversaciones, ser visibles con una luz baja y desde cierta distancia, y brindar otra avenida para la expresión única, la diversión y la conexión”.

El equipo buscó diferentes tipos de pantallas secundarias, pero siempre regresaron a las pantallas LED por varias razones: son de bajo costo, trabajan bien y “tienen ese cierto factor atractivo”. Los colaboradores del equipo en PALS también aclararon que no querían usar algo que pudiera tener consecuencias sociales negativas involuntarias para los usuarios.

“Ver a alguien que vive con ALS y poder impulsarlos a hacer algo a lo que ya había renunciado hacer es suficiente para inspirarte a hacer más”, comentó Dwayne Lamb, un desarrollador que se especializa en la creación de Experiencia de Usuario e Interfaz de Usuario, que se unió al grupo Enable a inicios de 2017. “La mayor parte del tiempo, cuando tratas de comunicarte con alguien que sólo puede usar sus ojos para hacerlo, usan sus ojos para escribir en un teclado en un dispositivo frente a ellos, y aunque no es una buena etiqueta social, por lo general te pones a ver por encima de su hombro para tratar de ver lo que teclean”.

Expressive Pixels evolucionó en parte por el deseo de tratar de resolver ese problema.

Face emoji

Emoji en la aplicación Expressive Pixels

Y con Expressive Pixels, es posible crear animaciones en pantallas de muchos tamaños, de hasta 64 x 64 pixeles, comentó Christopher O’Dowd, que ayudó a llenar las brechas de hardware en el proyecto. Él apunta que las pantallas LED son ubicuas en Maker Faires, en las casas durante las fiestas, etc. Estas pantallas son tan versátiles, que incluso las encuentras en telas (máscaras, capas y mochilas, por ejemplo) o en banderas.

Una manera temprana en la que el equipo incorporó pantallas LED fue a través de música de manos libres, un proyecto premiado en SXSW.

Ahí, utilizaron un arreglo LED personalizado, sincronizado con música y habilitado por MIDI, como una visualización suplementaria de una batería física, controlada por la vista, diseñada por uno de sus colaboradores, un músico del área de Seattle que vive con ALS. El proyecto, que ganó el premio Interactive Innovation: Music and Audio Innovation en SXSW 2018, cuenta con una suite de novedosas aplicaciones controladas por la vista para ejecución, colaboración y composición musical.

“¿Cómo puede alguien, sin acceso al habla o al movimiento, componer o ejecutar música, dirigir un escenario, o conectar con una audiencia en vivo? ¿Qué hay de colaborar con otros músicos en escenarios ensayados o improvisados? ¿Cómo podemos disminuir las barreras de hacer más inclusivos los programas musicales escolares sin minimizar o rechazar a los estudiantes con discapacidades? Estas son algunas de nuestras principales preguntas”, recordó Paradiso. “Queríamos adaptar nuestra tecnología y diseños para alinearlos con las metas creativas y escenarios de la vida real de una persona, en lugar de rodearlos”.

A Lamb se le ocurrió la idea de agregar capacidades de Interfaz Digital de Instrumento Musical (MIDI, por sus siglas en inglés), con la idea central de enviar diferentes señales a diferentes instrumentos, una idea que sería transferida a Expressive Pixels.

“Cada vez que trabajábamos hacia una meta diferente, empujábamos aún más la plataforma”, comentó Paradiso.

La plataforma Expressive Pixels está abierta a un amplio rango de creadores. Además de la comunidad de fabricantes, los estudiantes pueden diseñar para otros y aprender JavaScript a través de Microsoft MakeCode. Por lo general, los dispositivos MakeCode tienen sólo algunos pequeños LEDs, comentó Jancke, así que traer una verdadera capacidad de proyección abre un amplio rango de nuevas capacidades para que los estudiantes creen, experimenten y programen con algo como las pantallas SiliconSquared, integradas a un gadget MakeCode.

“Expressive Pixels brinda una manera sencilla para que los estudiantes integren animaciones producidas desde la aplicación de autoría hacia su programación MakeCode y sus creaciones de hardware con un esfuerzo mínimo”, mencionó Jancke.

Por sí misma, la aplicación sabrá qué animaciones están almacenadas en el dispositivo, así que diferentes comandos activarían la respuesta específica en ellos.

A través de este y otros proyectos Enable, Paradiso reencontró su pasión por la empresa, después de casi 20 años en ella.

“Ver a tanta gente reunirse, muchos en su tiempo personal, para trabajar a nombre de algo más grande que nosotros a nivel individual, está inspirado y alineado con los valore y misión de nuestra compañía, y eso me hace feliz y me da la esperanza de un futuro más creativo e inclusivo para todos”, comentó Paradiso.

Para conocer más, vayan al sitio de Expressive Pixels.

Join the conversation