Así es la complejísima tecnología que hay detrás de los filtros de Snapchat

Aunque pueda parecer que ha pasado toda una eternidad, lo cierto es que los archifamosos filtros de Snapchat sólo llevan con nosotros desde septiembre de 2015, menos de un año. De hecho, ni siquiera se llaman filtros: la compañía siempre se ha referido a estos efectos que se aplican sobre las imágenes en tiempo real como “lentes”. Lo de rebautizarlos es cosa de los usuarios, probablemente por influencia de Instagram y su chapa y pintura para fotos.

Quizá colocar una nariz de perro sobre un rostro o ponerle los ojos grandotes de bebé mientras vomita arcoiris parezca estúpido, pero resulta que detrás de tanto fuego artificial para ‘millennials’ hay una tecnología de lo más avanzada. Una mezcla de realidad aumentada, visión por ordenador y aprendizaje automático (‘machine learning’) que hasta hace poco, por cuestiones de capacidad de procesamiento, era imposible aplicar a un vídeo en tiempo real.

Los responsables de que ahora pueda hacerse son los ingenieros de una ‘startup’ ucraniana llamada Looksery. Sospechosamente, la aplicación del mismo nombre desapareció de la App Store el mismo día que Snapchat anunciaba sus lentes, dando lugar a especulaciones que se confirmaron enseguida. La firma que no se dejó seducir por el talonario de Mark Zuckerberg la había comprado (supuestamente por 150 millones de dólares, unos 135 millones de euros) para integrar su potente tecnología en el chat de los mensajes ya no tan efímeros. Y gracias a las patentes registradas por Looksery podemos conocer, en líneas generales, lo que hacen entre bambalinas los populares filtros de Snapchat.

Lo primero que debes saber es lo que significa realidad aumentada. En palabras sencillas, se trata de modificar la realidad que capta la cámara de tu móvil añadiendo elementos que no estaban ahí. Una capa más de realidad que aumenta lo que verías solo con tus propios ojos.

La clave para que dicha capa se integre de manera natural con tu rostro, que es el objetivo de las lentes, es la visión por ordenador, el conjunto de técnicas que permiten a una máquina reconocer el entorno.

Así, Facebook la utiliza para saber qué y quién sale en tus fotos, Periscope para entender el contenido de tus emisiones en ‘streaming’ y los coches sin conductor para evitar los obstáculos que deben esquivar en la carretera.

¿Cómo sabe el ordenador que lo que está viendo es una cara?

Olvídate de cómo crees que funcionan tus ojos: lo único que ve una máquina cuando le damos una imagen es una matriz gigantesca de números. Cada uno de ellos hace referencia al color de un píxel de la foto. Para encontrar un rostro en esa maraña de cifras, la clave está en buscar contrastes, diferencias entre las partes oscuras y las más claras.

Esto, que se hace utilizando el algoritmo de Viola-Jones, es menos complicado de entender que de aplicar. Por ejemplo, se sabe que el puente de la nariz suele ser más claro que los laterales, que las cuencas de los ojos son más oscuras que la frente y que el centro de la frente es más oscuro que sus lados. Si el ordenador encuentra un puñado de estas pistas en un área de la foto, determina que ahí hay una cara.

Claro, todo esto falla como una escopeta de feria si la tienes ladeada, pero funciona muy bien si estás mirando de frente, como en Snapchat. Ahora bien, para poder ponerte un pintalabios virtual o una corona de flores hace falta algo más que localizar tu rostro: los algoritmos también tienen que determinar tus rasgos faciales. Es decir, encontrar las diferentes partes de tu cara: nariz, labios, ojos…

Aquí entra en juego el ‘machine learning’. Se trata de entrenar a la máquina para que sea capaz de reconocer los diferentes elementos en base a un patrón. Para ello, personas de carne y hueso se dedican a marcar los bordes de montones de caras (probablemente miles), de forma que el algoritmo pueda deducir qué forma tiene un rostro medio, una cara estándar genérica.

Cuando llega la hora de entrar en acción, coloca ese modelo encima de lo que podría ser tu cara (lo que ha detectado gracias a Viola-Jones) y se empieza a fijar en los detalles. Como el modelo no encaja a la perfección, la herramienta analiza las zonas circundantes de los sitios donde espera encontrar algo (tu nariz, tu boca…) en busca de bordes. De nuevo, lo hace comparando píxeles oscuros y píxeles más claros.

Cuando ya tiene la red de puntos que compone los bordes de tu cara, los convierte en coordenadas de una malla que podrá utilizar para muchísimas cosas: cambiar el color de tus ojos, la forma de tu cara, añadir accesorios o hacer que se inicien animaciones cuando, por ejemplo, abras la boca o levantes las cejas. Incluso, como sabes, puede cambiar tu cara por la de un amigo. Ahí es cuando se luce.

Y eso, en términos generales, es lo que hace Snapchat cuando le pides que aplique un filtro. Eso y, siempre que puede, ganar dinero. Si al chat antaño conocido como efímero le compensa haber pagado ciento y pico millones por una tecnología como esta es porque detrás hay un modelo de negocio bastante claro. Con lo difícil que resulta hoy en día hacer que te tragues la publicidad, nada mejor para los anunciantes que poner sus logos en la cara de tus seres queridos.

El mejor ejemplo de ello son los geofiltros patrocinados que Snapchat estrenó hace poco. Imagina que pasas cerca de un McDonald’s y tu cara se llena de hamburguesas o, de alguna otra manera, se modifica. Así es como la empresa quiere rentabilizar su inversión.

¿Un poco inquietante? No más que el resto de usos de este reconocimiento facial tan avanzado. Las agencias de espionaje pueden emplear técnicas muy parecidas para detectar tu rostro en una grabación y compararlo con las miles de caras de una base de datos. El futuro es lo que tiene: privacidad poca. Narices caninas sobre tus ‘selfies’, eso sí, las que quieras.