Ciencia ciudadana para ayudar a la inteligencia artificial a entender el arte

El análisis de los millones de obras que forman parte del patrimonio cultural y artístico es un trabajo que parece imposible para el ser humano, pero no para los superordenadores. Sin embargo, antes las máquinas tienen que aprender a hacerlo.

El proyecto europeo 'Saint George on a Bike', coordinado por el Barcelona Supercomputing Center – Centro Nacional de Supercomputación (BSC-CNS) en colaboración con la Fundación Europeana, arrancó en 2019 con el objetivo de emplear el supercomputador MareNostrum4 para entrenar modelos de inteligencia artificial (IA) que ayuden a interpretar mejor el patrimonio cultural europeo, además de difundir a la ciudadanía su riqueza, valor y la importancia de conservarlo.

Para ello, el proyecto busca generar descripciones automáticas de cientos de miles de imágenes procedentes de diversos repositorios del patrimonio cultural utilizando algoritmos de procesamiento del lenguaje natural y aprendizaje profundo (deep learning en inglés).

Ahora, en una segunda fase del proyecto, los investigadores han lanzado una campaña de colaboración colectiva o crowdsourcing en Zooniverse, un portal de ciencia ciudadana, para recoger miles de anotaciones manuales que ayuden a entrenar mejor estos modelos de IA. La campaña es totalmente abierta y cualquier persona puede participar en el análisis de 5.000 obras pictóricas europeas.

Por primera vez la inteligencia artificial proporciona descripciones de imágenes del patrimonio cultural con la mayor cobertura de temas, objetos y relaciones iconográficas, teniendo en cuenta el contexto temporal de creación de las obras y las reglas de composición de épocas y escenas de la iconografía sagrada entre los siglos XII y XVIII.

"Este ambicioso proyecto interpreta por primera vez imágenes según su contexto, y busca así dotar a las máquinas de un cierto sentido común, que es una de las grandes barreras de la IA a día de hoy", declara Joaquim Moré, investigador del BSC y experto en lingüística computacional del proyecto.

"Por ejemplo, cuando en un primer momento el sistema identifica una moto en una pintura de San Jorge del siglo XV, se corrige e identifica el objeto más plausible por la época, que es el caballo. Más adelante, esta adaptación se hará al contexto cultural. Así, en el contexto cultural japonés lo que en Europa llamaríamos un caballero, sería un samurái", explica.

Gracias a esta iniciativa se podrán analizar mejor las pinturas, detectar imágenes o composiciones nunca antes vistas, descubrir relaciones entre sus elementos e interpretar su simbolismo, ayudando al desarrollo de iniciativas culturales y de difusión, como exposiciones virtuales con pinturas relacionadas de todo el mundo.

Aplicaciones culturales, educativas y académicas

"Nuestro proyecto permitirá un acceso rápido a información cultural que puede utilizarse no sólo para fines culturales y sociales, sino también en otros sectores como el educativo y el turístico y, posiblemente también sea de ayuda para historiadores o antropólogos", afirma Maria-Cristina Marinescu, investigadora del BSC y coordinadora de 'Saint George on a Bike'.

"Además –concluye–, la sociedad en general también puede beneficiarse de mejores servicios públicos, como por ejemplo una mejor accesibilidad a páginas web para las personas con discapacidad visual, narrativas que pueden exponer la injusticia social, o la integración a través del patrimonio cultural colectivo para ayudar a crear una identidad europea más tolerante".