Abordan las claves del "deep learning"

Leslie Valiant no sólo es profesor de la prestigiosa Universidad de Harvard (EE.UU.), sino que también es un pionero reconocido por sus estudios sobre teoría de la computación y, además, en 2010 obtuvo el Premio Turing, distinción conocida como el “Nobel de la Computación”. Christos Papadimitriou, académico de la U. de Columbia (EE.UU.), también cuenta con varios galardones como el Premio Gödel, el Premio Knuth y la Medalla John Von Neumann, además de ser autor del libro Computational Complexity, uno de los más utilizados y referenciados en el campo de la teoría de la complejidad computacional.

Estos dos investigadores de renombre internacional fueron los encargados de dictar las charlas que abrieron y cerraron respectivamente la primera versión del workshop “When deep learning meets logic”, realizado el año pasado y cuya edición 2022 contará con una presentación a cargo de Pablo Barceló, director del Instituto de Ingeniería Matemática y Computacional (IMC) y quien fue invitado a participar como speaker.

El workshop, que se realizará de manera virtual entre el 6 y 8 de junio, y es auspiciado por Samsung Research, está organizado por Vaishak Belle - investigador de la Universidad de Edimburgo (Escocia) que centra sus estudios en la intersección entre machine learning y lógica-, Martin Grohe -matemático de la Universidad RWTH (Alemania) y experto en campos como teoría de bases de datos y teoría de modelos finitos- y Efi Tsamoura, investigadora de Samsung AI y cuyos estudios se centran en tópicos como bases de datos distribuidas.

La primera versión del encuentro congregó a más de 1.000 participantes pertenecientes a algunos de los centros de investigación más prestigiosos del mundo, como el MIT, Google, IBM, Microsoft y las universidades de Oxford y Cambridge. Una convocatoria, que según los encargados, revela el alto interés que existe en torno a los esfuerzos que se han realizado en los últimos años por integrar los ámbitos de la lógica y el deep learning.

En este sentido, Barceló -doctor en ciencia de la computación y quien además es subdirector del Instituto Milenio Fundamentos de los Datos (IMFD) e investigador del Centro Nacional de Inteligencia Artificial (Cenia)- explica que la inteligencia artificial comenzó a desarrollarse hace unos 50 años a través de dos grandes rutas. “Una es la corriente conectivista y la otra se refiere más a la representación del conocimiento. En la primera se podría decir, hablando de manera bastante general, que lo que vamos a hacer es replicar un cerebro. Un cerebro tiene neuronas que se conectan, pero no le vamos a explicar cómo hacerlo. Vamos a construir, de cierta manera, la infraestructura y después en base a los datos que tenemos, haremos que esas neuronas se conecten y aprendan algo. Cuando llegan nuevos datos, esas neuronas se conectan de otra forma y aprenden otra cosa”.

Esa corriente, agrega el director del IMC, es la que ha dado origen a desarrollos cruciales como el deep learning, redes neuronales muy profundas y de muchas capas que resuelven problemas muy específicos y complejos de manera mucho más eficiente que un ser humano. “Los ejemplos típicos en esta área son la clasificación de imágenes y el procesamiento de texto que ofrece, por ejemplo, el traductor de Google, el cual funciona de manera casi perfecta”.

En paralelo a la llamada corriente conectivista, se fue desarrollando otra vía que durante mucho tiempo incluso fue más predominante y que alude a la representación del conocimiento. “Es decir, de qué manera le explico a una máquina cómo resolver ciertas tareas. Eso tiene que ver con cómo representar el conocimiento o dominio que tengo sobre esa labor y esa especificación comúnmente viene dada en un lenguaje lógico”, indica Barceló. En el caso de la inteligencia artificial, la lógica es además un lenguaje para explicar: “Muchas veces se hacen redes neuronales, pero no entendemos muy bien lo que ocurre en su interior. Es como una caja negra. Pero la lógica nos puede entregar una representación sucinta, una explicación de lo que está haciendo”.

 

Pese a que la línea conectivista ha tenido enormes avances, también hay indicios de que está llegando a su límite, ya que aún le falta entender los contextos. “Es muy poco eficiente. Necesita trillones de trillones de datos para poder aprender algo que quizás no es tan complejo, porque razona muy poco y entrega muy pocas explicaciones. Por otro lado, tenemos esta otra línea lógica que explica mucho, pero que al mismo tiempo es extremadamente cara e ineficiente desde el punto de vista computacional”, explica Barceló. Por ese motivo, agrega el investigador, hoy se cree que la única forma de que se genere un nuevo breakthrough (o descubrimiento) en inteligencia artificial es a través de la combinación de estas dos visiones, de manera que las “redes neuronales profundas entiendan más sobre el dominio de lo que están aprendiendo, para que así puedan aprender con menos datos, y al mismo tiempo proveer explicaciones”.

Ese punto de encuentro es lo que hoy se conoce como “Neuro-symbolic AI” o “Inteligencia artificial neuro simbólica”, donde tal como plantea Barceló la lógica tiene un rol “predominante o particularmente importante, porque es el lenguaje que ocupamos para representar el conocimiento y obtener explicaciones”. Precisamente, los organizadores del evento virtual indican que se trata del primer workshop que cubre todos los aspectos relacionados a la integración de las redes neuronales profundas con la lógica y la computación simbólica.

Además, según explica Efi Tsamoura en un comunicado preparado para la primera versión del workshop, este encuentro no sólo cubre un amplio rango de puntos ligados a este tema, sino que también es pionero al presentar tanto investigaciones fundacionales como prácticas en el área. “A pesar de que la integración de estos dos paradigmas ha sido el tema de diferentes workshops asociados a entidades como AAAI, IJCAI, NeurIPS y CVPR, el nuestro es el primero que no se enfoca en un sólo tópico sino que ofrece una visión más bien holística sobre esta fascinante área de investigación que mezcla las redes neuronales profundas con los sistemas simbólicos”, indicó.

Por ese motivo, la primera versión del workshop tuvo los siguientes objetivos: presentar las aplicaciones que surgen de este paradigma computacional; explorar el “estado del arte” y entender su nivel de madurez y adopción por parte del sector industrial, por lo cual se presentaron técnicas y teorías desarrolladas tanto por las comunidades dedicadas al deep learning como a la lógica; identificar algunas de las grandes preguntas que siguen abiertas en esta área, además de precisar los problemas que requieren mayores investigaciones. En su versión 2022, el enfoque será el mismo pero el énfasis estará en cuatro áreas: redes neuronales de grafos, incrustaciones de grafos de conocimiento (KGE), inteligencia artificial explicable y aplicaciones.

Investigaciones desde Chile

Barceló explica que el grupo de trabajo con el cual colabora en Chile proviene precisamente del ámbito de la lógica en ciencia de la computación. Entre esos académicos figuran nombres como el de Claudio Gutiérrez -del Departamento de Ciencias de la Computación de la Universidad de Chile y miembro del IMFD-; Marcelo Arenas -director del IMFD, profesor del Departamento de Ciencia de la Computación de la Escuela de Ingeniería de la UC y académico en vacante compartida del IMC-; Juan Reutter -investigador del IMFD, profesor del Departamento de Ciencia de la Computación de la Escuela de Ingeniería de la UC y académico en vacante compartida del IMC; Cristian Riveros -investigador del IMFD, profesor del Departamento de Ciencia de la Computación de la Escuela de Ingeniería de la UC y académico en vacante compartida del IMC-; Leopoldo Bertossi -profesor de la Facultad de Ingeniería y Ciencias de la Universidad Adolfo Ibáñez e investigador del IMFD y Cenia-; y Miguel Romero, profesor de la Facultad de Ingeniería y Ciencias de la Universidad Adolfo Ibáñez e investigador de Cenia.

“La lógica en ciencia de la computación es nuestro background principal, por lo que estamos muy bien posicionados para entrar en temas de ‘Neuro-symbolic AI’. Manejamos las herramientas lógicas y al mismo tiempo estamos rodeados de un grupo que entiende los problemas de inteligencia artificial. Además, desde hace algunos años hemos venido publicando estudios sobre estos temas y hemos realizado presentaciones en importantes conferencias de inteligencia artificial. El que me inviten a este workshop es un poco parte de eso, porque se entiende que el trabajo que hemos hecho particularmente en redes neuronales de grafos y en nociones de explicabilidad lógica tiene un interés importante para la comunidad internacional en este momento. Eso se reconoce con una invitación que, en el fondo, es a todo el grupo”, comenta Barceló.

Si bien la empresa Samsung afirma que un workshop de este tipo le trae muchos beneficios -en términos de impregnarse de visiones sobre posibles nuevas aplicaciones, atraer talento nuevo e instalar a su división Research como líder mundial en inteligencia artificial-, el objetivo es que la actividad también sirva de impulso a la comunidad académica en general. Es por eso que la inscripción en el workshop -que pronto se habilitará para la edición de este año- es gratuita y abierta a público, mientras que el registro audiovisual de las charlas queda disponible en línea y sin necesidad de registrarse: “El workshop apunta a congregar a las mejores personas y aprender de ellas”, indica el comunicado sobre la primera versión de la actividad.

Pablo Barceló agrega, precisamente, que la participación en la edición 2022 de “When deep learning meets logic” no sólo representa un reconocimiento a las investigaciones realizadas desde Chile, sino que también es una oportunidad para atraer nuevas mentes hacia este campo de estudio. “A pesar de que somos un grupo pequeño con respecto a los estándares que se manejan a nivel mundial, las contribuciones de nuestro equipo han sido bastante fundamentales y muy bien recibidas a nivel internacional. De alguna forma la invitación a este workshop es un premio a lo que ha hecho el equipo. Sería muy interesante que, a través del trabajo que estamos haciendo, más alumnos se comiencen a interesar en estos temas que son fascinantes y de punta. Son tópicos muy atractivos para muchos grupos de primera línea a nivel internacional y también es donde se necesita urgentemente trabajo y desarrollo, por eso este workshop es una invitación abierta a los estudiantes a que participen”, indica.