¿Está realmente la IA de Google descubriendo ‘millones de nuevos materiales?’

En noviembre, el equipo de inteligencia artificial de Google, DeepMind publicado un comunicado de prensa titulado «Millones de nuevos materiales descubiertos con aprendizaje profundo». Pero ahora, los investigadores que han analizado un subconjunto de lo que DeepMind descubrió dicen que «todavía tenemos que encontrar compuestos sorprendentemente novedosos» en ese subconjunto.

«La herramienta de inteligencia artificial GNoME encuentra 2,2 millones de nuevos cristales, incluidos 380.000 materiales estables que podrían impulsar tecnologías futuras», escribió Google sobre el hallazgo, añadiendo que esto era «equivalente a casi 800 años de conocimiento», y que muchos de los descubrimientos «escaparon». intuición química humana previa”, y que se trataba de “una expansión de orden de magnitud en materiales estables conocidos por la humanidad”. El papel fue publicado en Naturaleza tu era recogida ampliamente en la prensa como ejemplo de la increíble promesa de la IA en la ciencia.

otro papel, publicado al mismo tiempo y realizado por investigadores del Laboratorio Nacional Lawrence Berkeley “en asociación con Google DeepMind… muestra cómo nuestras predicciones de IA pueden aprovecharse para la síntesis autónoma de materiales”, escribió Google. En este experimento, los investigadores crearon un «laboratorio autónomo» (A-Lab) que utilizó «cálculos, datos históricos de la literatura, aprendizaje automático y aprendizaje activo para planificar e interpretar los resultados de experimentos realizados con robótica». Básicamente, los investigadores utilizaron inteligencia artificial y robots para sacar a los humanos del laboratorio, y lograron salir adelante después de 17 días de haber descubierto y sintetizado nuevos materiales, lo que, según escribieron los investigadores, “demuestra la efectividad de las plataformas impulsadas por inteligencia artificial para el descubrimiento autónomo de materiales. »

Pero en el último mes, dos grupos externos de investigadores que analizaron los artículos de DeepMind y Berkeley y publicaron sus propios análisis que al menos sugieren que esta investigación específica está siendo sobrevendida. Todos en el mundo de la ciencia de materiales con los que hablé enfatizaron que la IA es muy prometedora para descubrir nuevos tipos de materiales. Pero dicen que Google y sus técnicas de aprendizaje profundo no han logrado de repente un avance increíble en el mundo de la ciencia de materiales.

En un artículo de perspectiva publicado en Materiales quimicos Esta semana, Anthony Cheetham y Ram Seshadri de la Universidad de California en Santa Bárbara seleccionaron una muestra aleatoria de las 380.000 estructuras propuestas publicadas por DeepMind y dicen que ninguna de ellas cumple una prueba de tres partes para determinar si el material propuesto es «creíble» . “útil” y “novedoso”. Creen que lo que DeepMind encontró son «compuestos inorgánicos cristalinos y deben describirse como cuentos, en lugar de utilizar la etiqueta más genérica ‘material'», que, según dicen, es un término que debería reservarse para cosas que «demuestran alguna utilidad».

En el análisis, escriben: “aún tenemos que encontrar compuestos sorprendentemente novedosos en los listados de GNoME y Estructura estable, aunque anticipamos que debe haber alguno entre las 384.870 composiciones. También observamos que, si bien muchas de las nuevas composiciones son adaptaciones triviales de materiales conocidos, el enfoque computacional ofrece composiciones generales creíbles, lo que nos da confianza de que el enfoque subyacente es sólido”.

«la mayoría de ellos pueden ser creíbles, pero no son muy novedosos porque son simples derivados de cosas que ya se conocen»

En una entrevista telefónica, Cheetham me dijo que «el artículo de Google se queda muy corto en términos de ser una contribución útil y práctica para los científicos de materiales experimentales». Seshadri dijo: «En realidad creemos que Google ha errado el blanco aquí».

«Si estuviera buscando un nuevo material para realizar una función particular, no revisaría más de 2 millones de nuevas composiciones como propone Google», dijo Cheetham. “No creo que esa sea la mejor manera de seguir adelante. Creo que la metodología general probablemente funcione bastante bien, pero debe centrarse mucho más en necesidades específicas, de modo que ninguno de nosotros tenga suficiente tiempo en la vida para analizar 2,2 millones de posibilidades y decidir qué tan útil podría ser. Pasamos bastante tiempo analizando un subconjunto muy pequeño de las cosas que proponemos y nos damos cuenta de que no sólo no tenían funcionalidad, sino que la mayoría de ellas podrían ser creíbles, pero no son muy novedosas porque son derivados simples de cosas que ya se conocen. ”.

Google DeepMind me dijo en una declaración: «Respaldamos todas las afirmaciones hechas en el documento GNoME de Google DeepMind».

«Nuestra investigación sobre GNoME representa órdenes de magnitud más de materiales candidatos de los que la ciencia conoció anteriormente, y cientos de los materiales que hemos predicho ya han sido sintetizados de forma independiente por científicos de todo el mundo», añadió. El Proyecto Materiales, un base de datos de propiedad material de acceso abiertoha descubierto que la base de datos GNoMe de Google es de primera línea en comparación con otros modelos de aprendizaje automático, y Google dijo que algunas de las críticas en el análisis de materiales químicos, como el hecho de que muchos de los nuevos materiales ya tienen estructuras conocidas pero utilizan elementos diferentes, fueron realizados por DeepMind por diseño.

Mientras tanto, el artículo de Berkeley afirmaba que un “laboratorio autónomo” (llamado “A-Lab”) tomó estructuras propuestas para otro proyecto llamado Proyecto Materiales y utilizó un robot para sintetizarlas sin intervención humana y creó 43 “compuestos novedosos”. Hay un investigador de DeepMind en este artículo y Google lo promocionó en su comunicado de prensa, pero Google no realizó el experimento activo.

investigadores humanos analizando este hallazgo se encontró que también tiene problemas: “Discutimos los 43 productos sintéticos y señalamos cuatro deficiencias comunes en el análisis. Desafortunadamente, estos errores llevan a la conclusión de que no se han descubierto nuevos materiales en ese trabajo”, escribieron en su análisis los autores, entre los que se incluyen Leslie Schoop de la Universidad de Princeton y Robert Palgrave del University College de Londres.

Una vez más, cada uno de los cuatro investigadores con los que habló dijeron que creen que un proceso guiado por IA para encontrar nuevos materiales es prometedor, pero dijeron que los artículos específicos que analizaron no eran necesariamente grandes avances y que no deberían contextualizarse como cuentos. .

“En el artículo de DeepMind hay muchos ejemplos de materiales predichos que claramente no tienen sentido. No sólo a los expertos en la materia, sino que la mayoría de los estudiantes de secundaria podrían decir que compuestos como el H2O11 (que es una predicción de Deepmind) no parecen correctos”, me dijo Palgrave. “Hay muchos otros ejemplos de compuestos claramente incorrectos y Cheetham/Seshadri hacen un gran trabajo al analizar esto de manera más diplomática que yo aquí. A mí me parece que no se ha realizado un control de calidad básico: que el ML produce compuestos como predicciones es alarmante y, para mí, muestra que algo ha salido mal”.

La IA se ha utilizado para inundar Internet con una gran cantidad de contenido que los humanos no pueden analizar fácilmente, lo que hace que descubrir trabajos de alta calidad generados por humanos sea un desafío. Es una analogía imperfecta, pero los investigadores con los que hablé dijeron que algo similar podría suceder también en la ciencia de los materiales: bases de datos gigantes de estructuras potenciales no necesariamente hacen que sea más fácil crear algo que vaya a tener un impacto positivo en la sociedad.

“Conocer millones de materiales (si es exacto) tiene algunos beneficios, pero ¿cómo se navega por este espacio en busca de materiales útiles para fabricar?”, dijo Palgrave. «Es mejor tener una idea de unos pocos compuestos nuevos con propiedades excepcionalmente útiles que un millón de los que no se sabe cuáles son buenos».

Schoop dijo que ya existían “50.000 compuestos inorgánicos cristalinos únicos, pero solo conocemos las propiedades de una fracción de ellos. Así que no me queda muy claro por qué necesitamos millones de compuestos más si todavía no hemos comprendido todos los que conocemos. Podría ser mucho más útil predecir las propiedades de los materiales que simplemente materiales nuevos”.

Una vez más, Google DeepMind dice que defiende su artículo y tiene problemas con estas caracterizaciones, pero es justo decir que ahora hay mucho debate sobre cómo se pueden utilizar la IA y el aprendizaje automático para descubrir nuevos materiales, cómo deben ser estos descubrimientos. contextualizado, probado y aplicado, y cómo y si arrojar al mundo bases de datos gigantescas de estructuras propuestas realmente conducirá a avances nuevos y tangibles para la sociedad, o si simplemente creará mucho ruido.

«No creemos que haya un problema fundamental con la IA», dijo Seshadri. “Creemos que es un problema de cómo se usa. No somos personas anticuadas que piensan que estas técnicas no tienen cabida en nuestra ciencia”.