LeCun vs Rahimi: ¿el aprendizaje automático se ha convertido en alquimia?

El arte medieval de la alquimia se creía capaz de crear oro e incluso la inmortalidad humana. Sin embargo, el método de prueba y error fue abandonado gradualmente después de que pioneros como Issac Newton introdujeron la ciencia de la física y la química en la década de 1700. Pero ahora, algunos investigadores de aprendizaje automático se preguntan en voz alta si la investigación de inteligencia artificial de hoy se ha convertido en un nuevo tipo de alquimia.

El debate comenzó con Ali Rahimi de Google, ganador del premio Test-of-Time en la reciente Conferencia sobre Procesamiento de Información Neural (NIPS). Rahimi lo dijo sin rodeos en su presentación de NIPS: "El aprendizaje automático se ha convertido en alquimia".

Ali Rahimi habla en NIPS

Según Rahimi, la investigación del aprendizaje automático y la alquimia funcionan hasta cierto punto. Los alquimistas descubrieron la metalurgia, la fabricación de vidrio y varios medicamentos; mientras que los investigadores de aprendizaje automático han logrado hacer máquinas que pueden vencer a los jugadores humanos de Go, identificar objetos a partir de imágenes y reconocer voces humanas.

Sin embargo, los alquimistas creían que podían curar enfermedades o transmutar metales básicos en oro, lo cual era imposible. La revolución científica tuvo que desmantelar 2000 años de teorías alquímicas.

Rahimi cree que los éxitos de los modelos de aprendizaje automático contemporáneos, que se basan principalmente en métodos empíricos, están plagados de los mismos problemas que la alquimia. Los mecanismos internos de los modelos de aprendizaje automático son tan complejos y opacos que los investigadores a menudo no entienden por qué un modelo de aprendizaje automático puede generar una respuesta particular de un conjunto de entradas de datos, también conocido como el problema del recuadro negro. Ranimi cree que la falta de comprensión teórica o de interpretación técnica de los modelos de aprendizaje automático es motivo de preocupación, especialmente si la IA se responsabiliza de la toma de decisiones críticas.

“Estamos construyendo sistemas que rigen la atención médica y median nuestro diálogo cívico. Influiríamos en las elecciones. Me gustaría vivir en una sociedad cuyos sistemas se construyan sobre conocimientos verificables, rigurosos y completos, y no sobre alquimia ”, dijo Rahimi.

Eso provocó que el Director de Investigación de IA de Facebook, Yann LeCun, respondiera a la charla de Rahimi al día siguiente, diciendo que la analogía de la alquimia era "insultante" e "incorrecta". "Criticar a toda una comunidad (y a una increíblemente exitosa) por practicar" alquimia ", simplemente porque nuestras herramientas teóricas actuales no se han puesto al día con nuestra práctica es peligroso".

LeCun dijo que las actitudes escépticas como las de Rahimi fueron la razón principal por la que la comunidad de aprendizaje automático ignoró la efectividad de las redes neuronales artificiales en la década de 1980. Como principal contribuyente al desarrollo actual de redes neuronales convolucionales, LeCun está preocupado de que el escenario pueda repetirse.

"Los artefactos de ingeniería casi siempre precedieron a la comprensión teórica", dijo LeCun. “Comprender (teóricamente o no) es algo bueno. Es el propósito de muchos de nosotros en la comunidad NIPS. Pero otro objetivo importante es inventar nuevos métodos, nuevas técnicas y sí, nuevos trucos ".

Seis horas después de que LeCun publicara su comentario en Facebook, Rahimi respondió con un tono suave, diciendo que apreciaba la reacción reflexiva de LeCun: "El" rigor "que estoy pidiendo son las pepitas pedagógicas: experimentos simples, teoremas simples".

LeCun estuvo de acuerdo con los puntos de vista de Rahimi sobre la pedagogía, diciendo: "Los teoremas simples y generales son buenos ... pero bien podría ser que no tendremos teoremas 'simples' que sean más específicos de las redes neuronales, por las mismas razones que no tenemos soluciones analíticas de Navier-Stokes o el problema de los 3 cuerpos ".

El debate Rahimi - LeCun se convirtió en una discusión de amplio alcance en NIPS e Internet. El Dr. Yiran Chen, Director del Centro Duke de Laboratorio Evolutivo, intentó hacer las paces, sugiriendo que LeCun había reaccionado exageradamente, y que las posiciones opuestas en realidad no eran tan contradictorias.

“Lo que quiere decir Rahimi es que ahora carecemos de una explicación teórica clara de los modelos de aprendizaje profundo y esta parte necesita ser fortalecida. LeCun significa que la falta de una explicación clara no afecta la capacidad del aprendizaje profundo para resolver problemas. El desarrollo teórico puede retrasarse ”, dijo el Dr. Chen.

Otros académicos, como el investigador y gerente de investigación de Facebook, Yuandong Tian, ​​caracterizaron el intercambio como una contradicción común entre el Primer Principio y el empirismo: "Tales debates siempre están sucediendo en la academia".

Desencadenado por el debate de Rahimi - LeCun, la discusión sobre la comprensión o la falta de comprensión de los modelos de aprendizaje automático probablemente continuará por algún tiempo. ¿Queremos modelos de aprendizaje automático más efectivos sin explicaciones teóricas claras o modelos más simples y transparentes que sean menos efectivos para resolver tareas específicas? A medida que la IA penetra gradualmente en campos críticos como el derecho y la atención médica, el debate seguramente se reactivará.

Periodista: Tony Peng | Editor: Michael Sarazen