LeCun ha sido el crítico más agresivo del consenso sobre transformadores/LLM durante años, y esta es su obra maestra. "gran parte de los datos de sensores del mundo real son impredecibles, y los enfoques generativos no funcionan bien." Esto resume básicamente su opinión de que la verdadera inteligencia no puede provenir solo de escalar la predicción de texto. Ya sea que tenga razón o no, estoy emocionado de ver otra escuela de pensamiento llegar al mercado que, de alguna manera, restaura la agencia al mundo físico. Vale la pena "mantenerlo en la mira" :)

en realidad hay una muy buena razón por la que la mayoría de las personas son inherentemente escépticas sobre los límites de los LLM y nadie lo explica mejor que Judea Pearl, quien lo hace a través de "la Escalera de la Causalidad" básicamente hay tres peldaños en esta escalera de razonamiento: el peldaño 1 es "asociación", que es donde observas correlación en los datos. "las personas que llevan encendedores tienen más probabilidades de desarrollar cáncer de pulmón". esto es lo que el transformador hace excepcionalmente bien a escala infinita. el peldaño 2 es "intervención", que es entender qué sucede cuando realmente HACES algo, y forma la base del "método científico" que todos aprendimos en la escuela primaria. "si HAGO que alguien lleve un encendedor, ¿causa eso cáncer?" el peldaño 3 son los "contrafactuales", que es donde razonas sobre lo que HABRÍA pasado si hubieras hecho xyz. es básicamente la forma más alta de razonamiento, que es el razonamiento causal retrospectivo. esta es la base de la filosofía moral. básicamente, no hay cantidad de computación que te ayude a pasar del peldaño 1 al peldaño 2 o 3 (que para mí son más representativos de la experiencia humana de la inteligencia). esto requiere gráficos causales, lo que significa que necesitas tener observaciones estructuradas. esto es fundamentalmente diferente de la arquitectura del transformador, que básicamente solo ajusta curvas. creo que gran parte de la razón por la que hay una verdadera vacilación sobre esta visión de un gasto ilimitado "todo o nada" en la actual meta de la IA es que la ganancia es en realidad más finita de lo que tanto los inversores como los científicos pensarían sin volver a alguna verdad de primeros principios.