LeCun a été le critique le plus agressif du consensus sur les transformateurs/LLM pendant des années, et c'est son magnum opus "une grande partie des données de capteurs du monde réel est imprévisible, et les approches génératives ne fonctionnent pas bien." Cela résume essentiellement son point de vue selon lequel la véritable intelligence ne peut pas provenir uniquement de l'augmentation de la prédiction de texte qu'il ait raison ou non, je suis excité de voir une autre école de pensée arriver sur le marché qui, d'une certaine manière, redonne de l'agence au monde physique. À "surveiller" :)

il y a en fait une très bonne raison pour laquelle la plupart des gens sont intrinsèquement sceptiques quant aux limites des LLM et personne ne fait un meilleur travail que Judea Pearl qui l'explique via "l'Échelle de la Causalité". Fondamentalement, il y a trois échelons dans cette échelle de raisonnement - l'échelon 1 est "association" où vous observez une corrélation dans les données. "les personnes qui portent des briquets sont plus susceptibles d'avoir un cancer du poumon". C'est ce que le transformateur fait exceptionnellement bien à une échelle infinie. L'échelon 2 est "intervention" qui consiste à comprendre ce qui se passe lorsque vous FAITES réellement quelque chose, et forme la base de la "méthode scientifique" que nous avons tous apprise à l'école primaire. "si je FAIS porter un briquet à quelqu'un, cela CAUSE-t-il le cancer ?" L'échelon 3 est celui des "contrefactuels" où vous raisonnez sur ce qui se serait passé si vous aviez fait xyz. C'est essentiellement la forme la plus élevée de raisonnement, qui est le raisonnement causal rétrospectif. C'est la fondation de la philosophie morale. Fondamentalement, il n'y a pas de quantité de calcul qui vous aidera à passer de l'échelon 1 à l'échelon 2 ou 3 (qui, pour moi, sont plus représentatifs de l'expérience humaine de l'intelligence). Cela nécessite des graphes causaux, ce qui signifie que vous devez avoir des observations structurées. C'est fondamentalement différent de l'architecture du transformateur qui consiste essentiellement à ajuster des courbes. Je pense qu'une grande partie de l'hésitation réelle sur cette vision d'un "tout ou rien" illimité des dépenses dans le métavers actuel de l'IA est que le gain est en réalité plus fini que ce que les investisseurs et les scientifiques pensent sans revenir à une certaine vérité des premiers principes.