Лекун протягом багатьох років був найрішучішим критиком консенсусу трансформерів і LLM, і це його головний твір «Більшість реальних даних сенсорів є непередбачуваними, і генеративні підходи працюють погано.» Це, по суті, уособлює його погляд, що справжній інтелект не може виникати лише через масштабування текстового прогнозування Чи правий він, чи ні, я з нетерпінням чекаю, коли на ринок з'явиться ще одна школа думки, яка певною мірою поверне агентність у фізичний світ. Варто «стежити за цим» :)

насправді є дуже вагома причина, чому більшість людей за своєю природою скептично ставляться до меж LLM, і ніхто не робить це краще, ніж Джудея Перл, яка пояснює це через «Сходи причинності». В основному, у цій драбині міркувань є три сходинки — перша сходинка — це «асоціація», де спостерігається кореляція даних. «Люди, які носять запальнички, частіше хворіють на рак легень». Саме це трансформер робить надзвичайно добре з нескінченним масштабом другий рівень, — це «інтервенція», тобто розуміння, що відбувається, коли ти справді щось робиш, і це є основою «наукового методу», який ми всі вивчали в початковій школі. «Якщо я ЗМУШУ когось носити запальничку, чи ЦЕ ВИКЛИКАЄ рак?» Третій ранг — це «контрфакти», де ти розмірковуєш, що МОГЛО б статися, якби ти зробив xyz. Це, по суті, найвища форма мислення, тобто ретроспективне причинне мислення. Це основа моральної філософії В основному, немає жодної обчислювальної роботи, яка допоможе тобі перейти з першого рівня на другий чи третій (які, на мою думку, більше відображають людський досвід інтелекту). Для цього потрібні каузальні графи, тобто потрібні структуровані спостереження. Це принципово відрізняється від архітектури трансформатора, яка по суті просто підгонка кривих Я думаю, що багато причин, чому існує справжнє сумнівання щодо необмежених витрат «все або нічого» на нинішню мету ШІ, полягає в тому, що прибуток насправді більш обмежений, ніж могли б подумати інвестори та науковці, якщо не повертатися до деякої істини першочергових принципів