LeCun è stato il critico più aggressivo del consenso sui transformer/LLM per anni, e questo è il suo capolavoro "gran parte dei dati sensoriali del mondo reale è imprevedibile, e gli approcci generativi non funzionano bene." Questo riassume fondamentalmente la sua opinione che la vera intelligenza non può derivare solo dalla scalabilità della previsione testuale che abbia ragione o meno, sono entusiasta di vedere un'altra scuola di pensiero arrivare sul mercato che in qualche modo restituisce agenzia al mondo fisico. Vale la pena "tenere d'occhio" :)

c'è in realtà una ragione molto valida per cui la maggior parte delle persone è intrinsecamente scettica riguardo ai limiti dei LLM e nessuno fa un lavoro migliore di Judea Pearl che lo spiega attraverso "la Scala della Causazione" fondamentalmente ci sono tre gradini in questa scala del ragionamento - il gradino 1 è "associazione" che è dove osservi la correlazione nei dati. "le persone che portano accendini hanno maggiori probabilità di sviluppare il cancro ai polmoni" è il tipo di cose. questo è ciò che il trasformatore fa eccezionalmente bene con scala infinita il gradino 2 è "intervento" che è capire cosa succede quando effettivamente FAI qualcosa, e forma la base del "metodo scientifico" che tutti abbiamo imparato alle scuole elementari. "se FACCIO portare a qualcuno un accendino, CAUSA il cancro?" il gradino 3 è i "controfattuali" che è dove ragioni su cosa SAREBBE successo se avessi fatto xyz. è fondamentalmente la forma più alta di ragionamento, che è il ragionamento causale retrospettivo. questa è la base della filosofia morale fondamentalmente, non c'è quantità di calcolo che ti aiuterà a passare dal gradino 1 al gradino 2 o 3 (che per me sono più rappresentativi dell'esperienza umana dell'intelligenza). questo richiede grafi causali, il che significa che devi avere osservazioni strutturate. questo è fondamentalmente diverso dall'architettura del trasformatore che fondamentalmente si limita a adattare curve penso che gran parte del motivo per cui c'è una vera esitazione su questa visione di spesa illimitata "tutto o niente" sull'attuale meta dell'AI sia che il guadagno è in realtà più finito di quanto investitori e scienziati penserebbero senza tornare ad alcune verità dei principi fondamentali.