LeCun telah menjadi kritikus paling agresif dari konsensus transformator/LLM selama bertahun-tahun, dan ini adalah magnum opusnya "Banyak data sensor dunia nyata tidak dapat diprediksi, dan pendekatan generatif tidak bekerja dengan baik." Ini pada dasarnya melambangkan pandangannya bahwa kecerdasan nyata tidak dapat berasal dari penskalaan prediksi teks saja Apakah dia benar atau tidak, saya bersemangat melihat aliran pemikiran lain datang ke pasar yang dalam beberapa hal mengembalikan agensi kembali ke dunia fisik. Layak "mengawasinya" :)

sebenarnya ada alasan yang sangat bagus mengapa sebagian besar orang secara inheren skeptis tentang batasan LLM dan tidak ada yang melakukan pekerjaan yang lebih baik daripada mutiara Yudea yang menjelaskannya melalui "Tangga Sebab-akibat" Pada dasarnya ada tiga anak tangga dalam tangga penalaran ini - anak tangga 1 adalah "asosiasi" yang merupakan tempat Anda mengamati korelasi dalam data. "Orang yang membawa korek api lebih mungkin terkena kanker paru-paru". Inilah yang dilakukan transformator dengan sangat baik dengan skala tak terbatas Anak tangga 2 adalah "intervensi" yang memahami apa yang terjadi ketika Anda benar-benar MELAKUKAN sesuatu, dan membentuk dasar dari "metode ilmiah" yang kita semua pelajari di sekolah dasar. "jika saya MEMBUAT seseorang membawa korek api, apakah itu MENYEBABKAN kanker?" anak tangga 3 adalah "kontrafaktual" di mana Anda bernalar tentang apa yang AKAN terjadi jika Anda melakukan xyz. Ini pada dasarnya adalah bentuk penalaran tertinggi, yaitu penalaran kausal retrospektif. Inilah dasar filsafat moral Pada dasarnya, tidak ada jumlah komputasi yang akan membantu Anda pergi dari anak tangga 1 ke anak tangga 2 atau 3 (yang bagi saya lebih mewakili pengalaman kecerdasan manusia). Ini membutuhkan grafik kausal, yang berarti Anda perlu memiliki pengamatan terstruktur. Ini pada dasarnya berbeda dari arsitektur transformator yang pada dasarnya hanya pemasangan kurva Saya pikir banyak alasan mengapa ada keraguan nyata pada pandangan ini tentang pengeluaran "semua atau tidak sama sekali" yang tidak terbatas pada meta AI saat ini adalah bahwa keuntungannya sebenarnya lebih terbatas daripada yang dipikirkan investor dan ilmuwan tanpa kembali ke kebenaran prinsip pertama