LeCun đã là người chỉ trích mạnh mẽ nhất về sự đồng thuận của transformer/LLM trong nhiều năm, và đây là tác phẩm vĩ đại của ông "nhiều dữ liệu cảm biến trong thế giới thực là không thể đoán trước, và các phương pháp sinh tạo không hoạt động tốt." Điều này về cơ bản thể hiện quan điểm của ông rằng trí thông minh thực sự không thể đến từ việc mở rộng dự đoán văn bản một mình dù ông có đúng hay không, tôi rất hào hứng khi thấy một trường phái tư tưởng khác xuất hiện trên thị trường mà theo một cách nào đó khôi phục lại quyền tự chủ cho thế giới vật chất. Đáng "theo dõi nó" :)

thực sự có một lý do rất tốt giải thích tại sao hầu hết mọi người lại hoài nghi về giới hạn của LLM và không ai làm tốt hơn Judea Pearl, người đã giải thích điều này qua "Thang bậc Nguyên nhân" cơ bản có ba bậc trong thang bậc lý luận này - bậc 1 là "liên kết" nơi bạn quan sát sự tương quan trong dữ liệu. "những người mang bật lửa có khả năng cao hơn bị ung thư phổi" kiểu như vậy. đây là điều mà transformer làm rất tốt với quy mô vô hạn bậc 2 là "can thiệp" tức là hiểu điều gì xảy ra khi bạn thực sự LÀM một cái gì đó, và hình thành cơ sở của "phương pháp khoa học" mà chúng ta đã học ở trường tiểu học. "nếu tôi BUỘC ai đó mang một cái bật lửa, liệu nó có GÂY ra ung thư không?" bậc 3 là "các trường hợp phản thực" nơi bạn lý luận về những gì SẼ xảy ra nếu bạn làm xyz. nó cơ bản là hình thức lý luận cao nhất, đó là lý luận nguyên nhân hồi tưởng. đây là nền tảng của triết học đạo đức cơ bản, không có lượng tính toán nào có thể giúp bạn từ bậc 1 lên bậc 2 hoặc 3 (mà theo tôi là đại diện hơn cho trải nghiệm con người về trí tuệ). điều này yêu cầu các đồ thị nguyên nhân, có nghĩa là bạn cần có những quan sát có cấu trúc. điều này hoàn toàn khác với kiến trúc transformer, cái mà cơ bản chỉ là khớp đường cong tôi nghĩ rằng một phần lớn lý do tại sao có sự do dự thực sự về quan điểm này của việc chi tiêu "tất cả hoặc không có gì" không giới hạn vào meta AI hiện tại là vì lợi ích thực sự có thể hạn chế hơn những gì các nhà đầu tư và các nhà khoa học nghĩ mà không trở về với một số sự thật nguyên tắc đầu tiên.