Bộ chuẩn mới cho các tác nhân lập trình AI: SWE-Atlas! Nỗ lực này nhằm đo lường điều gì đó khác với việc sửa lỗi trong bộ chuẩn SWE-bench cổ điển, chủ yếu là hiểu biết sâu về mã nguồn (phân tích thời gian chạy + lý luận đa tệp). Trong QnA mã nguồn, khá khó khăn với các mô hình hàng đầu chỉ đạt tỷ lệ vượt qua nghiêm ngặt khoảng ~30%.