كيف تتوافق المعايير مع القدرات الواقعية؟ لدراسة ذلك، قمنا بتوظيف 4 من القائمين على مستودعات مستودعات تستخدم في SWE-bench Verified لمراجعة كود الوكيل. من بين العملاء الذين اجتازوا اختبار تقييم SWE-bench، يقوم المسؤولون بدمج ~نص. وهذا ينطبق على الضوضاء في قرارات القائمين على الصيانة.