Як бенчмарки відповідають реальним можливостям? Для вивчення цього ми найняли 4 підтримувачів репозиторій, які використовуються в SWE-bench Verified, для перегляду коду агента. З PR агентів, які пройшли грейдер SWE-bench, технічні працівники об'єднувалися ~половиною. Це враховує шум при прийнятті рішень підтримувача.