ベンチマークはどのようにして実際の能力と結びつくのでしょうか?これを研究するために、私たちはSWE-bench Verifiedで使われているリポジトリの4人のメンテナを雇い、エージェントコードをレビューしました。 SWE-benchのグレーダーに合格したエージェントPRのうち、メンテナンス担当者は~半数を合併しました。これは、メンテナーの意思決定におけるノイズの原因となります。