7月8日，OpenAI发表博文，对AI软件工程领域的行业权威评测基准SWE-BenchPro提出挑战。博文中指出，在SWE-BenchPro的731个公开测试任务中，约30%存在评测缺陷。SWE-BenchPro由ScaleAI推出，因其高度贴近实际企业级开发和高防作弊标准而成为行业权威。

OpenAI通过数据点分析和人工标注活动，识别出200个和249个失效任务，分别占全部任务的27.4%和34.1%。问题类型包括测试过严、提示不充分、测试范围过窄和提示具有误导性。例如，一个任务要求在Markdown内容前加1个空格，但隐藏测试却要求2个空格，导致模型按说明编写代码仍被判错。

基于这次分析，OpenAI撤回对SWE-BenchPro的采用建议，并呼吁由资深软件开发者为AI评测设计新的基准。这表明当前的评测基准已无法有效评估模型的软件开发能力，需要更新和改进以适应AI技术的发展。