10月28日,
谷歌更新了用于评估AI模型安卓编程辅助能力的AndroidBench榜单,新增标注各模型所采用的推理等级,并补充了OpenAI的GPT-6Sol、GPT-6.1Sol、Claude Sonnet5、Claude Sonnet5.5以及谷歌自家Gemini4Argon等多款模型的测试结果。
目前榜单第一名是Claude Sonnet5.5,通过率40%,完成率80.9%。10月初加入榜单的Claude Opus5.5位列第二。OpenAI的GPT-6.1Sol通过率29.3%,完成率82.8%,调用成本仅99.50美元;相比之下,排名第一的Claude调用成本高达1574.90美元。
谷歌自家Gemini4Argon首秀表现平平,排在第五位,通过率仅有21.3%,完成率81.8%,平均调用成本267.70美元,明显落后于其他前沿模型,甚至不及Claude Fable5.1。谷歌官宣Gemini4Argon之后不久,就有内部消息称该模型难以处理部分编程任务,不过谷歌依旧认可其能力。AndroidBench于今年年初推出,测试会考量安卓开发特有的使用场景以及安卓开发的最佳实践,谷歌在持续开展测试、纳入新模型排名的同时,还把平均调用成本纳入基准指标,方便开发者结合自身需求做选择。


来源:一电快讯
返回第一电动网首页 >
以上内容由AI创作,如有问题请联系admin#d1ev.com(#替换成@)沟通,AI创作内容并不代表第一电动网(www.d1ev.com)立场。
文中图片源自互联网或AI创作,如有侵权请联系邮件删除。