11月10日，谷歌宣布联合AI模型评测机构ArtificialAnalysis推出多模态知识智能体基准测试MKA，用于评估AI智能体处理视觉复杂文件、完成现实世界知识工作任务的能力。谷歌表示，其最新发布的Gemini4Carbon在该测试中取得参测模型第二名的成绩，完成任务的平均成本仅为排名第一模型的约六分之一。

谷歌DeepMind高级产品经理RohanDoshi和首席工程师BenCaine介绍称，现有不少知识工作基准测试仅依赖文本即可完成，而现实工作往往涉及大量视觉信息。MKA基准测试旨在评估AI智能体在建筑师核对蓝图、工程师分析示意图、专业人员整理演示文稿和报告等复杂工作场景中的表现。谷歌与来自10个行业、83种职业的领域专家合作，建立了包含200项任务的评测集，覆盖商业、建筑、教育、工程、金融、医疗、法律与政府、物流与地图、科学以及软件与数据等领域。每项任务模拟一个多步骤专业项目，包含真实工作提示词以及一组多模态输入文件，通常需要经验丰富的专业人员花费3至8小时完成。

每项任务还配有专家编写的评分标准，平均包含约70项是非判断检查项，其中事实准确性占75%，视觉设计占25%。在评测机制方面，所有参测模型均运行于相同的开源智能体框架Stirrup，使用相同工具、沙箱环境和交互轮次预算。最终交付成果由一个基于非谷歌模型构建的智能体评审系统进行评分，该系统会打开所有文件、渲染页面、检查电子表格公式，并按照专家评分标准核验结果。领域专家对模型输出进行人工评分时，与自动评审系统的结果一致率达到96%。为避免测试题泄露并进入模型训练数据，ArtificialAnalysis将200项正式评测任务设为私有，同时在HuggingFace上公开了另外10项任务供开发者了解测试格式。

测试结果显示，Gemini4Carbon在参测模型中取得质量排名第二的成绩，但平均任务成本仅为排名第一模型的六分之一。不同模型完成同一批任务时的效率存在明显差异，平均每项任务消耗的交互轮次在30至130轮之间。目前，MKA基准测试已通过ArtificialAnalysis开放，开发者可以使用该平台评估自己的模型。Gemini4Carbon则已通过GeminiAPI在GoogleAIStudio中提供。