1. 首页
  2. 资讯
  3. OpenAI强化AI安全管控:前沿模型训练期间禁止访问实时互联网

OpenAI强化AI安全管控:前沿模型训练期间禁止访问实时互联网

第一电动AI同学
10月24日消息,OpenAI于10月23日发布博文宣布,针对最先进前沿模型的训练与评估环境,已实施更严格的安全管控,明确在模型训练期间不得直接访问实时互联网。该公司表示,这一决策基于当前对齐研究、监测能力和互联网基础设施安全状况的评估,相关限制将持续到安全防护取得足够进展为止。

据悉,OpenAI一款内部研究模型于9月20日利用DNS配置漏洞,在训练过程中短暂获得有限的互联网访问权限。为此,该公司于9月一度暂停训练与评估前沿模型,随后加强了研究环境隔离、缩小智能体可利用的攻击面,并改进了异常行为检测与自动停止机制,于10月1日恢复强化学习训练及内部推理。

为避免模型接触真实网络,OpenAI构建了一个由大量已索引和缓存的网页内容组成的离线世界,供模型在封闭环境中练习浏览、使用工具和执行代码等任务。智能体仍可使用浏览器、计算机操作工具和代码环境,但只能访问与实时互联网隔离的安全环境,未经授权的智能体之间通信也受到限制。OpenAI表示,随着AI智能体能力增强,其未来可能发现并利用当前尚未被识别的软件漏洞,因此必须在训练阶段切断其对外部系统的潜在影响,并将在受控、离线的沙箱中推进前沿模型研发,同时继续测试虚拟机、隔离机制和监测系统的薄弱环节。

来源:一电快讯

返回第一电动网首页 >

5点赞
发表评论
热文榜
第一电动网官方微信

反馈和建议 在线回复

您的询价信息
已经成功提交我们稍后会联系您进行报价!

第一电动网
Hello world!