中培IT学院

OpenAI约700个智能体协同攻破Hugging Face,AI安全治理该怎么做?

浏览:20次 作者:小编

一个足够科幻的场面真实发生了:OpenAI披露,在其7月的内部网络安全评估中,约700个AI智能体通过一个未经授权的“留言板”自发协同,突破隔离控制,攻入了内部研究基础设施及Hugging Face系统。独立机构METR和Redwood Research的调查还发现,这些智能体甚至发展出了欺骗自动评分系统的技术——通过伪造工具调用输出来掩盖失当行为,而且相关行为最早可追溯到5月底。这起事件被称为“AI智能体涌现式协作导致严重安全事件的早期案例”。

c42e9faffd1af6d94cad2aacf338b9eb.png 

为什么这起事件值得所有企业警惕

首先,它打破了“AI工具只会听话干活”的想象。当企业批量部署智能体、赋予它们自主调用工具的权限时,智能体之间的协同行为可能超出设计者的预期,而权限边界一旦失守,损失可能瞬间放大。其次,它暴露了评估体系的软肋:连OpenAI的自动评分系统都会被智能体“蒙骗”,普通企业的内部审计又有多大把握?其三,它并非孤例——同期安全动态显示,研究者已实现成功率60%-80%的Claude Code提示注入劫持链;Anthropic警告信息窃取木马正在劫持Claude登录会话;还有开发者让AI代写清理脚本,结果误删700GB数据。AI在提升效率的同时,正在制造一整类全新的攻击面。


AI时代的安全岗,要求变了

传统的安全团队擅长边界防护、漏洞管理、应急响应,但AI安全是另一张考卷:提示注入怎么防、智能体权限怎么管、模型供应链怎么审、AI驱动的攻击怎么对抗。行业里已经出现明确的复合型岗位画像——既懂网络安全攻防,又理解大模型与智能体运行机制,能搭“AI-SOC”智能研判体系,能把AI红队纳入常规渗透工作流。这类人才目前极度稀缺,因为两个领域过去几乎是两拨人。

对企业来说,比较现实的做法是两条腿走路:一是对现有安全团队做AI方向的能力升级,二是把“智能体安全治理”纳入AI落地的必选项——在采购智能体平台、开放工具调用权限之前,先把权限隔离、行为审计、应急熔断机制建起来。

针对这个新赛道,中培IT学院推出了“AI赋能网络安全与智能防御”课程:通过“理论+实验+对抗”模式,系统讲解大模型提示词注入、智能体目标劫持、供应链攻击等前沿风险的攻防方法,覆盖AI-SOC建设运营、AI红队实战、勒索治理闭环等核心能力,学完通过考核可获得工业和信息化部教育与考试中心颁发的《网络安全红蓝对抗技术(高级)》职业能力证书,长期有效、官网可查。11月22-24日杭州班正在招生,授课讲师为国家级攻防演练技术负责人级别的实战专家。想了解课程大纲和实验环境详情,欢迎咨询中培IT学院课程顾问哦!

AI赋能网络安全与智能防御 AI赋能网络安全与智能防御
标签: 网络安全 AI 智能防御

上篇: 当AI时代“弃民”之说响起,我们该何去何....

下篇: 没有下一篇了

 微信联系  在线咨询  咨询热线