蚂蚁AI安全实验室开源两款AI安全模型
蚂蚁AI安全实验室7月13日开源SingGuard-NSFA和SingGuard两款安全模型,分别面向智能体行为安全和多模态内容安全两大场景。两款模型覆盖提示词注入、权限滥用、恶意代码执行、数据泄露等185个具体风险场景,提供0.8B、2B、4B、9B四种规模,企业可根据部署环境选择合适参数量。
SingGuard-NSFA针对智能体自主执行行为设计。智能体开始调用工具、执行代码、编排多步任务,安全风险从内容层面延伸至行为层面。传统内容审核体系无法有效覆盖提示词注入、敏感信息窃取、恶意代码执行、资源耗尽、权限滥用等问题。SingGuard-NSFA基于CIA原则,结合OWASP等国际安全指南,将智能体风险细分为7大类、28个中类和185个具体场景,建立覆盖133种语言、近10万条样本的智能体安全评测体系。
技术实现上,SingGuard-NSFA提供两种工作模式。安全审计模式逐条生成详细风险分析报告,方便事后审查和合规记录。实时防护模式在50毫秒左右完成单次风险判定,适合线上高并发场景。企业可先部署审计模式观察拦截效果,再切换至实时防护模式。
多模态安全护栏SingGuard面向文本、图片及跨模态内容建立统一安全判断框架。今年6月Anthropic发布Claude Fable 5模型,研究者用Unicode字符和西里尔字母替换敏感词绕过了安全护栏。模型能还原原意,分类器却视其为陌生拼写,系统提示词被套出。模型越能读懂变形文字、图片和跨模态信息,传统关键词识别式护栏越力不从心。
SingGuard可识别攻击者将恶意动作隐藏在文字、图片等不同模态中的复杂攻击。模型支持运行时动态加载自然语言安全规则,无需重新训练即可完成规则更新。企业业务流量较大、安全规则持续演进的生产环境,可快速响应新出现的安全威胁。
2025年12月OWASP发布《智能体应用安全十大风险》,系统梳理智能体特有安全威胁。2026年5月国家网信办、国家发展改革委、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》,首次从国家层面对智能体安全治理提出明确要求。两款开源模型为企业提供符合国家要求的底层安全能力。
两款模型已在GitHub和ModelScope平台开源,采用Apache 2.0协议,企业可免费商用。蚂蚁AI安全实验室同时发布技术报告,详细说明模型架构、训练数据和评测方法。企业可直接下载部署,也可基于自身业务场景进行二次开发。
版权声明:
1. 本站部分内容源自互联网公开信息和用户自主上传,旨在传递行业知识、促进技术交流,不声明或保证内容的绝对准确性;
2. 若您认为某内容侵犯了您的合法权益(包括但不限于著作权、商标权),请通过以下方式提交权属证明:
邮箱:service@softxiaoer.com 主题:【侵权删除】+文章标题/网址
3. 收到有效通知后,我们将在72小时内核实并删除相关内容;
4. 转载/引用本站内容请注明来源并添加反向链接。