深信服AI算力网关软件正式上市,覆盖X86/C86/ARM三大平台

类别: 软件资讯 发布日期:

6月25日,深信服AI算力网关软件正式上市,同步推出X86、C86、ARM三个版本。该产品定位为企业级混合算力与模型优化调度平台,面向AI Agent应用普及背景下的算力管理需求。

AI算力网关的核心功能围绕Token治理和成本治理展开。在模型接入方面,支持OpenRouter、硅基流动、阿里云、火山引擎等多家模型提供商,兼容OpenAI和Anthropic两种协议,覆盖大语言模型、多模态理解、多模态生成、嵌入模型、重排模型等多种类型。

在调度层面,产品提供语义路由和聚合路由两种策略。语义路由通过智能路由引擎,声称可在AI Coding和数字员工场景中节省50%的Token成本。聚合路由支持轮询、权重、优先级三种模式,用于避免单一模型供应商故障导致的业务中断。

算力管理方面,AI算力网关支持英伟达、昇腾、沐曦、海光、天数等多品牌GPU资源的统一管理,提供大模型推理性能优化能力。据官方数据,优化后可实现性能提升2至5倍,同等GPU资源可服务6至7倍用户量。平台自身采用3实例部署,避免单点故障。

安全方面,AI算力网关可对接深信服AI安全护栏,实现提示词注入、有害信息和敏感词的防护。访问管理支持多层级Token配额和API粒度限流,按请求频率、输入输出Token长度、并发连接数进行流量控制。

该产品的发布与深信服近期在AI基础设施领域的产品线扩展一脉相承。此前深信服已在私有云、超融合、安全等领域建立了较完整的产品矩阵,AI算力网关的推出标志着其向AI运营管理层的延伸。

版权声明:

1. 本站部分内容源自互联网公开信息和用户自主上传,旨在传递行业知识、促进技术交流,不声明或保证内容的绝对准确性

2. 若您认为某内容侵犯了您的合法权益(包括但不限于著作权、商标权),请通过以下方式提交权属证明:
邮箱:service@softxiaoer.com 主题:【侵权删除】+文章标题/网址

3. 收到有效通知后,我们将在72小时内核实并删除相关内容;

4. 转载/引用本站内容请注明来源并添加反向链接。