ONE游戏

IT之家 12 月 23 日消息，华为数据存储与中科弘云今日发布了 AI 推理加速联合解决方案。该方案以华为 OceanStor A 系列存储为数据底座，结合中科弘云智算互联网云服务平台 HyperCN 平台，优化长序列推理体验。该方案深度融合华为 OceanStor A 系列存储、华为 UCM 推理记忆数据管理技术以及中科弘云 HyperCN 平台能力，通过 KV Cache 多级缓存管理、秒级算力调度、分钟级推理大模型部署及全流程 AI 工具链，将智能算力输送至业务一线。该联合方案的核心优势如下：异构管理：支持平台、计算与存储的协同联动，适配英伟达、华为昇腾、寒武纪等多元 AI 算力，兼容 MindSpore / vLLM/SGLang 等主流框架，并通过 Kubernetes 与华为 OceanStor A 系列存储实现无缝对接。算力调度：对算力资源进行细粒度切分与池化处理，按需灵活调度，实现资源利用率最大化；具备集群作业调度、运维监控、故障恢复等功能，支持分钟级任务恢复与系统健康监测。推理加速：依托华为 UCM 技术，将 KV Cache 持久化至华为 OceanStor A 系列存储，实现推理记忆全量保存，减少重复计算；此外，融合 Prefix Cache、GSA 稀疏加速等算法，显著降低首 Token 时延（TTFT），使长序列推理吞吐与体验实现倍数级提升。端到端 AI 工具链：覆盖数据管理标注、算法开发、大小模型训练推理、智能体开发等全流程，支持传统机器学习与深度学习开发，实现 AI 资产的统一建设与集中管理。经实测，在智能问答的典型推理场景中，该方案实现首 Token 时延（TTFT）降低 57.5%，且序列长度越长，优化效果越显著；在长文档推理场景中，结合 GSA 稀疏加速算法，当序列长度为 39K 时，并发能力提升 86%，推理吞吐提升 36%，提升推理效率与体验。IT之家从合作公告获悉，该联合方案目前已在能源电力、智能制造、国家实验室等关键行业启动试点应用。 (function(){ var adScript = document.createElement('script'); adScript.src = '//d1.sina.com.cn/litong/zhitou/sinaads/demo/wenjing8/js/yl_left_hzh_20171020.js'; document.getElementsByTagName('head')[0].appendChild(adScript); })();