跳到正文
IT之家·· 4 天前AI 评分64

昇腾支持 Kimi K3.1 Pro 首日推理部署

华为宣布昇腾 0 Day 支持 Kimi K3.1 Pro 推理部署,2.8 万亿级 MoE 模型能力再进阶

AI 导读

昇腾宣布基于 vLLM Ascend 和 SGLang 完成 Kimi K3.1 Pro 的 0 Day 推理适配,支持多款昇腾超节点系列产品部署。Kimi K3.1 Pro 拥有 2.8 万亿参数、原生支持视觉理解并提供百万 token 上下文窗口,昇腾围绕稀疏注意力、多模态推理、缓存与跨卡通信完成优化。

来源:IT之家 · ithome.com