跳到正文
MarkTechPost· Michal Sutter·· 4 天前AI 评分73

百度发布 ERNIE 5.5 Flash Base 280B 稀疏 MoE 基础模型

Baidu Releases ERNIE 5.5 Flash Base: A 280B MoE Base Model With 14B Active Parameters

AI 导读

百度发布 ERNIE 5.5 Flash Base,这是一款总参数量 280B、每个 token 激活 14B 参数的文本稀疏 MoE 基础模型。模型提供 128K 训练上下文和 1M 微调及推理上下文,权重以 FP8 和 BF16 形式发布在 Hugging Face 与 ModelScope,并支持通过 SGLang 和 vLLM 部署。

来源:MarkTechPost · marktechpost.com

事件后续 · 1

查看事件全部