MarkTechPost· Michal Sutter·· 4 天前AI 评分73
百度发布 ERNIE 5.5 Flash Base 280B 稀疏 MoE 基础模型
Baidu Releases ERNIE 5.5 Flash Base: A 280B MoE Base Model With 14B Active Parameters
AI 导读
百度发布 ERNIE 5.5 Flash Base,这是一款总参数量 280B、每个 token 激活 14B 参数的文本稀疏 MoE 基础模型。模型提供 128K 训练上下文和 1M 微调及推理上下文,权重以 FP8 和 BF16 形式发布在 Hugging Face 与 ModelScope,并支持通过 SGLang 和 vLLM 部署。
来源:MarkTechPost · marktechpost.com