The Decoder· Matthias Bastian·· 4 天前AI 评分73
百度发布 2800 亿参数开源基础模型 ERNIE 5.5 Flash Base
Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model
AI 导读
百度发布开源基础模型 ERNIE 5.5 Flash Base，采用 MoE 架构，总参数量 280B，每个输入激活 14B 参数。模型预训练使用 33.5T tokens，训练上下文最高为 128,000 tokens，微调和推理设计支持最高 1 million tokens；其权重以 FP8 和 BF16 格式在 Hugging Face 提供。
来源：The Decoder · the-decoder.com