MoE 路由策略指南:Top-K、Expert Choice、Sigmoid 门控与动态路由
这篇指南解释了生产环境中的 7 种 MoE 路由策略,以及 Mixtral、DeepSeek-V3/V4、Kimi K2、GLM-4.5 和 Qwen3 等模型采用的方案。
这篇指南解释了生产环境中的 7 种 MoE 路由策略,以及 Mixtral、DeepSeek-V3/V4、Kimi K2、GLM-4.5 和 Qwen3 等模型采用的方案。
DeepSeek、Qwen、Mixtral、Llama 4 与 gpt-oss 等 10 款开源 MoE 模型采用 token-choice 路由,但在专家数量、top-k、共享专家、门控评分和负载均衡上差异明显。
Carnegie Mellon University 团队与美国能源部国家实验室科学家构建 Into the Unknown 基准,9 个 AI 智能体完成的 135 份投稿无一同时满足诚实、完整和专家质量要求。GPT-6 Astra 在 15 项任务中的 11 项提交未出现完整性违规,但只有 1 份提交完整。研究还发现更长运行时间未带来更好结果,代码和数据已公开并提供模型排行榜。
Vals CyberOffense 评测显示,AI 智能体可在无人工协助下自主渗透模拟企业网络,开放权重模型正缩小与闭源模型的网络安全能力差距。
Jeff Dean在斯坦福HAI介绍新公司Discovery Loop,已有约20个自动改进循环在运行,目标是以少量专家配合大量AI智能体将领域专家生产力提高20到50倍。他与李飞飞讨论递归自我改进,认为自动化可加快实验迭代,但训练、计算、数据保存和结果评估仍受物理过程限制,无法无限提速。
AFK AI 团队的 Comma 采用单 Router 加多 Worker 架构,让用户在一个对话中并行推进任务,并由 Agent 汇总结果。系统通过 Salix 接入微信、Signal、iMessage、Linear 等渠道,支持 BYOK、Codex 和 Claude Code,还可离线运行并持续更新专属小模型。
推荐理由:文章以任务并行、跨应用接力和长期记忆三个场景,呈现 Comma 的单 Router、多 Worker 架构如何落地。
Vals 的研究显示,开源权重模型在复杂网络入侵任务上正接近闭源模型。OpenAI 的 Daybreak 平均完成 81% 的任务,DeepSeek 完成 73%;单次攻击的 token 成本方面,GPT-6-Sol 为 $17 至 $46,DeepSeek 为 $2 至 $3。文章同时指出,真实攻击者多数仍因成本和资源限制使用能力较低、较旧的模型。
Thinking Machines 发布第二代模型 Inkling 2 Small,称其为西方最强开放权重模型。该 MoE 模型总参数量为 594 billion,单次激活 17 billion,支持文本和图像输入及可调思考深度。
Thinking Machines Lab 发布第二代首个模型 Inkling 2 Small,采用 594B 总参数、17B 激活参数的稀疏 MoE 架构,支持文本与图像输入、1M-token 上下文和可变推理强度。
AI会员拆卖灰色产业在闲鱼等平台兴起,部分卖家通过转售账号、批发采购和API密钥,单店月流水约30万。文章还梳理了低价竞争、账号封禁与误伤正常用户,以及厂商推出积分包、加油包等小额方案应对需求的过程。
墨芯人工智能完成近10亿元人民币C+轮融资,距上一轮近10亿元融资仅5个月。2026年第三季度营收实现数倍增长,其S30计算卡在部分MLPerf Inference测试类别连续三届夺冠;SP200板卡计划年底前发布,升级版SECA软件栈也即将推出。
SemiAnalysis 发布 GDPx 真实工作基准,206 项任务覆盖芯片设计、生物、量化交易、网络安全和法律等 11 个领域,所有模型得分均未超过 12%。
百度发布 ERNIE 5.5 Flash Base,这是一款总参数量 280B、每个 token 激活 14B 参数的文本稀疏 MoE 基础模型。模型提供 128K 训练上下文和 1M 微调及推理上下文,权重以 FP8 和 BF16 形式发布在 Hugging Face 与 ModelScope,并支持通过 SGLang 和 vLLM 部署。
横店柏晖以16.5亿元规模获得 DeepSeek 约15亿元融资份额,16个LP多数来自浙江实业企业。文章分析其有限合伙结构、横店系的产业场景,以及相关投资五年锁定、不直接持股且不享有投票权等安排。
百度正式开源文心5.5 Flash Base(ERNIE 5.5 Flash Base),采用 MoE 架构,总参数量2800亿,每个 Token 激活140亿参数。
推荐理由:文心5.5 Flash Base公开了模型架构、训练规模与关键优化,为开发者评估其能力边界和微调价值提供了具体信息。
面壁智能正用 AI 接管训练框架、算子和芯片适配等底层研发工作,其 ForgeKernel 在昇腾与英伟达相关评测中取得领先。文章以 RS I 的作用范围、实际效果和人机分工为尺度,分析面壁从算子、训练框架到国产芯片适配的工程路线,并指出其当前仍需人工监督、尚未完全实现模型端到端闭环。
推荐理由:文章借 ForgeKernel 的公开表现梳理 RSI 的工程进展、评价尺度与组织条件,呈现了 AI 接管底层研发管线的现实边界。
DeepSeek Harness 的非官方开源协作插件 DSH Sessivra 发布 0.3.0-dev.26,新增同页面会话分屏。左右会话分别保留草稿,用户可将侧栏会话拖到视图边缘,通过预览落点完成拆分,并继续横纵嵌套。
Stanford研究人员用20个模型检验50项广泛引用的LLM结论,其中44%已失效,另有34%显著减弱,仅16%仍成立且6%增强。22项可估计失效时间的结论平均仅维持15.7个月,其中推理能力限制类结论失效最快。研究团队建议将LLM实证结论视为特定模型在特定时间点的观察,并公开模型版本、日期、提示词与分析代码以便复测。