严骏驰团队提出 JTok 与 xHC 两条 Transformer 架构扩展思路

严骏驰团队在 CNCC 2026 提出 JTok 与 xHC：前者以可学习参数表扩展 token 容量，后者以十六路残差流、稠密读取和稀疏写回扩展模型容量。实验显示，JTok-M 达到相同损失可节省约 35% 训练算力，但推理延迟增加约 7%；xHC 在 18B MoE 上将平均分从 44.8 提升至 48.8，并较标准 Transformer 节省约 33% 训练算力。