MarkTechPost· Asif Razzaq·· 6 天前AI 评分64
NVIDIA 分享在 DGX Spark 上加速 Ling-3.0-flash MoE 推理的三种方法
NVIDIA Shows 3 Ways to Speed Up MoE Inference on DGX Spark, Lifting Ling-3.0-flash Throughput 42.5%
AI 导读
NVIDIA 通过 Humming MoE 内核、FP8 LM head 和 MTP 推测解码三种优化，将 Ling-3.0-flash 在单台 DGX Spark 上的 GSM8K 解码吞吐量从 37.81 提升至 53.89 tokens/s，增幅 42.5%，平均延迟下降 24.5%。
来源：MarkTechPost · marktechpost.com