跳到正文
Hugging Face Blog·· 4 天前精选AI 评分68

在 Transformers 中实现 MoE 模型专家流式传输以突破推理限制

180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

AI 导读

作者通过在 Transformers 中引入专家流式传输(Expert Streaming)机制,成功在 32GB 内存的 Mac 上运行 180B 参数的 MoE 模型。该方案通过将专家权重卸载至磁盘、利用 LRU 缓存及 Metal 内核优化,使推理速度达到 14 tok/s,性能表现已接近专用推理引擎 Strata。

推荐理由

作者通过在 Transformers 中实现 MoE 模型专家流式传输,展示了如何在有限内存设备上运行超大模型,并对比了不同推理引擎的性能优化路径。

来源:Hugging Face Blog · huggingface.co