Hugging Face Blog·· 4 天前精选AI 评分68
在 Transformers 中实现 MoE 模型专家流式传输以突破推理限制
180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
AI 导读
作者通过在 Transformers 中引入专家流式传输(Expert Streaming)机制,成功在 32GB 内存的 Mac 上运行 180B 参数的 MoE 模型。该方案通过将专家权重卸载至磁盘、利用 LRU 缓存及 Metal 内核优化,使推理速度达到 14 tok/s,性能表现已接近专用推理引擎 Strata。
推荐理由
作者通过在 Transformers 中实现 MoE 模型专家流式传输,展示了如何在有限内存设备上运行超大模型,并对比了不同推理引擎的性能优化路径。
来源:Hugging Face Blog · huggingface.co