MobileMoE：打破邊緣運算限制，為智慧型手機打造高效能專家混合模型 LLM

本研究提出 MobileMoE 系列模型，針對行動裝置最佳化專家混合架構，在低於十億參數的運算規模下，達成超越傳統密集模型且更快速的推理表現。

Problem

專家混合（MoE）架構雖然在超大規模語言模型中表現優異，但在受限於記憶體與運算資源的行動裝置（十億參數以下規模）中，其架構優勢與部署潛力尚未被充分開發，且缺乏針對行動端硬體特性最佳化的設計準則。

研究團隊首先制定行動端 MoE 擴充定律（Scaling Law），找出中等稀疏度與細粒度共享專家的「甜點區」以最佳化記憶體與運算。接著採用四階段訓練流程，包含預訓練、中期訓練、指令微調及量化感知訓練（QAT），並針對市售智慧型手機進行推理效能優化。

MobileMoE 以低於領先密集模型 2 到 4 倍的運算量（FLOPs）達成同等性能，甚至超越 SOTA 級別的 OLMoE。在實機部署上，MobileMoE-S 的首字生成速度比 MobileLLM-Pro 快 1.8 至 3.8 倍，解碼速度則提升 2.2 至 3.4 倍。

本研究成功將 MoE 技術導入行動端，建立智慧型手機大型語言模型的新性能邊界（Pareto Frontier）。這不僅解決了行動裝置上大型模型推論緩慢的問題，更為邊緣端 AI 的普及與高效能部署提供了實踐指南。