AI 領域最近的技術競爭，正從單純追求參數規模的增加，轉向更精細的架構優化。其中，NVIDIA 提出的 Nemotron 3.5 Lightning 再次引發了業界對「Dense（稠密）」與「MoE（混合專家）」架構的討論。這兩者之間的選擇，不只是工程技術的偏好，更直接關係到企業在部署 AI 應用時的硬體成本與回應速度。
所謂的 Dense 模型，是將所有參數都投入到每一次的運算中。就像一位通才，處理任何問題都動用全身解囊。而 MoE 架構則像是一個由多位專家組成的智囊團，雖然總參數（Total Parameters）可能很大，但針對每一個輸入的 Token，系統只會根據任務類型，動態地「路由」到其中一小部分參數進行運算，這被稱為「活動參數（Active Parameters）」。
以 Nemotron 3.5 Lightning 為例，它擁有 300 億（30B）個總參數，但在推論時，每個 Token 僅會啟動其中的 30 億（3B）個參數。這種設計帶來的直接好處就是「高吞吐量（Throughput）」。因為推論所需的計算量大幅減少，反應時間變快，對伺服器資源的佔用也相對降低。然而，MoE 並非完美無缺，由於它需要載入全部 30B 參數到記憶體中，這對顯示卡顯存（VRAM）的要求依然是 30B 等級，這就是典型的「空間換取時間」策略。
這項發展對產業的影響相當深遠。對於追求極致效能與即時回應的應用場景，如對話機器人或即時翻譯，MoE 顯然更具優勢。但對於硬體資源受限、無法負擔大型顯存的邊緣運算裝置，參數規模較小但運算效率密集的 Dense 模型，反而可能是更穩健的選擇。開發者現在必須在「推理精確度」、「記憶體頻寬」以及「運算延遲」這三角關係中尋找動態平衡。
為什麼這件事值得我們關注？因為 AI 技術的落地已進入下半場：商業化成本競爭。過去我們或許會為了追求更高的跑分而盲目追求模型大小，但現在業界更在意的是，如何在有限的預算下提供最高質量的服務。透過像 Nemotron 3.5 這樣的案例，我們看到架構設計能如何在維持大型模型優勢的同時，克服推論效率的瓶頸。這標誌著大型語言模型正從「展示肌肉」的階段，正式走向「務實經營」的新紀元。未來，企業在選擇模型時，將不再只看參數數字，而會更深入研究 active parameters 與 throughput 的真實表現。