AWS G7 實測大公開：搭載 NVIDIA Blackwell GPU 如何在 30B 模型推理中兼顧效能與成本？

在雲端部署生成式 AI 時，選擇合適的 GPU 執行個體往往是決定專案成敗的關鍵。近期 Amazon SageMaker AI 針對新推出的 G7 實例進行了深度測試，這款搭載 NVIDIA Blackwell 架構 GPU 的實例，在處理中小型大語言模型（LLM）推理時展現了令人矚目的競爭力。特別是對於像 Qwen3-Coder-30B 這種混合專家模型（MoE），硬體的進化直接轉化為更快的反應速度與更低的運算成本。

長期以來，AWS 的 G5（使用 A10G GPU）與 G6（使用 L4 GPU）是許多企業部署 AI 推理的首選。然而，隨著模型架構日益複雜，開發者對於「首字延遲」（TTFT）與「每秒吞吐量」的要求不斷提高。G7 實例的核心優勢在於其採用的 NVIDIA Blackwell 伺服器級 GPU，這不僅是硬體規格的升級，更是針對推論效率的重新優化。在實際的 AI 編程助手場景中，低延遲意味著開發者在輸入程式碼時，系統能更即時地給出建議，減少等待造成的專注力中斷。

這項發展對產業帶來的直接影響在於「推理經濟學」的改寫。過去，為了追求高效能，企業可能需要租用極為昂貴的頂級實例，但 G7 在維持高效能的同時，顯著降低了「每萬個代幣（Cost-per-token）」的成本。對於需要大規模部署 AI Copilot 的企業來說，這種效能紅利能讓 AI 工具的投資報酬率更快速達標。特別是 Blackwell 架構對 FP8 等量化格式的原生支持，讓模型在不損失精度的情況下，能更流暢地運行。

這次的基準測試結果值得台灣技術團隊高度關注。首先，30B 參數等級的模型目前正處於效能與部署成本的「甜蜜點」，既能處理複雜的邏輯推理，又不會像千億級模型那樣運算沉重。其次，SageMaker AI 推出的自動化推薦與基準測試工具，讓開發者不再需要「盲測」，能根據具體的業務需求，在 G5、G6 與 G7 之間找到最優解。

總結來說，G7 實例的加入代表著 NVIDIA Blackwell 架構正式進入主流雲端推理市場。它不僅縮短了模型反應時間，更重要的是讓 AI 應用的經濟門檻進一步降低。對於追求開發效率與精確成本控制的企業，這無疑是升級 AI 基礎設施時的最佳選項。