Llama 4 開源模型 — Meta 生態的部署與應用場景

由 FeiYueh 親自審稿驗證 · 最後更新於 2026-10-21

Llama 4 採用混合專家（MoE）架構，每次推論只啟用 170 億個參數。因此 Scout 經 Int4 量化後能在單張 NVIDIA H100 上執行，同時提供 1,000 萬 token 的上下文窗口。對企業與個人開發者來說，這表示在本地或私有雲部署一個多模態、長上下文的開源模型，已經不需要整座 GPU 叢集，

Llama 4 採用混合專家（MoE）架構，每次推論只啟用 170 億個參數。因此 Scout 經 Int4 量化後能在單張 NVIDIA H100 上執行，同時提供 1,000 萬 token 的上下文窗口。對企業與個人開發者來說，這表示在本地或私有雲部署一個多模態、長上下文的開源模型，已經不需要整座 GPU 叢集，一台伺服器就辦得到。 Llama 4 模型家族：三個型號的定位差異 Meta 在 2025 年 4 月 5 日發布 Llama 4，第一批公開的是 Scout 與 Maverick 兩個型號，另外預覽了仍在訓練中的 Behemoth。三者都是原生多模態模型，文字與影像在預訓練階段就一起輸入（early fusion），不是事後再接上視覺模組。詳細規格見 Meta AI 官方發布文章 。 Llama 4 Scout：長上下文、單卡部署 Scout 總參數 1,090 億，內含 16 個專家，每次推論啟用 170 億參數。它最大的特色是 「Llama 4 Scout 支援 1,000 萬 token 上下文窗口，2025 年 4 月發布」（來源：Meta AI） ，是當時公開權重模型中上下文最長的。適合的工作包括一次讀入整個程式碼庫、上百份合約，或多年累積的客服紀錄，再做摘要與檢索。 Llama 4 Maverick：通用對話與多模態理解 Maverick 同樣每次啟用 170 億參數，但專家數增加到 128 個，總參數約 4,000 億，上下文窗口為 100 萬 token。Meta 將它定位為通用助理與聊天應用的主力型號，並估算 「Maverick 分散式推論成本約每百萬 token 0.19 至 0.49 美元（3:1 輸入輸出混合計算），2025 年 4 月估算」（來源：Meta AI） 。 Llama 4 Behemoth：教師模型 Behemoth 每次啟用 2,880 億參數，總參數接近 2 兆，主要用途是透過知識蒸餾（distillation）訓練 Scout 與 Maverick。它沒有隨首波版本開放下載，所以不在一般部署規劃的考慮範圍內。 MoE 架構為何降低部署門檻 MoE 讓計算量取決於啟用參數，而不是總參數。Maverick 雖然有 4,000 億參數，每個 token 實際只經過共享專家和一個路由專家，所以每次推論的計算量接近一個 170 億參數的稠密模型。 不過，記憶體需求仍然取決於總參數。MoE 省下的是算力，不是顯示記憶體，所有專家的權重都得載入記憶體。實際部署的硬體需求大致如下： Scout（Int4 量化） ：單張 H100 80GB 即可執行，這是 Meta 官方提出的部署目標。 Maverick（FP8） ：需要一台 8 卡 H100 伺服器（例如 DGX H100）。 Scout（4-bit GGUF，本地端） ： Ollama 模型庫 中的 llama4:scout 檔案約 67GB，搭載 96GB 或 128GB 統一記憶體的 Mac Studio 可以跑得動。 訓練資料量也有明顯提升。 「Llama 4 預訓練資料約 30 兆 token，是 Llama 3 的兩倍以上，涵蓋 200 種語言」（來源：Meta Llama 官方模型卡） 。其中超過 100 種語言各有 10 億個以上的 token。對繁體中文、泰文、越南文、印尼文等非英語應用來說，基礎能力比前一代紮實。 四種主流部署路徑與適用場景 部署方式應依資料敏感度與流量規模選擇，不需要一開始就自建 GPU 叢集。以下依照從易到難的順序排列。 路徑一：Ollama／llama.cpp 本地部署 Ollama 適合個人開發者驗證概念。安裝後執行 ollama run llama4:scout 就能在本機啟動，並提供與 OpenAI 相容的 API 端點（預設 http://localhost:11434 ）。底層的 llama.cpp 支援 CPU 與 GPU 混合推論，記憶體不足時可以把部分專家層放在系統記憶體，但生成速度會明顯下降。 路徑二：vLLM 生產環境推論 vLLM 適合需要同時服務多名使用者的內部系統。Llama 4 發布當天 vLLM 就提供支援，並透過 PagedAttention 與連續批次（continuous batching）提高吞吐量。部署設定可參考 vLLM 官方的 Llama 4 部署說明 ，其中列出 8 張 H100 執行 Maverick FP8 版本時可用的上下文長度上限。 路徑三：雲端託管平台 AWS Bedrock、Google Cloud Vertex AI、Azure AI Foundry、Groq、Together AI 等平台都已上架 Llama 4，按 token

由 FeiYueh 親自審稿驗證 · 最後更新於 2026-10-21. Independently maintained — not AI-generated boilerplate.