Mô hình mã nguồn mở Llama 4 — Triển khai và các tình huống ứng dụng trong hệ sinh thái Meta

Đã được xem xét và xác minh bởi FeiYueh · Lần xác minh gần nhất 2026-10-21

Llama 4 sử dụng kiến trúc hỗn hợp chuyên gia (MoE), mỗi lần suy luận chỉ kích hoạt 17 tỷ tham số. Nhờ vậy, Scout sau khi lượng tử hóa Int4 có thể chạy trên một

Llama 4 sử dụng kiến trúc hỗn hợp chuyên gia (MoE), mỗi lần suy luận chỉ kích hoạt 17 tỷ tham số. Nhờ vậy, Scout sau khi lượng tử hóa Int4 có thể chạy trên một GPU NVIDIA H100 duy nhất, đồng thời cung cấp cửa sổ ngữ cảnh 10 triệu token. Với doanh nghiệp và nhà phát triển cá nhân, điều này có nghĩa là để triển khai một mô hình mã nguồn mở đa phương thức, ngữ cảnh dài tại chỗ hoặc trên đám mây riêng, bạn không còn cần cả một cụm GPU mà chỉ cần một máy chủ. Họ mô hình Llama 4: khác biệt về định vị giữa ba phiên bản Meta phát hành Llama 4 vào ngày 5 tháng 4 năm 2025. Đợt công bố đầu tiên gồm hai phiên bản Scout và Maverick, kèm bản xem trước của Behemoth vẫn đang trong quá trình huấn luyện. Cả ba đều là mô hình đa phương thức gốc: văn bản và hình ảnh được đưa vào cùng lúc ngay từ giai đoạn tiền huấn luyện (early fusion), chứ không phải gắn thêm mô-đun thị giác về sau. Thông số chi tiết xem tại bài công bố chính thức của Meta AI . Llama 4 Scout: ngữ cảnh dài, triển khai trên một GPU Scout có tổng cộng 109 tỷ tham số, gồm 16 chuyên gia, mỗi lần suy luận kích hoạt 17 tỷ tham số. Điểm nổi bật nhất của nó là “Llama 4 Scout hỗ trợ cửa sổ ngữ cảnh 10 triệu token, phát hành tháng 4 năm 2025” (nguồn: Meta AI) , dài nhất trong số các mô hình công khai trọng số vào thời điểm đó. Mô hình phù hợp với các công việc như đọc toàn bộ một codebase, hàng trăm hợp đồng hoặc nhật ký chăm sóc khách hàng tích lũy nhiều năm trong một lần, rồi tóm tắt và truy xuất. Llama 4 Maverick: hội thoại đa dụng và hiểu đa phương thức Maverick cũng kích hoạt 17 tỷ tham số mỗi lần, nhưng số chuyên gia tăng lên 128, tổng tham số khoảng 400 tỷ, cửa sổ ngữ cảnh 1 triệu token. Meta định vị đây là phiên bản chủ lực cho trợ lý đa dụng và ứng dụng chat, đồng thời ước tính “chi phí suy luận phân tán của Maverick khoảng 0,19 đến 0,49 USD mỗi triệu token (tính theo tỷ lệ đầu vào:đầu ra 3:1), ước tính tháng 4 năm 2025” (nguồn: Meta AI) . Llama 4 Behemoth: mô hình giáo viên Behemoth kích hoạt 288 tỷ tham số mỗi lần, tổ

Mô hình mã nguồn mở Llama 4 — Triển khai và các tình huống ứng dụng trong hệ sinh thái Meta

相關工具書