Muse Spark Open yayında: Meta'nın 816B açık ağırlıklı modelini kendi GPU sunucunuzda çalıştırmak için ne gerekir?

Meta, 15 Ekim 2026'da Muse Spark Open'ı açık ağırlıklı olarak yayınladı. Toplam 816 milyar parametreli bu mixture-of-experts (MoE) model metin, görsel, ses ve video girdisi alıyor ve metin üretiyor. Muse Spark Open'ı API'ye bağlı kalmadan kendi altyapısında çalıştırmak isteyen ekipler için asıl soru şu: bunun için ne kadar bellek ve hangi donanım gerekiyor, lisans neye izin veriyor?

Ne değişti

Meta'nın duyurusuna göre model her token için 816 milyar parametrenin 42 milyarını etkin kullanıyor ve 1 milyon tokenlık bağlam penceresi sunuyor. Hugging Face'in tanıtım yazısına göre her MoE katmanında 256 uzman bulunuyor, her token için bunların 8'i seçiliyor. Kontrol noktaları iki biçimde yayınlandı: BF16 ve NVFP4.

Yazılım tarafındaki destek geniş tutulmuş. Duyuruda SGLang, vLLM, TensorRT-LLM, Hugging Face Transformers, Apple MLX, llama.cpp ve Unsloth sayılıyor. Optimizasyonların AMD, Apple, Intel ve NVIDIA donanımları için yapıldığı belirtiliyor. Ağırlıklar Amazon SageMaker AI, Google Cloud Model Garden ve Microsoft Foundry üzerinden de sunuluyor.

Donanım ihtiyacı: NVFP4, BF16 ve 2-bit quant

MoE yapısı hızı etkiliyor ama bellek ihtiyacını azaltmıyor. Her token için 42 milyar parametre çalışsa da 816 milyarın tamamı bellekte durmak zorunda. Kaynaklardaki rakamlar bunu net gösteriyor:

• NVFP4: Model kartına göre en az 700 GB VRAM gerekiyor. Hugging Face'e göre bu sürüm tek bir B200 düğümüne ya da SGLang ile dört GB300 GPU'ya sığıyor.
• BF16: Model kartına göre 2 TB bellek gerekiyor. Hugging Face'in örneğinde bu sürüm Transformers ile 4 düğümde, her düğümde 8 H200 olacak şekilde çalıştırılıyor.
• Hugging Face Inference Endpoints: 131.072 tokenlık bağlam için 8 adet RTX Pro 6000, 1 milyon tokenlık tam bağlam için 8 adet H200 öneriliyor.
• 2-bit quant: Hugging Face'e göre llama.cpp ile 512 GB bellekli bir Mac M3 Ultra üzerinde saniyede 18 token üretildi. Meta da modelin MLX ile birlikte çalışan iki M5 Ultra Mac Studio üzerinde çalıştığını söylüyor.

Bu rakamlar yalnız ağırlıkları değil, bağlam uzunluğunu da hesaba katmanız gerektiğini gösteriyor. 131 bin ile 1 milyon token arasındaki donanım farkının büyük kısmı KV cache'ten geliyor. Hesabın mantığını LLM VRAM hesaplama rehberimizde adım adım anlattık.

Ne anlama geliyor

Türkiye'deki çoğu ekip için Muse Spark Open masaüstünde ya da tek GPU'lu bir sunucuda çalışacak bir model değil. Gerçekçi seçenekler üç başlıkta toplanıyor:

1. Çoklu GPU'lu sunucu: NVFP4 sürümüyle üretim kalitesine yakın kullanım. Bunun için birden fazla yüksek bellekli GPU'yu aynı düğümde birleştirmek gerekir.
2. Düşük bit quant: Kalite kaybını kabul edip belleği düşürmek. Önce kendi görevlerinizde kaliteyi test etmeden üretime almayın.
3. Bulut platformları: Ağırlıkların sunulduğu büyük bulut kataloglarını kullanmak. Bu seçenek kurulum yükünü azaltır ama verinin nerede işlendiği sorusunu geri getirir.

Veri gizliliği ve KVKK: Açık ağırlığın asıl faydası, istemleri ve belgeleri üçüncü taraf bir API'ye göndermeden işleyebilmek. Ancak donanımın nerede olduğu da önemli. Bizim GPU sunucularımız Frankfurt'ta, yani AB içinde. Kişisel veri işleyecekseniz bunun yurt dışına aktarım sayılıp sayılmadığını hukuk ekibinizle değerlendirin. Model yanıtlarının kendisi Türkçe kalitesi açısından da test edilmeli. Duyuruda Türkçe performansıyla ilgili özel bir bilgi yok.

Lisans: Model kartına göre model Muse Model License ile dağıtılıyor. Kurum içi kullanım ve modeli kendi ürününüzün bir özelliği olarak kullanmak serbest. Modeli API üzerinden üçüncü kişilere sunan ve son 12 aylık brüt geliri 20 milyon doları aşan kuruluşlar ise Meta'ya bildirim yapıp ayrı bir sözleşme imzalamak zorunda. Ayrıca modeli kullanan ürünlerde "Built with Muse Spark Open" ibaresinin belirgin biçimde gösterilmesi şart. Müşterisine yapay zeka özelliği sunan bir SaaS ekibi bu ibareyi arayüz planına baştan eklemeli.

Nasıl denenir

Kendi GPU sunucunuzda denemek için önerilen sıra şöyle:

1. Hedefi belirleyin: Hangi bağlam uzunluğuna gerçekten ihtiyacınız var? Çoğu kurum içi RAG ve özetleme işi 1 milyon tokena gerek duymaz. Daha kısa bağlam donanım ihtiyacını belirgin biçimde düşürür.
2. Biçimi seçin: Kalite önceliğiyse NVFP4, deney ve prototip içinse düşük bit quant. NVFP4'ün hangi GPU nesillerinde verimli çalıştığını çıkarım motorunun belgelerinden kontrol edin.
3. Toplam VRAM'i doğrulayın: Sunucuyu teslim aldığınızda GPU sayısını ve belleğini kontrol edin.
4. Motoru seçin: Çoklu GPU'da servis için vLLM ya da SGLang, quant sürümlerle hafif deney için llama.cpp akla gelen ilk seçenekler.

# GPU adlarını ve toplam belleği listeleyin
nvidia-smi --query-gpu=name,memory.total --format=csv

# vLLM'i resmi paketten kurun
pip install vllm

# Modeli tensor paralellikle servis edin (GPU sayınıza göre ayarlayın)
vllm serve meta-models/Muse-Spark-Open-816B-A42B --tensor-parallel-size 8

Sunucu ayağa kalktıktan sonra OpenAI uyumlu uç nokta yerelde dinler. İlk testi http://localhost:8000/v1/models adresine istek atarak yapabilirsiniz. Model adı listede görünüyorsa servis hazır demektir. Kesin parametreler ve önerilen bayraklar için Hugging Face sayfasındaki örnekleri esas alın.

Kontrol noktaları: Yükleme sırasında bellek yetersizliği hatası alırsanız önce bağlam uzunluğunu kısaltın. Türkçe istemlerle kendi görev setinizi hazırlayıp yanıt kalitesini ölçün. Uç noktayı internete açmadan önce kimlik doğrulama ekleyin.

Katalogdaki NVIDIA H200 ile çoklu GPU'lu yapılandırma ya da farklı GPU modelleri için GPU sunucu sayfasındaki formdan ihtiyacınızı iletebilirsiniz. Modeli kurum içinde servis etmenin genel çerçevesi için yapay zeka sunucusu sayfasına bakabilirsiniz. Kısa süreli deneme mi, sürekli servis mi kararı içinse GPU kiralama başabaş hesabı yol gösterir.

Sık sorulan sorular

Muse Spark Open tek bir GPU'da çalışır mı?

Kaynaklardaki örneklere göre hayır. En hafif resmi biçim olan NVFP4 bile model kartına göre en az 700 GB VRAM istiyor. Bu da çoklu GPU'lu bir düğüm demek. Tek makinede çalıştırma örnekleri yüksek birleşik belleği olan Mac sistemlerde ve 2-bit quant ile verilmiş.

Ticari üründe kullanabilir miyim?

Kurum içi kullanım ve kendi ürününüzün özelliklerinde kullanım lisansın izin verdiği alanda. Modeli API olarak üçüncü kişilere sunuyorsanız ve yıllık brüt geliriniz 20 milyon doları aşıyorsa Meta ile ayrı sözleşme gerekiyor. Her durumda "Built with Muse Spark Open" ibaresini göstermeniz şart.

Hangi çıkarım motorunu seçmeliyim?

Çoklu GPU'da eşzamanlı kullanıcıya servis için vLLM ya da SGLang, quant sürümlerle düşük maliyetli deney için llama.cpp mantıklı başlangıçlar. Meta'nın duyurusunda TensorRT-LLM, Transformers, MLX ve Unsloth da destekli araçlar arasında sayılıyor.

Kaynaklar

• Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Meta