Nemotron 3.5 Bolt yayında: NVIDIA'nın 74B modelini 24 GB bellekle kendi GPU sunucunuzda çalıştırma

NVIDIA, Nemotron 3.5 Bolt modelini 15 Ekim 2026'da Hugging Face'te yayımladı. Model 74 milyar parametreli ama 2 bit kuantizasyon sayesinde 24 GB belleğe sığacak şekilde paketlenmiş. Tek kartlı bir makinede büyük bir modeli kendi verisiyle denemek isteyen geliştiriciler ve sistem yöneticileri için Nemotron 3.5 Bolt bu yüzden dikkat çekiyor.

Ne değişti

Büyük dil modellerini kendi sunucunuzda çalıştırmanın önündeki en büyük engel genelde GPU belleği olur. Nemotron 3.5 Bolt bu engeli birkaç yoldan küçültüyor.

• Parametre ve aktif parametre: Toplamda 74 milyar parametre var, ama her adımda bunların 9 milyarı devreye giriyor. Yani MoE (uzman karışımı) yapısında bir model. Hız açısından küçük bir model gibi, bilgi kapasitesi açısından büyük bir model gibi davranması hedefleniyor.
• Hibrit mimari: Mamba-2 ve Transformer katmanlarını bir arada kullanan LatentMoE yapısına C-RADIO v4-H görsel kodlayıcı eklenmiş.
• Çok modlu girdi: Model metin, görsel ve video alıyor, çıktı olarak metin üretiyor. Bağlam penceresi en fazla 256 bin token.
• Yerel 2 bit kuantizasyon: Ağırlıklar 24 GB'a sığacak şekilde 2 bitle sıkıştırılmış ve GGUF biçiminde sunuluyor.
• Çalışma ortamı: Model kartında llama.cpp gösteriliyor. Spekülatif kod çözme için ayrı bir GGUF taslak modeli de yayımlanmış.
• Lisans: Model OpenMDW-1.1 (OpenMDW License Agreement 1.1) lisansıyla dağıtılıyor.

24 GB adı, 28GB ve 32GB tarifleri

İsimdeki "24GB" ağırlıkların kapladığı alanı anlatıyor. Model kartının hızlı başlangıç bölümünde ise iki tarif var:

• 28GB tarifi: RTX Spark 64GB ya da en az 32 GB belleği olan bir RTX ekran kartı.
• 32GB tarifi: RTX Spark 128GB ya da en az 48 GB belleği olan bir RTX ekran kartı.

Desteklenen GPU mimarileri Ada Lovelace ve Blackwell, işletim sistemleri ise Windows ve Linux olarak yazılmış. Kısacası 24 GB'lık bir kart tek başına yetmiyor. Ağırlıkların yanında bağlam ve çalışma belleği için de yer gerekiyor. Uzun bağlam kullandıkça KV cache büyür, bu yüzden büyük tarif daha fazla bellek ister.

Nemotron 3.5 Bolt Türkiye'deki ekipler için ne anlama geliyor

Maliyet: Bu boyutta bir modeli şimdiye kadar çalıştırmak çoğu zaman çok kartlı bir sunucu gerektiriyordu. Tek kartla çalışabilen bir sürüm, deneme ve küçük ölçekli servis maliyetini belirgin biçimde düşürür. Hangi kartın yeteceğini ağırlık, bağlam uzunluğu ve eşzamanlı kullanıcı sayısına göre hesaplamak için LLM VRAM hesaplama rehberimize bakabilirsiniz.

Veri gizliliği ve KVKK: Model sizin sunucunuzda çalıştığında istemler ve belgeler üçüncü taraf bir API'ye gitmez. Sözleşme, fatura görseli ya da müşteri yazışması gibi kişisel veri içeren işlerde bu önemli bir avantaj. Yine de sunucunun nerede durduğu önemli. Yurt dışındaki bir sunucuya kişisel veri göndermek KVKK açısından aktarım sayılabilir, bunu hukuk ekibinizle birlikte değerlendirin.

Kalite ve Türkçe: 2 bit kuantizasyon belleği ciddi ölçüde azaltır, ama kalitede ne kadar kayıp olduğu iş türüne göre değişir. Model kartında Türkçe başarımına dair bir iddia görmedik. Bu yüzden kendi Türkçe örneklerinizle test etmeden üretime almayın.

Lisans: OpenMDW-1.1 lisansının ticari kullanım koşullarını ürününüze koymadan önce lisans metninden okuyun.

Nasıl denenir

Ekip içinde denemek için tek GPU'lu bir sunucu yeterli olabilir. Bizim GPU sunucularımız Frankfurt'ta (AB) duruyor. Katalogda NVIDIA H200 var, RTX gibi başka kartlar sayfadaki formla talep edilebiliyor. Model kartı yalnız Ada Lovelace ve Blackwell mimarilerini destekliyor. Kart seçerken bu listeye bakın ve gerekirse sağlayıcıya sorun.

Adımlar ve kontrol noktaları

1. Kartı doğrulayın: Sunucuyu teslim aldığınızda nvidia-smi çıktısında kart modelini ve toplam belleği kontrol edin. 28GB tarifi için en az 32 GB, 32GB tarifi için en az 48 GB görmeniz gerekiyor.
2. llama.cpp'yi güncel tutun: Hibrit mimari yeni olduğu için eski bir llama.cpp derlemesi modeli yüklemeyebilir. Model kartında belirtilen sürümü ya da daha yenisini kullanın.
3. Ağırlıkları indirin: Hugging Face deposundan ana GGUF dosyasını ve spekülatif kod çözme için taslak modeli indirin.
4. Sunucuyu başlatın: Dosya adlarını ve önerilen parametreleri model kartındaki tariften alın.

nvidia-smi --query-gpu=name,memory.total --format=csv
pip install -U huggingface_hub
huggingface-cli download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF --local-dir ./nemotron-bolt

llama-server ayağa kalktıktan sonra OpenAI uyumlu uç noktaya yerelden basit bir istek gönderin:

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Merhaba, kendini kısaca tanıt."}]}'

Yanıt olarak choices alanı içinde bir metin dönmeli. İlk denemede bağlam uzunluğunu küçük tutun, bellek kullanımını nvidia-smi ile izleyin ve bağlamı adım adım artırın.

Servis etmeden önce

• llama-server portunu internete açmayın. Ters vekil ve kimlik doğrulama kurulumu için Ollama API güvenli erişim yazımızdaki Nginx yaklaşımını burada da kullanabilirsiniz.
• Kendi belgelerinizden 20 ile 50 arası gerçek soru hazırlayın ve yanıtları elle puanlayın. 2 bit kaybının işinizi etkileyip etkilemediğini en hızlı bu şekilde görürsünüz.
• Spekülatif kod çözmeyi açtığınızda ve kapattığınızda hızın nasıl değiştiğini ölçün. Ek taslak modelin bellekte kapladığı yeri de hesaba katın.

Modeli kurum içi bir asistana dönüştürmeyi düşünüyorsanız yapay zeka sunucusu sayfamızda kendi modelinizi kendi sunucunuzda çalıştırma seçeneklerini bulabilirsiniz.

Sık sorulan sorular

Nemotron 3.5 Bolt 24 GB'lık bir kartta çalışır mı?

Ağırlıklar 24 GB'a sığıyor, ama model kartındaki en küçük tarif en az 32 GB'lık bir RTX kartı ya da RTX Spark 64GB istiyor. Planlamanızı 32 GB ve üzerine göre yapın.

Hangi yazılımla çalıştırılıyor?

Model kartında llama.cpp gösteriliyor ve model GGUF biçiminde dağıtılıyor. Spekülatif kod çözme için ayrı bir GGUF taslak modeli var.

Görsel ve video girdisi alıyor mu?

Evet. Model metin, görsel ve video girdisi alıp metin üretiyor. Bağlam penceresi en fazla 256 bin token.

Ticari projede kullanabilir miyim?

Model OpenMDW-1.1 lisansıyla dağıtılıyor. Ticari kullanım koşullarını lisans metninden kontrol edin, gerekirse hukuk desteği alın.

Kaynaklar

• nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF · Hugging Face