Reflection Beam açık ağırlıklı yayında: 501B modeli H200 ve B200 GPU sunucuda çalıştırmak için ne gerekir?

Reflection Beam, Reflection AI'nin Apache 2.0 lisansıyla açtığı 501 milyar parametreli bir dil modeli. Modeli kendi altyapısında barındırmak isteyen ekipler için asıl soru şu: hangi hassasiyette, kaç GPU ile ve hangi çıkarım motoruyla çalışır? Aşağıda duyuruda verilen rakamları Türkiye'deki ekiplerin karar sürecine çeviriyoruz.

Ne değişti

Beam-1.0-501B-A23B bir Mixture of Experts (MoE) modeli. Toplamda 501 milyar parametresi var, ama her token işlenirken yalnız 23 milyarı devreye giriyor. Her MoE katmanında 256 uzman bulunuyor ve token başına bunların 8'i seçiliyor. Bu yapı, hesaplama maliyetini küçük bir modele yaklaştırırken bellek ihtiyacını büyük model düzeyinde bırakıyor. Kısacası darboğaz işlem gücü değil, VRAM.

Duyurudaki diğer başlıklar:

• Lisans: Apache 2.0. Ticari kullanım, ince ayar ve türev model yayınlama için kısıtlayıcı özel lisanslara göre çok daha rahat bir zemin.
• Bağlam: 1 milyon token bağlam penceresi.
• Hassasiyetler: Ağırlıklar BF16, FP8 ve NVFP4 olarak sunuluyor.
• Yazılım desteği: Transformers, vLLM ve SGLang ilk günden destekliyor.

Reflection Beam için GPU ihtiyacı

Duyuruda üç senaryo öne çıkıyor:

Buradaki önemli nokta: ağırlıkların sığması yetmez. 1 milyon token bağlam ve eşzamanlı kullanıcı, KV cache için ciddi bellek ister. İki B200 ile modeli ayağa kaldırabilirsiniz ama uzun belge işleme ya da birden fazla kullanıcı devreye girince bellek hızla tükenir. Kendi senaryonuz için hesabı LLM VRAM hesaplama rehberimizdeki yöntemle yapabilirsiniz.

NVFP4 bir Blackwell özelliği olduğu için H200 kullanan ekiplerin yolu FP8 sürümüdür. Genel ilke olarak FP8 parametre başına yaklaşık 1 bayt tuttuğundan ağırlıklar tek başına yüzlerce GB eder; bu yüzden tek 8x H200 sunucu doğal başlangıç noktasıdır.

Ne anlama geliyor

Veri gizliliği ve KVKK: Apache 2.0 ile gelen asıl kazanç, hassas veriyi üçüncü taraf bir API'ye göndermeden büyük bir model kullanabilmek. Müşteri verisi, sözleşme ya da kaynak kod işleyen ekipler için bu önemli. Yine de sunucunun nerede durduğu önemli: AB içindeki bir veri merkezi, ABD merkezli bir API'den farklı bir hukuki tablo çizer, ama kişisel veri yurt dışına çıkıyorsa KVKK açısından aktarım değerlendirmesini ayrıca yapmanız gerekir.

Maliyet: 8 GPU'lu bir sunucu düşük hacimde API'den pahalıdır. Kendi barındırmanız; sürekli ve yüksek hacimli kullanım, uzun bağlam ya da ince ayar ihtiyacı olduğunda anlam kazanır. Saatlik ve aylık kiralamayı karşılaştırmak için GPU kiralama başabaş hesabı yazısına bakabilirsiniz.

Türkçe kullanım: Duyuruda Türkçe performansına dair bir bilgi yok. Üretime almadan önce kendi Türkçe örneklerinizle değerlendirme yapın.

Kimler için mantıklı değil: Ayda birkaç bin istek atan, tek kişilik bir asistan arayan ya da ekip içinde GPU altyapısını yönetecek kimsesi olmayan işletmeler için daha küçük bir model veya API daha gerçekçi.

Nasıl denenir

1. Hassasiyeti seçin. B200 erişiminiz varsa NVFP4, H200 ya da daha eski kartlarda FP8. BF16'yı ancak çok düğümlü kurulum ve araştırma amacıyla düşünün.
2. Donanımı doğrulayın. Teslim aldığınız sunucuda kartların gerçekten ayrılmış fiziksel GPU olduğunu ve aralarındaki bağlantıyı kontrol edin.

nvidia-smi --query-gpu=index,name,memory.total --format=csv
nvidia-smi topo -m

Çıktıda 8 kartın tamamını ve beklenen bellek miktarını görmelisiniz; topoloji tablosu kartların NVLink ile bağlı olup olmadığını gösterir.

3. Çıkarım motorunu kurun. vLLM ya da SGLang'in güncel sürümünü resmi paket yöneticisiyle kurun. Model kimliğini ve önerilen başlatma parametrelerini Hugging Face model kartından alın.

python -m venv ~/beam-env && source ~/beam-env/bin/activate
pip install -U vllm

4. Tensör paralelliğini kart sayısına eşitleyin. Tek 8x H200 sunucuda --tensor-parallel-size 8 mantıklı başlangıçtır. Bağlam uzunluğunu ilk denemede düşük tutun, bellek kullanımını izleyerek kademeli artırın.
5. API'yi dışarı açmayın. vLLM ve SGLang OpenAI uyumlu bir uç nokta sunar. Bunu doğrudan internete açmak yerine ters vekil ve kimlik doğrulama arkasında kullanın; ilk testleri localhost üzerinden yapın.

Kontrol noktaları: model yüklendikten sonra kalan VRAM, hedef bağlam uzunluğunda ilk token süresi ve eşzamanlı istek sayısı arttığında throughput. Bu üç değer, kurulumun üretime hazır olup olmadığını söyler.

Katalogumuzda Frankfurt'ta (AB) NVIDIA H200 bulunan GPU sunucu seçenekleri var; B200 gibi farklı kartlar için sayfadaki formdan talep iletebilirsiniz. Modelin kurulumunu ve servisini birlikte planlamak isterseniz kendi sunucunuzda yapay zeka sayfasına göz atabilirsiniz.

Sık sorulan sorular

Reflection Beam ticari projede kullanılabilir mi?

Apache 2.0 ticari kullanıma izin veren bir lisanstır. Yine de model kartındaki lisans metnini ve ek notları hukuk ekibinizle birlikte okuyun.

Tek bir 8x H200 sunucu yeterli mi?

FP8 sürümü için duyurudaki SGLang örneği tam olarak bu yapılandırmayı kullanıyor. BF16 için ise iki düğüm ve 16 GPU gösteriliyor.

2x B200 ile çalıştırabilir miyim?

NVFP4 ağırlıkları sığar, ama KV cache'e az yer kalır. Uzun bağlam ve çok kullanıcılı kullanım için en az dört B200 öneriliyor.

23 milyar aktif parametre, daha az VRAM demek mi?

Hayır. Aktif parametre sayısı hesaplama yükünü düşürür, ama tüm uzmanların ağırlıkları bellekte durmak zorundadır. VRAM hesabını 501 milyar üzerinden yapın.

Kaynaklar

• Welcome Beam: a 501B open model you can own, customize, and scale