H200 kiralama: H100 mü H200 mü, hangi model için kaç kart ve aylık TL maliyet nasıl hesaplanır

H200 kiralama kararını verecek bir yapay zeka ekibi ya da KOBİ teknik yöneticisi genelde aynı sorularla başlar: H100 yetmez mi, 70B bir model için kaç kart gerekir, saatlik mi aylık mı kiralamalı ve faturası TL olarak ne çıkar? Bu rehber, iki kartı dürüst biçimde karşılaştırıyor ve model boyutundan kart sayısına giden hesabı adım adım veriyor. Ardından aylık maliyeti kendi rakamlarınızla nasıl çıkaracağınızı ve teslim aldığınız sunucuyu nasıl doğrulayacağınızı anlatıyor.

H200 nedir: H100'den farkı hesaplama değil bellek

H200 de H100 gibi Hopper mimarisine dayanır. Tensor çekirdekleri, FP8 desteği ve NVLink nesli aynıdır. Kâğıt üzerindeki hesaplama gücü iki kartta birbirine çok yakındır. Asıl fark bellekte:

Güncel değerler için NVIDIA H200 ürün sayfasına bakabilirsiniz. Bu tablodan çıkan sonuç şu: işiniz hesaplamada tıkanıyorsa, yani küçük bir modeli kısa bağlamla eğitiyorsanız, H200 size beklediğiniz kadar hız kazandırmaz. İşiniz bellekte tıkanıyorsa, yani büyük bir model, uzun bağlam ya da çok sayıda eşzamanlı kullanıcı varsa, H200 aradaki farkı gösterir.

LLM çıkarımında her token üretilirken model ağırlıklarının büyük bölümü bellekten okunur. Bu yüzden token üretim hızı çoğu zaman bant genişliğiyle sınırlanır. Daha geniş bellek iki şey kazandırır: model daha az karta bölünür, KV cache için daha fazla yer kalır. Daha yüksek bant genişliği de token başına süreyi kısaltır.

Hangi iş için H200 gerekir: 70B sınıfı model, uzun bağlam, yoğun çıkarım

Karar için şu üç soruyu sırayla sorun.

1. Model tek karta sığıyor mu? 7B ile 32B arası modeller FP8 ya da 4 bit kuantizasyonla 80 GB'lık bir H100'e rahat sığar. Bu sınıfta H200 çoğu zaman gereğinden büyüktür. 70B sınıfında durum değişir. FP8'de ağırlıklar yaklaşık 70 GB tutar. H100'de KV cache için 10 GB civarı yer kalır, H200'de ise 60 GB'tan fazla.

2. Bağlam uzunluğu ne? RAG ile uzun belge okutuyorsanız ya da 32K ve üzeri bağlam kullanıyorsanız KV cache hızla büyür. Model sığsa bile uzun bağlamda bellek biter, sunucu istekleri kuyruğa almaya başlar.

3. Aynı anda kaç kullanıcı var? Her eşzamanlı istek kendi KV cache'ini taşır. Tek kullanıcılı bir deneme ortamıyla, 20 kişinin aynı anda sorgu attığı bir iç asistan arasında bellek ihtiyacı katlarca değişir.

Kısaca H200, 70B sınıfı modeli tek kartta FP8 ile çalıştırmak, uzun bağlam kullanmak ve yoğun eşzamanlı çıkarım yapmak için anlamlıdır. 400B ve üzeri MoE modellerde de daha az kartla aynı modeli taşımanızı sağlar. MoE modellerde etkin parametre sayısı hızı belirler, ama bellek hesabında toplam parametre sayısını kullanmanız gerekir.

Model boyutuna göre kart sayısı: VRAM, KV cache ve eşzamanlı kullanıcı

Hesap üç kalemden oluşur: ağırlık, KV cache ve çalışma payı.

Ağırlık

Ağırlık belleği yaklaşık olarak parametre sayısı ile parametre başına bayt sayısının çarpımıdır:

• BF16 ya da FP16: parametre başına 2 bayt. 70B model yaklaşık 140 GB.
• FP8: 1 bayt. 70B model yaklaşık 70 GB.
• 4 bit: yaklaşık 0,5 bayt. 70B model yaklaşık 35 ile 40 GB.

KV cache

Token başına KV cache şu formülle bulunur:

2 × katman sayısı × KV başlık sayısı × başlık boyutu × bayt

Bu değerleri modelin config.json dosyasından alırsınız (num_hidden_layers, num_key_value_heads, head_dim ya da hidden_size / num_attention_heads). Örneğin 80 katmanlı, 8 KV başlıklı ve 128 başlık boyutlu bir 70B modelde FP16 KV cache için token başına yaklaşık 320 KB gerekir. Buna göre:

• 8 kullanıcı × 8.000 token = 64.000 token, yaklaşık 20 GB.
• 4 kullanıcı × 32.000 token = 128.000 token, yaklaşık 40 GB.
• Tek kullanıcı × 128.000 token, yine yaklaşık 40 GB.

KV cache'i FP8'de tutmak bu değerleri kabaca yarıya indirir. Formülün ayrıntılı çıkarımını ve farklı model boyutlarına göre örnekleri LLM VRAM hesaplama rehberinde bulabilirsiniz.

Çalışma payı

CUDA bağlamı, aktivasyonlar ve çıkarım motorunun kendi tamponları için kart başına birkaç GB ayırın. vLLM varsayılan olarak belleğin büyük bölümünü önceden ayırır (--gpu-memory-utilization). Hesabınızda kart belleğinin tamamını değil %90 civarını kullanılabilir sayın.

Örnek karar tablosu

Tablodaki değerler formülden çıkan kaba tahminlerdir. Kesin karar için modeli küçük bir saatlik denemede kendi bağlam uzunluğunuzla çalıştırın ve nvidia-smi ile gerçek bellek kullanımını görün.

Çok kartlı yapıda bir kural daha var: tensor paralel çalıştırmada kart sayısı genellikle 1, 2, 4 ya da 8 olmalıdır. Kartlar arasında NVLink yoksa ve trafik PCIe üzerinden geçiyorsa, iki kartlı yapı tek büyük karttan yavaş kalabilir. Bu da H200'ün tek kartta daha fazla model taşımasının bir başka avantajıdır.

Saatlik, aylık ve ayrılmış H200 kiralama: hangi senaryoda hangisi

Üç model var. Hangisinin size uyduğunu kullanım saatiniz belirler.

Saatlik (isteğe bağlı) kiralama

• Artı: deneme, kıyaslama ve kısa eğitim işleri için ideal. Kullanmadığınız saati ödemezsiniz.
• Eksi: saat başı birim fiyat en yüksektir. Yoğun dönemlerde kapasite bulunmayabilir. Kapattığınızda yerel disk de gidebilir, model dosyalarını her seferinde yeniden indirirsiniz.

Aylık kiralama

• Artı: sunucu ve disk sizde kalır, model ve veri hazır bekler. Fatura önceden bellidir.
• Eksi: kart boşta dursa da ödersiniz. Ay içinde ihtiyaç azalırsa esneklik düşüktür.

Ayrılmış (uzun vadeli taahhütlü) kiralama

• Artı: birim fiyat genellikle en düşüktür ve kapasite size ayrılmıştır.
• Eksi: taahhüt süresince model ya da iş yükü değişse de bağlısınız. Yeni bir kart nesli çıktığında geçiş esnekliği azalır.

Basit bir karar ölçütü: ayda kaç saat gerçekten GPU kullanacağınızı hesaplayın. Aylık ücreti saatlik ücrete bölün. Çıkan saat sayısı sizin kullanımınızdan düşükse aylık kiralama daha ucuzdur. Üretimde 7/24 çalışan bir çıkarım servisi neredeyse her zaman aylık ya da ayrılmış modele uyar. Haftada birkaç gün koşan ince ayar işleri saatliğe uyar. Bu başabaş hesabını satın alma seçeneğiyle birlikte saatlik mi aylık mı rehberinde ayrıntılı anlattık.

Aylık TL maliyet formülü

Teklifleri aynı ölçüte getirmek için şu kalemleri toplayın:

1. GPU sunucu bedeli: aylık ücret ya da saatlik ücret × kullanım saati.
2. Kur: fiyat dolar ya da euro ise, bugünkü kurla değil 12 ay için iyimser ve kötümser iki kur senaryosuyla hesaplayın.
3. KDV: Türkiye'de kesilen faturada %20 KDV ekleyin. Yurt dışı faturada da sorumlu sıfatıyla beyan edilecek KDV ve banka masrafını unutmayın.
4. Depolama: model dosyaları, veri setleri ve checkpoint'ler için ek disk ya da nesne depolama.
5. Trafik: veri seti yükleme ve sonuç indirme, kotalı mı sınırsız mı?
6. Boşta kalma: saatlik modelde açık unutulan sunucu, aylık modelde kullanılmayan kapasite.

Sonra bunu işin birimine çevirin. Çıkarım servisi için aylık toplam maliyeti ayda üretilen milyon token sayısına bölün. Bu "milyon token başına TL" değerini bulut API fiyatıyla yan yana koyduğunuzda, kendi kartınızın ne zaman kârlı olduğunu görürsünüz. Ayda üretilen token sayısını bilmiyorsanız saatlik bir denemede vLLM'in verdiği saniyede token değerini kendi yük profilinizle ölçün.

KVKK, veri lokasyonu ve TL fatura

GPU sunucunun nerede durduğu, işlediğiniz verinin hukuki durumunu belirler. Bu sayfadaki GPU sunucu altyapısı Frankfurt'ta (Almanya, AB) bulunuyor. Türkiye lokasyonu yok. Bu yüzden konuyu açıkça ele almak gerekir.

• Kişisel veri içermeyen işler: açık veri setiyle ince ayar, kod üretimi, genel amaçlı model kıyaslaması gibi işlerde lokasyon KVKK açısından sorun yaratmaz.
• Kişisel veri içeren işler: müşteri yazışmaları, çağrı kayıtları ya da personel belgeleri GPU'ya gidiyorsa bu, KVKK 9. madde kapsamında yurt dışına aktarımdır. Aktarım için uygun mekanizma (çoğu durumda standart sözleşme) ve sözleşmenin imzadan sonra 5 iş günü içinde Kurul'a bildirilmesi gerekir.
• Pratik ara yol: veriyi Türkiye'deki sunucuda anonimleştirin ya da maskeleyin, GPU'ya yalnız kişisel veriden arındırılmış metni gönderin. Model ağırlıkları ve ince ayar sonucu Türkiye'ye geri alınabilir.

Fatura tarafında TL fatura, kur riskini sağlayıcıya ya da sözleşmedeki güncelleme maddesine taşır. Sözleşmede fiyatın hangi sıklıkla ve hangi ölçüte göre güncelleneceğini okuyun.

Teslimde doğrulama: nvidia-smi, NVLink ve bant genişliği testi

Kiraladığınız kartın gerçekten H200 olduğunu, size ayrıldığını ve kartlar arası bağlantının beklenen gibi olduğunu ilk gün doğrulayın.

Aşağıdaki betik Ubuntu 24.04 ve Debian 12 üzerinde, NVIDIA sürücüsü kurulu sunucular için hazırlandı. Yalnız okuma yapar, sistemde ayar değiştirmez. Çıktıyı ev dizininize bir rapor dosyası olarak yazar. Geri almak için oluşan h200-teslim-*.txt dosyasını silmeniz yeterlidir.

#!/usr/bin/env bash
# H200 teslim kontrolü: yalnız okur, sistem ayarı değiştirmez.
# Ubuntu 24.04 ve Debian 12, NVIDIA sürücüsü kurulu sunucular için hazırlandı.
set -u

RAPOR="${HOME}/h200-teslim-$(date +%Y%m%d-%H%M).txt"

if ! command -v nvidia-smi >/dev/null 2>&1; then
  echo "nvidia-smi bulunamadı: sürücü kurulu değil ya da GPU görünmüyor." >&2
  exit 1
fi

{
  echo "== Kart listesi =="
  nvidia-smi -L

  echo "== Model, bellek, güç sınırı, PCIe =="
  nvidia-smi --query-gpu=index,name,memory.total,power.limit,pcie.link.gen.current,pcie.link.width.current --format=csv

  echo "== MIG durumu (bölünmüş kart kontrolü) =="
  nvidia-smi --query-gpu=index,mig.mode.current --format=csv

  echo "== Kartlar arası topoloji =="
  nvidia-smi topo -m

  echo "== NVLink durumu =="
  nvidia-smi nvlink -s || echo "NVLink bilgisi alınamadı"

  echo "== Sürücü ve CUDA sürümü =="
  nvidia-smi | head -n 4

  echo "== Sanallaştırma türü =="
  systemd-detect-virt || echo "fiziksel ya da tespit edilemedi"
} 2>&1 | tee "$RAPOR"

echo "Rapor kaydedildi: $RAPOR"

Çıktıda şunlara bakın:

• Ad: NVIDIA H200 ya da NVIDIA H200 NVL görünmeli. H100 görüyorsanız yanlış ürün teslim edilmiştir.
• memory.total: 141 GB'a karşılık gelen, 140 bin MiB'ın biraz üzerinde bir değer görmelisiniz. 80 GB'lık bir H100 yaklaşık 81 bin MiB gösterir. Çok daha düşük bir değer kartın bölündüğünü gösterebilir.
• MIG: Enabled yazıyorsa kart dilimlere ayrılmıştır ve size tam kart değil bir dilim verilmiş olabilir. Tam kart kiraladıysanız Disabled ya da [N/A] beklenir.
• Topoloji: çok kartlı SXM yapılarda kart çiftleri arasında NV ile başlayan bir değer (HGX kartlarda genellikle NV18) görünmelidir. PHB, NODE ya da SYS görüyorsanız kartlar NVLink değil PCIe üzerinden konuşuyordur. Tensor paralel çalışmada bu ciddi yavaşlama demektir.

Bant genişliğini ölçmek için NVIDIA'nın açık kaynak nvbandwidth aracını derleyip ./nvbandwidth -l ile test listesini görebilir, cihaz içi ve cihazdan cihaza kopyalama testlerini çalıştırabilirsiniz. Sonuçları kartın belgelenen değerleriyle karşılaştırın. Teorik değere tam ulaşılmaz, ama belirgin biçimde düşük bir sonuç ya da kartlar arası testte PCIe düzeyinde kalan bir değer, sağlayıcıya sorulması gereken bir konudur.

Son olarak gerçek iş yükünüzü deneyin: modeli vLLM ile ayağa kaldırın, kendi bağlam uzunluğunuzla birkaç dakika yük verin ve nvidia-smi dmon ile bellek ve güç kullanımını izleyin. Paylaşımlı ve ayrılmış GPU farkını ayrıntılı görmek için APU, vGPU ve ayrılmış GPU rehberine bakabilirsiniz.

Sık yapılan hatalar

Gereğinden büyük kart seçmek. 8B ya da 14B bir modeli tek kullanıcıyla çalıştırmak için H200 kiralamak, belleğin büyük bölümünü boşta bırakır. Önce VRAM hesabını yapın. Model 40 GB altında kalıyorsa ve bağlam kısa ise H100 ya da daha küçük bir kart yeterli olabilir.

Paylaşımlı GPU'yu ayrılmış sanmak. İlanda "H200" yazması kartın tamamının size ait olduğunu göstermez. MIG dilimi ya da vGPU profili de aynı adla görünebilir. Teslimde memory.total ve MIG durumunu kontrol edin.

Yalnız ağırlığı hesaplamak. "70B FP8 70 GB, H100'e sığar" hesabı KV cache'i unutur. Üretimde eşzamanlı kullanıcı gelince bellek biter ve gecikme artar.

NVLink'i varsaymak. Çok kartlı tekliflerde kartların SXM ve NVLink'li mi, yoksa PCIe ile mi bağlı olduğunu yazılı olarak sorun. Teslimde nvidia-smi topo -m ile kontrol edin.

Saatlik sunucuyu açık unutmak. Deneme bittiğinde sunucuyu kapatmamak, aylık kiralamadan pahalı bir faturaya yol açabilir. Saatlik modelde bütçe uyarısı ya da otomatik kapatma kullanın.

Kişisel veriyi lokasyonu düşünmeden göndermek. GPU yurt dışındaysa kişisel veri işlemeden önce aktarım mekanizmasını netleştirin.

Sık sorulan sorular

H100 mü H200 mü, fiyat farkına değer mi?

İşiniz bellekte tıkanıyorsa evet. 70B sınıfı modeli tek kartta çalıştırmak, uzun bağlam ya da çok sayıda eşzamanlı kullanıcı H200'ü anlamlı kılar, çünkü iki H100 yerine tek H200 yetebilir. Küçük modelde ve kısa bağlamda hesaplama gücü benzer olduğu için fark sınırlı kalır.

70B bir model tek GPU'da çalışır mı?

FP8 ya da 4 bit kuantizasyonla 70B model tek H200'de çalışır ve KV cache için de yer kalır. BF16'da ağırlıklar tek başına yaklaşık 140 GB tuttuğu için tek kart yetmez, en az iki kart gerekir.

İnce ayar için kaç H200 gerekir?

LoRA ya da QLoRA ile 70B bir modelde tek H200 çoğu durumda yeterlidir. Tam parametreli ince ayarda ağırlık, gradyan ve optimizer durumu birlikte tutulduğu için 70B sınıfında 4 ile 8 kart gerekir. Kesin sayıyı küçük bir saatlik denemeyle belirleyin.

H200 kiralama fiyatı neden sağlayıcıya göre çok değişiyor?

Fiyat kart sayısı, SXM ya da PCIe tipi, NVLink varlığı, CPU ve RAM, disk, trafik, kiralama süresi ve para birimine göre değişir. Teklifleri karşılaştırırken aynı yapılandırmayı ve aynı süreyi baz alın, kur ve KDV'yi ekleyerek TL toplamına çevirin.

H200 dışında bir kart ya da İstanbul lokasyonu istersem ne olur?

Katalogda yalnız NVIDIA H200 var ve sunucular Frankfurt'ta. H100, A100, L40S gibi başka modeller ya da İstanbul lokasyonu için ihtiyacınızı form üzerinden iletip teklif isteyebilirsiniz.

Bu işi hazır yapmak isterseniz

Kart seçimi, kurulum ve teslim kontrolüyle uğraşmak yerine hazır bir yapı kullanmak isterseniz, Frankfurt'taki H200 yapılandırmalarını GPU sunucu sayfasında inceleyebilirsiniz. Farklı kart ya da lokasyon ihtiyacınızı da aynı sayfadaki formla iletebilirsiniz.

Sonuç

H200 kiralama kararı kartın adından değil iş yükünüzden çıkar. H200 ile H100'ün hesaplama gücü benzerdir. Fark 141 GB bellekte ve daha yüksek bant genişliğindedir. Önce ağırlık, KV cache ve çalışma payıyla bellek ihtiyacınızı hesaplayın. Sonra kullanım saatinize göre saatlik, aylık ya da ayrılmış modeli seçin. Maliyeti kur, KDV, depolama ve trafikle TL toplamına çevirin, kişisel veri varsa lokasyonu baştan netleştirin. Teslim aldığınız gün de nvidia-smi ile kartın tamamının size ait olduğunu doğrulayın.