GPU sunucu kiralama: APU, paylaşımlı vGPU ve ayrılmış GPU farkı, teslimde nvidia-smi ile doğrulama

GPU sunucu kiralama ilanlarında "GPU sunucu" adı çok farklı ürünler için kullanılıyor: entegre grafikli bir işlemci, başka müşterilerle paylaşılan bir sanal GPU dilimi ya da yalnız size ayrılmış bir fiziksel kart. Kâğıt üstünde birbirine benzeyen bu paketler, bir dil modelini çalıştırırken tamamen farklı sonuç verir. Bu rehber, yapay zeka işi için GPU kiralamak isteyen KOBİ sahipleri ve sistem yöneticileri için hazırlandı. Türleri ayırt etmeyi, pakette neye bakılacağını ve teslim aldığınız sunucunun söz verilen donanım olduğunu nvidia-smi ile nasıl doğrulayacağınızı anlatıyor.

GPU sunucu kiralama ilanlarında aynı ad, farklı donanım

İlan başlığında "GPU'lu sunucu", "ekran kartlı VDS" ya da "AI sunucu" yazması tek başına bir şey söylemez. Sorulması gereken üç soru var:

1. GPU ayrı bir kart mı, yoksa işlemcinin içine gömülü mü?
2. Kart size mi ayrılmış, yoksa bir dilimi mi satılıyor?
3. Ekran kartı belleği (VRAM) ne kadar ve bu bellek gerçekten size mi ait?

Bu üç sorunun yanıtı paketin fiyatını da, ne iş yapabileceğini de belirler. Yanıtı ilanda bulamıyorsanız satıştan önce yazılı olarak isteyin.

APU, paylaşımlı vGPU dilimi ve ayrılmış fiziksel GPU: neyi alıyorsunuz?

APU (entegre grafikli işlemci)

APU, grafik biriminin işlemciyle aynı yonga üzerinde olduğu yapıdır. Ayrı bir VRAM yoktur; grafik birimi sistem belleğinin bir bölümünü kullanır. Bellek bant genişliği, veri merkezi GPU'larındaki yüksek bant genişlikli belleğin (HBM) çok gerisindedir.

• Artısı: ucuzdur, video kodlama, hafif masaüstü ve basit grafik işleri için yeterli olabilir.
• Eksisi: NVIDIA CUDA çalıştırmaz. Çoğu yapay zeka aracı (vLLM, birçok PyTorch iş akışı) CUDA ya da resmi olarak desteklenen bir hızlandırıcı bekler. Büyük dil modeli çıkarımı pratikte işlemci hızına yakın kalır.

Paylaşımlı vGPU dilimi

Bir fiziksel kart, sanallaştırma katmanında birden fazla sanal makineye bölünür. NVIDIA tarafında bu iki yolla yapılır:

• Zaman paylaşımlı vGPU: VRAM her sanal makineye sabit dilimler halinde ayrılır, ama işlem birimleri zaman dilimleriyle paylaşılır. Komşu sanal makine yoğun çalışırken sizin performansınız düşebilir.
• MIG (Multi-Instance GPU): Destekleyen veri merkezi kartlarında kart, bellek ve işlem birimleri donanım düzeyinde ayrılmış örneklere bölünür. Yalıtım zaman paylaşımına göre daha iyidir, ama elinize geçen kartın yalnız bir kesridir.

Ayrıntılar için NVIDIA'nın vGPU belgelerine ve MIG kullanıcı kılavuzuna bakabilirsiniz.

• Artısı: giriş maliyeti düşüktür, küçük modeller ve deneme için mantıklıdır.
• Eksisi: VRAM sınırlıdır, performans tutarlılığı garanti değildir, bazı vGPU profillerinde lisans ve sürücü sağlayıcının kontrolündedir. Çoklu GPU iletişimi (NVLink) genelde yoktur.

Ayrılmış fiziksel GPU

Kart tümüyle size aittir. Ya fiziksel sunucuda doğrudan çalışırsınız ya da sanal makineye PCIe passthrough ile tam kart verilir.

• Artısı: kartın tüm VRAM'i ve işlem gücü sizindir, performans öngörülebilirdir, sürücü ve CUDA sürümünü siz seçersiniz.
• Eksisi: maliyet belirgin biçimde yüksektir. Kart boşta kaldığı saatlerde de ödersiniz.

Yapay zeka işine göre hangi tür yeter?

Kararı kart adına göre değil iş yüküne göre verin. Aşağıdaki tablo kaba bir başlangıç noktasıdır:

En belirleyici değişken VRAM'dir. Model ağırlıkları, KV cache ve eşzamanlı istek sayısı belleğe sığmazsa ya hiç çalışmaz ya da işlemciye taşar ve yavaşlar. Hesabı nasıl yapacağınızı LLM VRAM hesaplama rehberinde adım adım bulabilirsiniz. Kartı günde kaç saat kullanacağınız da saatlik ile aylık kiralama arasındaki seçimi değiştirir; bunun için GPU kiralama başabaş hesabına göz atın.

Karar ölçütü olarak şunu kullanın: hedef modelin, hedef bağlam uzunluğunda ve hedef eşzamanlı kullanıcıyla ihtiyaç duyduğu VRAM'in üzerine en az bir pay bırakın. Bu pay sağlanamıyorsa daha büyük dilim değil, ayrılmış kart düşünün.

Pakette bakılacaklar

Teklifleri yan yana koyarken şu kalemleri yazılı olarak isteyin:

• GPU modeli ve tam adı: "NVIDIA GPU" yetmez. Modeli ve bellek sürümünü (ör. aynı kartın farklı VRAM'li varyantları) yazdırın.
• VRAM ve türü: Toplam bellek, sizin kullanımınıza ayrılan bellek ve bellek türü. vGPU'da profil adı (ör. bir kartın 1/4'ü gibi) belirtilmeli.
• Ayrılmış mı, paylaşımlı mı: Sözleşmede "tam kart passthrough" ya da "bare metal" ibaresi var mı?
• PCIe ya da NVLink: Birden fazla kartla model bölecekseniz kartlar arası bağlantı önemlidir. PCIe üzerinden konuşan kartlar, NVLink ile bağlı kartlara göre daha yavaş haberleşir.
• CPU ve RAM: Veri hazırlama, tokenizasyon ve model yükleme işlemci ve sistem belleğine dayanır. Kartın VRAM'inden az sistem belleği olan paketler model yüklerken sorun çıkarabilir.
• NVMe disk: Model dosyaları onlarca, bazen yüzlerce GB'tır. Disk hızı yeniden başlatma süresini doğrudan etkiler.
• Bant genişliği ve trafik kotası: Model indirme ve API trafiği için port hızı ve aylık kota.
• Sürücü ve yazılım sorumluluğu: Sürücüyü kim kuruyor, güncellemeyi kim yapıyor, root erişimi var mı?

Bunlara ek olarak her sunucu sözleşmesinde bakılan genel maddeleri (SLA, arıza müdahale süresi, yedek, sözleşme süresi ve fiyat güncelleme koşulları) de aynı karşılaştırma listesine ekleyin.

Teslimde doğrulama: nvidia-smi ile kontrol

Sunucu teslim edildiğinde ilk iş, söz verilen donanımı ölçmektir. Aşağıdaki komutlar NVIDIA sürücüsü kurulu Linux sunucular için geçerlidir. Tüm alanların anlamı nvidia-smi belgesinde yer alır.

1. Kart sistemde görünüyor mu?

# PCI aygıtları arasında NVIDIA kartını arar
lspci | grep -i nvidia

Çıktıda bir "3D controller" ya da "VGA compatible controller" satırı NVIDIA adıyla görünmeli. Hiç satır yoksa ve yalnız işlemciye ait bir grafik birimi görüyorsanız elinizde bir APU ya da entegre grafik var demektir.

2. Model, VRAM ve sürücü

# Özet tablo: model, sürücü, desteklenen en yüksek CUDA, VRAM, sıcaklık, güç
nvidia-smi

# Kartları ve varsa MIG örneklerini listeler
nvidia-smi -L

Kontrol noktaları:

• Model adı teklifteki adla aynı mı?
• "Memory-Usage" sütunundaki toplam bellek beklenen VRAM'e yakın mı? Sürücü küçük bir bölümü kendine ayırdığı için toplam değer etiketteki değerden biraz düşük görünebilir; bu normaldir.
• nvidia-smi -L çıktısında "MIG" ile başlayan satırlar varsa tam kart değil, bir MIG örneği kullanıyorsunuz.

3. Sanallaştırma modu: ayrılmış mı, dilim mi?

# Sanallaştırma modunu gösterir
nvidia-smi -q | grep -i -A2 "virtualization mode"

Beklenen değerler:

• None: kart doğrudan fiziksel sunucuda, sanallaştırma yok.
• Pass-Through: sanal makineye tam kart verilmiş.
• VGPU: paylaşımlı vGPU profili kullanıyorsunuz.

Size "ayrılmış GPU" satıldıysa VGPU görmemeniz gerekir. vGPU'da ayrıca nvidia-smi -q çıktısında lisans durumunu gösteren bir bölüm bulunur.

4. Sürücü ve CUDA sürümü

nvidia-smi üst satırındaki "CUDA Version" değeri, sürücünün desteklediği en yüksek CUDA sürümüdür; sistemde CUDA araç setinin kurulu olduğu anlamına gelmez.

# Kurulu CUDA araç seti (varsa) sürümünü gösterir
nvcc --version

# PyTorch kuruluysa kütüphanenin gördüğü CUDA ve kart sayısı
python3 -c "import torch; print(torch.version.cuda, torch.cuda.is_available(), torch.cuda.device_count())"

nvcc bulunamazsa araç seti kurulu değildir; yalnız çıkarım yapacaksanız çoğu durumda pip ile gelen kütüphaneler yeterlidir. PyTorch çıktısında True ve beklediğiniz kart sayısı görünmeli.

5. PCIe bağlantısı ve kartlar arası topoloji

# Anlık PCIe nesli ve hat genişliği
nvidia-smi --query-gpu=name,pcie.link.gen.current,pcie.link.gen.max,pcie.link.width.current,pcie.link.width.max --format=csv

# Çoklu kartta kartlar arası bağlantı matrisi
nvidia-smi topo -m

# NVLink durumu (destekleyen kartlarda)
nvidia-smi nvlink --status

Kart boştayken güç tasarrufu için PCIe nesli düşük görünebilir; değeri yük altındayken tekrar okuyun. Hat genişliği yük altında da beklenenin altındaysa (ör. x16 yerine x8) bunu sağlayıcıya bildirin. topo -m matrisinde kartlar arasında NV ile başlayan değerler NVLink, PIX, PHB ya da SYS ise PCIe üzerinden iletişim olduğunu gösterir.

6. Sıcaklık ve güç, yük altında

# 1 saniye aralıkla 30 ölçüm: güç, sıcaklık, kullanım, bellek
nvidia-smi dmon -s pucm -c 30

Bu komutu modeliniz ya da bir test yükü çalışırken ayrı bir terminalde çalıştırın. Sıcaklığın sürekli tırmanması ve saat hızının düşmesi soğutma sorununa işaret edebilir. nvidia-smi -q -d PERFORMANCE çıktısındaki "Clocks Event Reasons" bölümünde termal kısıtlama "Active" görünüyorsa sağlayıcıya iletin.

Tek seferde rapor alan betik

Aşağıdaki betik yukarıdaki kontrolleri çalıştırıp sonucu tek bir metin dosyasına yazar. Ubuntu 24.04 ve Debian 12 için hazırlandı, yalnız okuma yapar, sistemde hiçbir ayarı değiştirmez. Her çalıştırmada aynı dosyanın üzerine yazar. Geri almak için oluşan rapor dosyasını silmeniz yeterlidir.

#!/usr/bin/env bash
# gpu-teslim-raporu.sh
# Teslim alınan GPU sunucusunun donanım ve sürücü bilgisini raporlar.
# Yalnız okuma yapar. Kullanım: bash gpu-teslim-raporu.sh

set -u
RAPOR="${HOME}/gpu-teslim-raporu.txt"   # Rapor dosyası yolu, isterseniz değiştirin

{
  echo "== Tarih: $(date -Is)"
  echo "== Ana makine: $(hostname)"
  echo
  echo "== PCI aygıtları (NVIDIA)"
  lspci | grep -i nvidia || echo "NVIDIA PCI aygıtı bulunamadı (APU ya da entegre grafik olabilir)"
  echo

  if ! command -v nvidia-smi >/dev/null 2>&1; then
    echo "nvidia-smi bulunamadı: sürücü kurulu değil ya da NVIDIA kartı yok."
    exit 0
  fi

  echo "== Özet"
  nvidia-smi
  echo
  echo "== Kart ve MIG listesi"
  nvidia-smi -L
  echo
  echo "== Model, VRAM, sürücü"
  nvidia-smi --query-gpu=index,name,memory.total,driver_version,temperature.gpu,power.limit --format=csv
  echo
  echo "== Sanallaştırma modu"
  nvidia-smi -q | grep -i -A2 "virtualization mode" || echo "Bilgi yok"
  echo
  echo "== PCIe bağlantısı"
  nvidia-smi --query-gpu=index,pcie.link.gen.current,pcie.link.gen.max,pcie.link.width.current,pcie.link.width.max --format=csv
  echo
  echo "== Topoloji"
  nvidia-smi topo -m
  echo
  echo "== CUDA araç seti"
  if command -v nvcc >/dev/null 2>&1; then nvcc --version; else echo "nvcc kurulu değil"; fi
  echo
  echo "== Sistem kaynakları"
  nproc
  free -h
  lsblk -d -o NAME,SIZE,ROTA,MODEL
} > "${RAPOR}" 2>&1

echo "Rapor yazıldı: ${RAPOR}"

Beklenen çıktı terminalde tek satırdır: Rapor yazıldı: /home/ORNEK_KULLANICI/gpu-teslim-raporu.txt. Raporu teklifle karşılaştırın ve sorun görürseniz sağlayıcıya ekleyerek gönderin. lsblk çıktısında ROTA değeri 0 ise disk SSD ya da NVMe sınıfındadır.

Veri merkezi lokasyonu, KVKK ve fatura

GPU'nun bulunduğu ülke, işlediğiniz veriye göre önem taşır. Model yalnız kamuya açık içerik ya da anonim veriyle çalışıyorsa lokasyon daha çok gecikme sorusudur. Müşteri kayıtları, sağlık ya da çalışan verisi gibi kişisel veriler modele gidiyorsa, sunucunun Türkiye dışında olması KVKK kapsamında yurt dışına aktarım anlamına gelir. Bu durumda standart sözleşme ve bildirim gibi yükümlülükler doğar; ayrıntıları KVKK uyumlu sunucu yazısında bulabilirsiniz.

Karar için pratik yol şudur: kişisel veriyi Türkiye'deki sistemlerinizde tutun, GPU sunucusuna yalnız gerekli ve mümkünse anonimleştirilmiş içeriği gönderin. Faturanın para birimi ve kur maddesi de toplam maliyeti değiştirir; teklif alırken fiyatın sabit mi, kura endeksli mi olduğunu yazılı olarak sorun.

Sık yapılan hatalar

• APU paketiyle LLM çalıştırmaya çalışmak: Paket ucuz görünür, ama CUDA yoksa vLLM gibi araçlar çalışmaz, işlemcide çalışan model de çoğu iş için fazla yavaş kalır.
• VRAM'i paylaşımlı sanmak ya da tersini: vGPU diliminde kartın toplam belleği değil, profilin belleği sizindir. nvidia-smi çıktısındaki toplam belleğe bakın, ilandaki kart adına değil.
• "CUDA Version" satırını kurulu sürüm sanmak: O değer sürücünün üst sınırıdır. Kütüphanenizin istediği sürümü ayrıca kontrol edin.
• Topolojiye bakmadan çoklu kart kiralamak: Modeli kartlara bölecekseniz kartlar arası bağlantıyı teslimde topo -m ile doğrulayın.
• Yalnız boştayken ölçmek: PCIe nesli, saat hızı ve sıcaklık gerçek yük altında anlam kazanır.
• Disk ve sistem belleğini küçük tutmak: Model dosyası diske, yükleme sırasında sistem belleğine sığmazsa güçlü kart da işe yaramaz.

Sık sorulan sorular

vGPU mu ayrılmış GPU mu seçmeliyim?

Küçük bir modeli düşük trafikle deniyorsanız ve ihtiyacınız olan VRAM profile rahatça sığıyorsa vGPU ya da MIG dilimi yeterli olabilir. Büyük model, eşzamanlı kullanıcı, ince ayar ya da tutarlı yanıt süresi gerekiyorsa ayrılmış GPU daha doğru seçimdir.

GPU VDS ile fiziksel GPU sunucu arasındaki fark nedir?

GPU VDS genellikle sanal makinedir; kart passthrough ile tamamen verilmiş de olabilir, bir dilimi de. Fiziksel GPU sunucuda tüm makine sizindir. Farkı ilandan değil, nvidia-smi -q çıktısındaki sanallaştırma modundan anlarsınız.

nvidia-smi çalışmıyorsa kart yok mu demektir?

Her zaman değil. Sürücü kurulu olmayabilir. Önce lspci | grep -i nvidia ile kartı arayın. Kart görünüyor ama nvidia-smi çalışmıyorsa sürücü sorunudur; hiç görünmüyorsa ya kart yoktur ya da sanal makineye bağlanmamıştır.

VRAM toplamı etikettekinden biraz düşük görünüyor, sorun mu?

Küçük bir fark normaldir; sürücü ve hata düzeltme özellikleri belleğin bir kısmını ayırabilir. Fark kartın yarısı ya da dörtte biri gibi büyük oranlardaysa bir dilim kullanıyorsunuzdur.

Teslimde sorun bulursam ne yapmalıyım?

Betiğin ürettiği raporu ve yük altındaki dmon çıktısını sağlayıcıya iletin. Somut çıktı, "yavaş çalışıyor" şikâyetinden çok daha hızlı çözüm getirir.

Bu işi hazır yapmak isterseniz

Ayrılmış fiziksel GPU ile çalışmak istiyorsanız GPU sunucu sayfasındaki NVIDIA H200 yapılandırmasına bakabilirsiniz. Sunucular Frankfurt'ta (AB) bulunuyor; farklı bir kart modeli ya da lokasyon ihtiyacınızı aynı sayfadaki formla iletebilirsiniz. Teslimde yukarıdaki kontrolleri kendiniz çalıştırabilirsiniz.

Sonuç

GPU sunucu kiralama kararında ilan başlığına değil donanımın türüne bakın: APU, paylaşımlı vGPU dilimi ve ayrılmış GPU aynı işi yapmaz. İş yükünüzün VRAM ihtiyacını hesaplayın, teklifte kart modelini, VRAM'i, ayrılma biçimini ve kartlar arası bağlantıyı yazılı alın. Teslimde nvidia-smi ile model, bellek, sanallaştırma modu, PCIe bağlantısı ve yük altındaki sıcaklığı doğrulayın. Bu kontroller birkaç dakika sürer ve yanlış paketle aylar geçirmenizi önler.