GPU sunucu nedir: içinde ne var, hangi işte gerekir, PCIe ve SXM kart farkı ile kiralama seçenekleri
GPU sunucu nedir, normal sunucudan farkı ne ve işinize gerçekten gerekli mi? Kart sınıflarını, PCIe, SXM ve NVLink farkını, ayrılmış GPU ile vGPU ayrımını, teslimde nvidia-smi ile yapılacak kontrolü ve kiralama seçeneklerinin artısını eksisini anlatıyoruz.
Batuhan Çelikel11 dk okuma
GPU sunucu, işlemci ve sistem belleğinin yanında bir ya da birden çok grafik işlem birimi (GPU) ve bu kartların kendi belleği (VRAM) bulunan sunucudur. Yapay zeka modeli çalıştırmak, model eğitmek ya da render almak isteyen KOBİ sahipleri ve sistem yöneticileri genellikle aynı soruyla başlar: bu iş için gerçekten GPU sunucu gerekir mi, gerekiyorsa hangi kart ve hangi kiralama türü? Aşağıda içeriği, kart sınıflarını, PCIe ile SXM farkını ve kiralama seçeneklerini karar verebileceğiniz ölçütlerle anlatıyoruz.
GPU sunucu nedir: CPU, sistem belleği, GPU ve VRAM bir arada
Normal bir sunucuda hesaplamanın neredeyse tamamını CPU yapar. CPU az sayıda ama güçlü çekirdekle sırayla gelen, dallanan işlerde iyidir: veritabanı, web sunucusu, ERP. GPU ise binlerce basit çekirdekle aynı işlemi çok büyük veri üzerinde paralel yapar. Yapay zeka modellerindeki matris çarpımları tam olarak bu tür bir iştir.
Bir GPU sunucunun dört ana parçası vardır:
- CPU: Veriyi hazırlar, GPU'ya iş dağıtır, işletim sistemini ve servisleri çalıştırır. GPU sunucuda CPU zayıf kalırsa kart boşta bekler.
- Sistem belleği (RAM): Modeli diskten okuyup karta yüklerken ve veri ön işlemede kullanılır. Pratikte toplam VRAM'den az olmaması önerilir.
- GPU: Asıl hesaplamayı yapan kart ya da modül.
- VRAM: Kartın üzerindeki bellek. Model ağırlıkları, KV cache ve ara sonuçlar burada durur. Yapay zeka işlerinde çoğu zaman belirleyici sınır hesap gücü değil VRAM'dir.
Buna hızlı NVMe disk (model dosyaları onlarca, bazen yüzlerce GB'tır), güçlü güç kaynağı ve soğutma eklenir. Veri merkezi sınıfı bir GPU tek başına yüzlerce watt çekebildiği için bu sunucular normal raf sunucularından daha fazla güç ve soğutma ister. Maliyetin bir kısmı buradan gelir.
GPU sunucu hangi işlerde gerekir
GPU'nun fark yarattığı başlıca işler şunlardır:
- LLM çıkarımı: Kendi sunucunuzda açık ağırlıklı bir dil modeli çalıştırıp sohbet, özetleme ya da RAG hizmeti vermek. Burada ölçüt saniyedeki token sayısı ve eşzamanlı kullanıcıdır.
- İnce ayar (fine-tuning, LoRA): Mevcut bir modeli kendi verinizle uyarlamak. Çıkarıma göre çok daha fazla VRAM ister.
- Görsel üretim: Stable Diffusion, FLUX gibi modellerle görsel üretmek ya da görsel model (ör. YOLO) eğitmek.
- Render ve video: 3B render, video kodlama, yapay zeka destekli video işleme.
- Bilimsel ve sayısal hesaplama: Simülasyon, CUDA ile yazılmış özel hesaplamalar.
GPU'nun gerekmediği durumlar da az değildir. Küçük bir embedding modeli, günde birkaç yüz isteklik bir sınıflandırma işi ya da dışarıdaki bir yapay zeka API'sini çağıran bir uygulama genellikle CPU'lu bir sunucuda yeterlidir. Karar vermeden önce kendi iş yükünüzü ölçmek en ucuz adımdır; bunun nasıl yapılacağını GPU sunucu mu, CPU'lu bulut sunucu mu yazısında model boyutu ve token/sn hedefiyle anlattık.
Kısa bir karar ölçütü:
- Modelin ağırlıkları (seçtiğiniz kuantizasyonla) ve KV cache toplamı kaç GB?
- Kabul edilebilir yanıt hızı nedir (token/sn ya da görsel başına saniye)?
- Aynı anda kaç kullanıcı ya da iş çalışacak?
- İş sürekli mi, yoksa ayda birkaç gün mü?
İlk üç soru kartı ve kart sayısını, dördüncü soru kiralama türünü belirler.
Kart sınıfları: tüketici, iş istasyonu ve veri merkezi
GPU ilanlarında aynı "NVIDIA GPU" ifadesi çok farklı sınıflardaki kartları kapsayabilir. Üç ana grup vardır.
Tüketici kartları (GeForce RTX)
Oyun için tasarlanmış kartlardır. Fiyatına göre hesap gücü yüksektir, VRAM ise sınırlıdır (üst segmentte 24 ile 32 GB arası). Küçük ve orta boy modeller, görsel üretim ve deneme işleri için iyi bir başlangıçtır.
Eksileri: ECC bellek yoktur ya da sınırlıdır, kartlar arası NVLink yoktur, 7/24 yük için tasarlanmamıştır. Ayrıca NVIDIA'nın GeForce sürücü lisansı veri merkezi kullanımına kısıt getirir; tüketici kartlı bir sunucu kiralıyorsanız bunun sağlayıcı tarafında nasıl ele alındığını sormak yerinde olur.
İş istasyonu ve profesyonel kartlar (RTX PRO, L40S)
Daha büyük VRAM, ECC desteği ve sunucu ortamında uzun süre çalışmaya uygun tasarım sunarlar. Örneğin L40S, 48 GB GDDR6 bellekle çıkarım ve görsel üretim için yaygın kullanılır. Bu sınıftaki kartlar PCIe yuvasına takılır ve genellikle NVLink ile birbirine bağlanmaz, bu yüzden tek kartta sığan işlerde en verimli hallerindedir.
Veri merkezi kartları (H100, H200 ve benzerleri)
Büyük model eğitimi ve büyük modellerin çıkarımı için tasarlanmıştır. HBM tipi çok yüksek bant genişlikli bellek kullanırlar. H100'ün 80 GB, H200'ün 141 GB belleği vardır; ikisi arasındaki asıl fark bellek miktarı ve bellek bant genişliğidir. Büyük bir modeli daha az kartla çalıştırmak ya da aynı kartta daha çok eşzamanlı kullanıcıya hizmet vermek bu farkla mümkün olur.
Eksileri belli: kiralama ve satın alma maliyeti yüksek, güç ve soğutma ihtiyacı fazla. 8B parametreli bir modeli birkaç kullanıcıya sunmak için H200 kiralamak çoğu zaman paranın boşa gitmesi demektir.
PCIe, SXM ve NVLink: çok kartlı sunucuda neden önemli
Aynı kart modeli iki farklı biçimde gelebilir.
PCIe kart: Anakarttaki standart PCIe yuvasına takılır. Kartlar birbiriyle ve CPU ile PCIe hattı üzerinden konuşur. PCIe 5.0 x16 yön başına yaklaşık 64 GB/s taşır. Bazı PCIe kartlar (ör. H100 NVL) ikili NVLink köprüsüyle eşlenebilir ama bu bağlantı yalnız o iki kart arasındadır.
SXM modül: Kart değil, özel bir taşıyıcı karta (NVIDIA HGX platformu) oturan bir modüldür. SXM modüller daha yüksek güç sınırıyla çalışır ve NVLink ile, 8 GPU'lu sistemlerde NVSwitch üzerinden, birbirine bağlanır. NVIDIA, H100 SXM için NVLink bant genişliğini 900 GB/s olarak belirtir. Yani kartlar arası trafik PCIe'ye göre kat kat hızlıdır.
Bu fark ne zaman önemlidir?
- Model tek karta sığıyorsa: Kartlar arası trafik yoktur. PCIe ile SXM arasındaki fark büyük ölçüde güç sınırından gelen hesap gücü farkıdır. PCIe çoğu zaman daha ekonomik seçimdir.
- Model birden çok karta bölünüyorsa (tensor parallel): Her katmanda kartlar veri alışverişi yapar. Burada NVLink belirgin hız farkı yaratır; PCIe üzerinden 4 ya da 8 karta bölünmüş büyük bir model beklenenden yavaş çalışabilir.
- Çok kartlı eğitimde: Gradyan senkronizasyonu kartlar arası bant genişliğine doğrudan bağlıdır. Büyük eğitim işlerinde SXM ve NVLink neredeyse zorunludur.
Pratik kural: işiniz tek kartta bitiyorsa PCIe, büyük modeli birden çok karta yayacaksanız SXM ve NVLink isteyin.
Ayrılmış GPU, paylaşımlı vGPU ve entegre GPU: ilanda neye bakılmalı
"GPU'lu sunucu" ifadesi üç farklı şeyi anlatabilir:
- Ayrılmış (dedicated) GPU: Fiziksel kartın tamamı size verilir. VRAM'in hepsi sizindir, başka müşteriyle paylaşılmaz. Sanal makinede bu genellikle PCI passthrough ile yapılır.
- Paylaşımlı vGPU: Bir fiziksel kart dilimlere bölünür, size bir dilim verilir. VRAM'in bir kısmını görürsünüz, hesap gücü zaman paylaşımlı olabilir. Hafif işler için ekonomik, ama ilandaki "GPU" ifadesi tam kart anlamına gelmez.
- Entegre GPU (APU): İşlemcinin içindeki grafik birimidir. Yapay zeka işi için pratikte GPU sunucu sayılmaz.
İlanda şu dört bilgiyi açıkça arayın: kart modeli, kart başına VRAM, kartın tamamının size ait olup olmadığı ve çok kartlıysa bağlantı türü (PCIe ya da SXM/NVLink). Bu ayrımın ayrıntısını APU, vGPU ve ayrılmış GPU farkı yazısında ele aldık.
Teslimde ne aldığınızı doğrulayın
Aşağıdaki komutlar NVIDIA sürücüsü kurulu bir Linux sunucu için hazırlandı (Ubuntu 24.04 ve Debian 12 üzerinde aynı şekilde çalışması beklenir). Yalnız okuma yapar, sistemde bir şey değiştirmez; geri alınacak bir adım yoktur.
#!/usr/bin/env bash
# GPU sunucu teslim kontrolü: yalnız okuma yapar.
# 1) Kart modeli, toplam VRAM, PCIe nesli ve hat genişliği
nvidia-smi --query-gpu=index,name,memory.total,pcie.link.gen.current,pcie.link.width.current --format=csv
# 2) Kartlar arası bağlantı matrisi (NV# = NVLink, PIX/PXB/PHB/NODE/SYS = PCIe yolu)
nvidia-smi topo -m
# 3) NVLink durumu (NVLink yoksa boş ya da desteklenmiyor yanıtı döner)
nvidia-smi nvlink -s
# 4) Sanallaştırma kipi: vGPU diliminde bu alan farklı bir değer gösterir
nvidia-smi -q | grep -i -A2 "virtualization"
Beklenen sonuçlar:
- İlk komutta her satırda kart modeli ve ilan edilen VRAM'e yakın bir değer görmelisiniz (sürücü küçük bir kısmı ayırdığı için birkaç yüz MiB eksik görünmesi normaldir). Toplam VRAM ilandakinin yarısı ya da çeyreği gibi görünüyorsa bir vGPU dilimi almış olabilirsiniz.
- Kart boştayken PCIe nesli düşük görünebilir; bu güç tasarrufu içindir. Yük altında tekrar bakın.
topo -mçıktısında kartlar arasındaNVile başlayan değerler NVLink bağlantısını gösterir. Tüm kart çiftlerindeSYSya daPHBgörüyorsanız kartlar yalnız PCIe üzerinden konuşuyordur.
Kiralama seçenekleri: saatlik bulut GPU, aylık GPU sunucu, fiziksel GPU sunucu
Saatlik bulut GPU
Kullandığınız saat kadar ödersiniz. Ayda birkaç gün süren eğitim işleri, deneme ve kısa projeler için mantıklıdır.
- Artı: Başlangıç maliyeti yok, iş bitince kapatırsınız.
- Eksi: Sürekli çalışan bir hizmette saatlik ücret aylık toplamda hızla büyür. Popüler kartlarda kapasite her an bulunmayabilir. Kapattığınızda yerel diskteki veri gidebilir, model dosyalarını her seferinde yeniden indirmeniz gerekebilir.
Aylık GPU sunucu
Belirli bir kart ve yapılandırma bir ay ya da daha uzun süre size ayrılır.
- Artı: Öngörülebilir aylık maliyet, kart sürekli sizde, model ve veri diskte kalır. 7/24 çalışan çıkarım hizmeti için doğal seçimdir.
- Eksi: Kart boşta dursa da ödersiniz. Taahhüt süresi varsa ihtiyacınız değiştiğinde esneklik azalır.
Fiziksel GPU sunucu (sahip olmak ya da tüm makineyi kiralamak)
Donanımı satın alıp kendi ofisinize ya da bir veri merkezine koymak ya da tüm fiziksel makineyi kiralamak.
- Artı: Uzun vadede ve yüksek kullanımda birim maliyet düşebilir, donanım üzerinde tam kontrol.
- Eksi: Yüksek ilk yatırım, güç ve soğutma altyapısı, arıza durumunda parça ve iş gücü sizin sorumluluğunuzda. Kartlar birkaç yılda eskir, satın aldığınız yapılandırma yeni modellere yetmeyebilir.
Hangisinin ucuz olduğu tek bir sayıya bağlıdır: ayda kaç saat GPU kullanacağınız. Saatlik fiyat ile aylık fiyatı karşılaştırıp başabaş saatini bulun; tahmini kullanımınız bunun belirgin altındaysa saatlik, üstündeyse aylık daha mantıklıdır. Satın almayı düşünüyorsanız amortisman süresine güç, soğutma, yedek parça ve sizin ya da ekibinizin harcayacağı zamanı da ekleyin.
Veri yerelliği, KVKK ve lokasyon
GPU sunucunun nerede durduğu yalnız gecikme meselesi değildir. Modele kişisel veri içeren belgeler, müşteri yazışmaları ya da çağrı kayıtları gönderecekseniz KVKK açısından verinin yurt dışına aktarılıp aktarılmadığı önem kazanır.
Kontrol edilecek noktalar:
- Sunucu lokasyonu: Sözleşmede ve ilanda açıkça yazmalı. AB içinde bir veri merkezi ile AB dışı bir lokasyon farklı değerlendirilir; ikisi de Türkiye dışıdır ve yurt dışına aktarım hükümleri açısından hukuk biriminizle değerlendirilmelidir.
- Hangi veri gidiyor: Kişisel veriyi modele göndermeden önce anonimleştirmek ya da maskelemek, lokasyon sorusunun etkisini azaltır.
- Kayıtlar ve yedekler: Model sunucusunun ürettiği loglar ve yedekler nerede tutuluyor? Asıl veri bir yerde, kopyası başka yerde olabilir.
- Fatura ve sözleşme: Fatura para birimi, kur riski ve sözleşmenin tarafı olan şirketin nerede kayıtlı olduğunu baştan sorun.
sunucu.com.tr'de GPU sunucular Frankfurt'ta (Almanya, AB) bulunur; Türkiye'de GPU lokasyonu yoktur. Verinin Türkiye'de kalması şartsa ve işiniz CPU'da yürüyebiliyorsa İstanbul'daki bulut ya da fiziksel sunucu seçenekleri değerlendirilebilir; GPU tarafında İstanbul için talebinizi ayrıca iletebilirsiniz.
Sık yapılan hatalar
- Kartı iş yükünden önce seçmek: "En iyisi H200" diye başlamak. Önce modeli, kuantizasyonu ve eşzamanlı kullanıcıyı belirleyin, VRAM'i hesaplayın, sonra kart seçin.
- Yalnız ağırlıkları hesaplamak: KV cache, uzun bağlam ve çok kullanıcıda ciddi VRAM tüketir. Model "sığıyor" görünür, gerçek yükte bellek yetmez.
- Çok kartlı PCIe sunucuda büyük model bölmek: NVLink olmadan tensor parallel ile çalışan büyük model beklenen hızı vermeyebilir. Bağlantı türünü teslimde
nvidia-smi topo -mile kontrol edin. - vGPU dilimini tam kart sanmak: İlandaki VRAM değeri kart başına mı, dilim başına mı, mutlaka sorun.
- CPU, RAM ve diski küçük tutmak: Model yüklemesi yavaş disk yüzünden dakikalar sürer, veri hazırlığı zayıf CPU yüzünden GPU'yu bekletir.
- İzlemeyi atlamak: Sıcaklık, VRAM doluluğu ve ECC hataları izlenmezse sorun kullanıcı şikâyetiyle fark edilir.
- Model API'sini internete açık bırakmak: Ollama, vLLM gibi servislerin portları kimlik doğrulamasız dışarıya açılmamalı; ters vekil ve kimlik doğrulama arkasına alın.
Sık sorulan sorular
GPU sunucu ile ekran kartlı sunucu aynı şey mi?
Günlük dilde evet. Ancak "ekran kartlı" ifadesi bazen yalnız görüntü çıkışı için takılmış basit bir kartı ya da işlemcideki entegre grafiği de kapsayabilir. Yapay zeka işi için önemli olan, ayrılmış ve yeterli VRAM'e sahip bir NVIDIA (ya da desteklenen başka bir) hesaplama kartıdır.
Küçük bir dil modeli için GPU sunucu şart mı?
Şart değil. Birkaç milyar parametreli, kuantize edilmiş bir modeli az sayıda kullanıcıya CPU'lu bir sunucuda çalıştırmak mümkündür; yanıt hızı daha düşük olur. Kullanıcı sayısı arttığında ya da hız beklentisi yükseldiğinde GPU'ya geçmek mantıklı hale gelir.
PCIe mi, SXM mi seçmeliyim?
Modeliniz tek karta sığıyorsa PCIe kartlı bir sunucu çoğu durumda yeterli ve daha ekonomiktir. Modeli birden çok karta bölmeniz gerekiyorsa ya da çok kartlı eğitim yapacaksanız SXM ve NVLink'li bir sistem kartlar arası darboğazı ortadan kaldırır.
Tüketici kartı (RTX) ile üretim hizmeti verilir mi?
Teknik olarak çalışır ve küçük işlerde fiyat avantajı sağlar. Ancak VRAM sınırlıdır, ECC ve NVLink yoktur, sürücü lisansı veri merkezi kullanımını kısıtlar. Deneme ve küçük ölçekli işler için uygundur; kritik ve sürekli hizmette profesyonel ya da veri merkezi sınıfı kartlar daha güvenli seçimdir.
Saatlik mi, aylık mı kiralamalıyım?
Ayda kaç saat GPU kullanacağınızı tahmin edin ve saatlik fiyatla aylık fiyatın başabaş noktasıyla karşılaştırın. Ara ara yapılan eğitim işleri için saatlik, 7/24 çalışan çıkarım hizmeti için aylık genellikle daha uygundur.
Bu işi hazır yapmak isterseniz
Kart seçimi, sürücü ve CUDA kurulumu ile model servisinin hazırlanmasını kendiniz yapmak istemiyorsanız, Frankfurt'taki GPU sunucu seçeneklerine bakabilir ya da katalogda olmayan bir kart modeli için sayfadaki formdan ihtiyacınızı iletebilirsiniz. Model boyutu, beklenen kullanıcı sayısı ve kullanım süresini yazmanız doğru yapılandırmayı birlikte belirlemeyi kolaylaştırır.
Sonuç
GPU sunucu, yapay zeka ve yoğun paralel hesaplama için tasarlanmış, gücünü büyük ölçüde VRAM'den alan bir sunucudur. Doğru seçim kart modelinden değil iş yükünden başlar: modelin VRAM ihtiyacı, hız hedefi, eşzamanlı kullanıcı ve aylık kullanım saati. Tek karta sığan işte PCIe, çok karta bölünen büyük modelde SXM ve NVLink; ara sıra kullanımda saatlik, sürekli hizmette aylık kiralama mantıklıdır. Teslim aldığınız sunucuyu nvidia-smi ile doğrulayın, veri lokasyonunu KVKK açısından baştan netleştirin.
- #gpu sunucu
- #yapay zeka
- #nvidia
- #pcie
- #sxm
- #nvlink
- #gpu kiralama
Yazar
Kurucu, sunucu.com.tr · Bulut altyapısı ve yapay zeka otomasyonları
sunucu.com.tr ve Sunucu UK'in kurucusu. Bulut altyapısı, sanallaştırma ve sunucu yönetimi üzerine çalışıyor; şirketlerin iş yazılımlarını, web sitelerini ve yapay zeka iş yüklerini güvenli sunuculara taşıyor. Blogdaki rehberler sahada karşılaşılan kurulum, güvenlik ve taşıma işlerinden derlenir; yazılar yapay zeka desteğiyle hazırlanır ve kaynaklarla doğrulanır.