Yapay zeka için GPU sunucu seçimi: LLM çıkarımı, ince ayar, görsel üretim ve RAG için hangi kart ve yapılandırma?

Yapay zeka için GPU sunucu kiralarken çoğu ekip işe kart modelini seçerek başlıyor. Asıl yapılması gereken önce iş yükünü tanımlamak. Kurum içi bir asistan, belgeler üzerinde soru yanıtlayan bir RAG sistemi, görsel üretim ya da kendi verinizle ince ayar, birbirinden çok farklı donanım ister. Bu rehber, proje başlatmak üzere olan KOBİ sahipleri ve sistem yöneticileri için iş yükünü donanıma çevirmenin yolunu, kart sınıflarının artı ve eksilerini ve örnek yapılandırmaları anlatıyor.

Yapay zeka için GPU sunucu: önce iş yükünü tanımlayın

Teklif istemeden önce şu dört soruyu yazılı olarak yanıtlayın. Yanıtlar, kart seçiminin büyük bölümünü kendiliğinden belirler.

1. Hangi model, hangi boyutta? 8 milyar parametreli bir model ile 70 milyar parametreli bir model arasında bellek ihtiyacı yaklaşık on kat fark eder.
2. Hangi hassasiyette çalışacak? FP16/BF16, 8-bit ya da 4-bit nicemleme (quantization) bellek ihtiyacını doğrudan böler.
3. Aynı anda kaç kullanıcı, ne uzunlukta bağlam? Eşzamanlı istek sayısı ve bağlam uzunluğu KV cache'i büyütür. Tek kullanıcıda rahat çalışan bir kart, on kullanıcıda yetmeyebilir.
4. Sadece çıkarım mı, eğitim ya da ince ayar da var mı? Eğitim, aynı model için çıkarımdan kat kat fazla bellek ister.

Bu dört yanıtı bir tabloya yazın. Teklif karşılaştırırken her sağlayıcıya aynı tabloyu gönderirseniz yanıtları da aynı ölçütle değerlendirebilirsiniz.

Çıkarım mı, ince ayar mı, eğitim mi: donanım ihtiyacı nasıl değişir

Çıkarım (inference)

Çıkarım, hazır bir modeli çalıştırıp yanıt almaktır. Bellek ihtiyacının iki ana kalemi vardır: model ağırlıkları ve KV cache.

Ağırlıklar için kaba hesap şudur: parametre sayısı çarpı parametre başına bayt. FP16/BF16'da parametre başına 2 bayt, 8-bit'te 1 bayt, 4-bit'te yaklaşık 0,5 bayt. Buna göre 8B bir model FP16'da yaklaşık 16 GB, 70B bir model FP16'da yaklaşık 140 GB, 4-bit nicemlemeyle ise 35 ile 40 GB civarında yer kaplar. Üzerine KV cache, çalışma zamanı ve CUDA bağlamı için pay eklemelisiniz.

KV cache hesabını model yapılandırma dosyasından adım adım yapmak isterseniz LLM VRAM hesaplama rehberindeki formülü kullanabilirsiniz. Karar için kural basit: ağırlıklar VRAM'in tamamını dolduruyorsa o kart üretim için yetmez, çünkü eşzamanlı kullanıcıya yer kalmaz.

İnce ayar (fine-tuning)

İnce ayarda bellek ihtiyacı yöntemle değişir:

• Tam ince ayar: Ağırlıklar, gradyanlar ve optimizer durumları birlikte bellekte tutulur. Karma hassasiyet ve Adam ile parametre başına 16 bayt civarı, aktivasyonlar hariç, yaygın kabul gören bir başlangıç tahminidir. 7B ya da 8B bir model için bile tek bir tüketici kartı yetmez.
• LoRA: Ana ağırlıklar dondurulur, yalnızca küçük ek matrisler eğitilir. Bellek ihtiyacı çıkarıma yakın kalır, üzerine aktivasyon ve küçük bir optimizer yükü gelir.
• QLoRA: Ana model 4-bit tutulur, LoRA katmanları eğitilir. Orta boy modelleri tek kartta ince ayarlamanın en ekonomik yoludur, karşılığında eğitim süresi uzar ve hassasiyette küçük kayıplar olabilir.

KOBİ ölçeğindeki projelerin büyük kısmı için LoRA ya da QLoRA yeterlidir. Tam ince ayar ya da sıfırdan eğitim planlıyorsanız çok GPU'lu ve yüksek bant genişlikli bağlantısı olan bir sunucuya bakmanız gerekir.

Görsel üretim

Difüzyon tabanlı görsel üretim modelleri LLM'lere göre daha küçüktür, ama çözünürlük, toplu üretim (batch) ve ek bileşenler (ControlNet, LoRA, yükseltici) belleği hızla doldurur. Hafif modeller 12 ile 16 GB'ta çalışabilirken yeni nesil büyük görsel modeller 24 GB ve üstünde rahat çalışır. Burada tek isteğin süresi kadar saatte kaç görsel üretebildiğiniz de önemlidir, bu yüzden ham işlem gücü LLM çıkarımına göre daha belirleyicidir.

Görsel modellerde lisansı da kontrol edin. Bazı açık ağırlıklı modeller ticari kullanımı kısıtlar.

RAG

RAG sisteminde üç parça vardır: embedding modeli, vektör veritabanı ve yanıtı üreten LLM. Embedding modeli genellikle küçüktür ve birkaç GB VRAM ile çalışır. Vektör veritabanı çoğunlukla CPU ve sistem belleği kullanır. Asıl yükü yine LLM taşır. RAG'de bağlama çok sayıda belge parçası eklendiği için istem uzar, bu da KV cache'i büyütür. RAG için sunucu gereksinimini hesaplarken bağlam uzunluğunu sohbet asistanına göre daha uzun varsayın.

İş yüküne göre kart sınıfları: RTX 4090/5090, RTX PRO 6000, L40S, H100 ve H200

Aşağıdaki bellek değerleri üreticinin yayımladığı kart özellikleridir. Fiyat ve bulunabilirlik sağlayıcıya ve döneme göre değiştiği için burada yazılmamıştır.

Karar ölçütü olarak şunu kullanın:

• 8B ile 14B arası model, az kullanıcı: 24 ya da 32 GB'lık bir kart başlangıç için yeterlidir.
• 30B ile 70B arası model, nicemlenmiş, birkaç ile on kullanıcı arası: 48 GB ile 96 GB arası tek kart ya da iki kart.
• 70B model FP16, çok kullanıcı ya da uzun bağlam: H100 ve H200 sınıfı, çoğunlukla birden fazla kart.
• Çok büyük MoE modeller: Birden çok H200 ya da H100 gerektirir, toplam VRAM'i model kartından hesaplayın.

Bellek bant genişliği de önemlidir. LLM çıkarımında token üretim hızı büyük ölçüde belleğin ne kadar hızlı okunabildiğine bağlıdır. HBM bellekli H100 ve H200'ün çok kullanıcılı çıkarımda öne çıkmasının nedeni budur.

GPU dışında: CPU, sistem belleği, NVMe disk ve ağ dengesi

GPU'ya bütçenin tamamını ayırıp geri kalanı ihmal etmek yaygın bir hatadır. Diğer bileşenler için şu ölçütleri kullanın:

• Sistem belleği (RAM): En az toplam VRAM kadar, tercihen daha fazla. Model diskten önce RAM'e, oradan GPU'ya yüklenir. RAG kullanıyorsanız vektör veritabanı da RAM ister.
• CPU: Çıkarım sunucusunda CPU, istekleri kuyruğa alma, tokenizer ve ön işleme için çalışır. Çok çekirdekli bir işlemci yeterlidir. Ama veri hazırlama, belge parçalama ve embedding üretimini aynı sunucuda yapacaksanız çekirdek sayısını artırın.
• NVMe disk: Model dosyaları onlarca, büyük modellerde yüzlerce GB'tır. Yavaş disk, her yeniden başlatmada dakikalar kaybettirir. Birkaç model sürümünü yan yana tutabilecek kadar NVMe alan planlayın.
• Ağ: Tek sunucuda çıkarım için ağ genellikle darboğaz değildir. Çok sunuculu eğitimde ise sunucular arası bant genişliği belirleyici hale gelir.

Sunucuyu teslim aldığınızda kartların ve aralarındaki bağlantının beklediğiniz gibi olduğunu doğrulayın. Aşağıdaki komutlar Ubuntu 24.04 üzerinde NVIDIA sürücüsü kurulu bir sunucu için hazırlandı. Yalnız okuma yapar, sistemde değişiklik yapmaz, bu yüzden geri alınacak bir adım yoktur.

# Kart adı, toplam ve kullanılan bellek, sürücü sürümü
nvidia-smi --query-gpu=index,name,memory.total,memory.used,driver_version --format=csv

# Kartlar arası bağlantı türü (NV# NVLink, PIX/PXB/PHB/SYS PCIe yolu)
nvidia-smi topo -m

# Sistem belleği ve disk alanı
free -h
df -h /

İlk komutta her kart için bir satır görmelisiniz. Örneğin H200 için toplam bellek 140.000 MiB civarında görünür. topo -m çıktısında kart çiftleri arasında NV ile başlayan değerler NVLink bağlantısını, PIX, PXB, PHB ya da SYS PCIe üzerinden iletişimi gösterir.

Tek GPU mu, çok GPU mu: NVLink, PCIe ve model bölme

Model tek karta sığıyorsa tek kart neredeyse her zaman daha basit ve verimlidir. Çok GPU iki durumda gerekir:

1. Model tek karta sığmıyor. Bu durumda model tensör paralelliği ya da katman bölme ile kartlara dağıtılır. vLLM gibi sunucularda tensör paralelliği yaygın yöntemdir ve kartlar arası trafik yoğundur. NVLink olan sistemlerde bu iletişim çok daha hızlıdır. PCIe üzerinden de çalışır ama ölçekleme verimi düşer.
2. Model sığıyor ama kapasite yetmiyor. Bu durumda her kartta modelin ayrı bir kopyasını çalıştırıp istekleri dağıtmak çoğu zaman daha iyidir. Kartlar arası iletişim gerekmez, NVLink şart değildir.

Karar ölçütü: Tensör paralelliği planlıyorsanız nvidia-smi topo -m çıktısını teklif aşamasında isteyin. Yalnız kopyalı çalıştırma planlıyorsanız PCIe'li kartlar daha ekonomik bir seçenek olabilir.

Örnek yapılandırmalar: kurum içi asistan, RAG, görsel üretim, ince ayar

Aşağıdaki yapılandırmalar başlangıç noktasıdır. Kesin boyutu kendi modeliniz ve kullanıcı sayınızla hesaplayın.

Kurum içi asistan (20 ile 50 çalışan, ara sıra kullanım)

• Model: 8B ile 14B arası, 8-bit ya da FP16
• GPU: 24 ile 48 GB tek kart
• RAM: 64 GB ve üzeri, NVMe: birkaç yüz GB
• Yazılım: Ollama ya da vLLM, önünde kimlik doğrulamalı bir ters vekil

Belgeler üzerinde RAG

• Model: 14B ile 70B arası, nicemlenmiş
• GPU: 48 ile 96 GB, eşzamanlı kullanıcı arttıkça H100 ya da H200 sınıfı
• RAM: vektör veritabanının boyutuna göre 128 GB ve üzeri
• Ek: embedding modeli aynı kartta küçük bir pay ile çalışabilir. Belge arşivi büyükse belge deposunu ayrı tutun.

Görsel üretim

• GPU: 24 GB ve üzeri, toplu üretim için 48 GB
• Ölçüt: saatte üretilen görsel sayısı. Deneme sırasında aynı istemle 100 görsel üretip toplam süreyi ölçün.
• Disk: üretilen çıktılar hızla birikir. Çıktıları düzenli olarak ayrı bir depoya taşıyın.

LoRA ya da QLoRA ile ince ayar

• Model: 8B ile 70B arası
• GPU: 8B için 24 ile 48 GB, 70B QLoRA için 80 GB ve üzeri
• Disk: veri seti, ara kontrol noktaları (checkpoint) ve sonuç modelleri için geniş NVMe
• Not: ince ayar genellikle süreli bir iştir. Sürekli çalışacak çıkarım sunucusuyla aynı makineyi paylaşmak yerine işi kısa süreli kiralamayla yapmak daha mantıklı olabilir. Saatlik ve aylık kiralamanın başabaş noktasını GPU kiralama maliyet hesabı yazısındaki yöntemle hesaplayabilirsiniz.

Veri nerede kalmalı: KVKK ve GPU sunucu lokasyonu

Model kendi sunucunuzda çalıştığında istemler ve belgeler üçüncü taraf bir API'ye gitmez. Bu, kişisel veri işleyen projelerde önemli bir avantajdır. Ama sunucunun nerede durduğu da hukuki açıdan önem taşır.

KVKK kapsamında kişisel veriyi Türkiye dışındaki bir sunucuda işlemek yurt dışına aktarım sayılır. Bu durumda kanunun 9. maddesindeki aktarım şartlarını, örneğin standart sözleşme ve bildirim yükümlülüğünü değerlendirmeniz gerekir. Resmi metin ve rehberler için KVKK'nın resmi sitesine bakın, kesin karar için hukuk danışmanınızla görüşün.

Pratikte izlenebilecek yollar:

• AB'de GPU sunucu: Frankfurt gibi AB lokasyonları gecikme ve veri koruma çerçevesi açısından makul bir seçenektir. Aktarım yükümlülükleri yine sizde kalır.
• Kişisel veriyi ayırmak: Belgelerden kişisel verileri maskeleyip yalnız anonimleştirilmiş içeriği GPU sunucuya göndermek riski azaltır.
• Türkiye lokasyonu talebi: Verinin Türkiye'de kalması şartsa ihtiyacınızı teklif aşamasında açıkça belirtin ve sağlayıcıdan yazılı lokasyon bilgisi isteyin.

Sık yapılan hatalar

• Kartı yalnız model boyutuna göre seçmek. Ağırlıklar sığıyor diye kartın yettiğini düşünmek, eşzamanlı kullanıcı geldiğinde bellek yetersizliğine yol açar. KV cache payını hesaba katın.
• Tüketici kartıyla tam ince ayar planlamak. 24 GB'lık bir kart LoRA ve QLoRA için uygundur, tam ince ayar için değil.
• Sistem belleğini ve diski küçük tutmak. Model yükleme süreleri uzar, RAG veritabanı swap'a düşer.
• Ollama ya da vLLM portunu internete açık bırakmak. Kimlik doğrulamasız bir model API'si herkesin kullanımına açık olur. Servisi yerelde dinletip önüne kimlik doğrulamalı bir ters vekil koyun.
• Deneme yapmadan uzun süreli taahhüt vermek. Gerçek modelinizle, gerçek istem uzunluğunuzla ve hedef kullanıcı sayınızla en az birkaç günlük yük testi yapmadan aylık ya da yıllık sözleşmeye girmeyin.
• Lisansı kontrol etmemek. Açık ağırlıklı her model ticari kullanıma açık değildir. Model kartındaki lisans bölümünü okuyun.

Sık sorulan sorular

LLM için GPU sunucu seçerken en önemli ölçüt nedir?

VRAM miktarıdır. Model ağırlıkları, KV cache ve çalışma zamanı payı toplamı kartın belleğine sığmalıdır. İkinci ölçüt bellek bant genişliğidir, çünkü token üretim hızını büyük ölçüde o belirler.

RTX kartlar üretim ortamında kullanılabilir mi?

Küçük ve orta modellerle, az sayıda kullanıcının olduğu iç projelerde kullanılabilir. Sınırları bellek miktarı ve çok GPU ölçeklemesidir. Kullanıcı sayısı ve model boyutu büyüdükçe L40S, H100 ya da H200 sınıfı daha uygun hale gelir.

RAG için ayrı bir GPU gerekir mi?

Çoğu durumda gerekmez. Embedding modeli küçüktür ve LLM ile aynı kartta çalışabilir. Vektör veritabanı CPU ve RAM kullanır. Belge sayısı çok büyükse ya da embedding üretimi sürekli yapılıyorsa ayrı bir kart düşünülebilir.

Tek H200 mi, birden fazla küçük kart mı?

Model tek karta sığıyorsa tek büyük kart daha basit ve genellikle daha verimlidir. Model sığmıyorsa çok GPU kaçınılmazdır. Bu durumda kartlar arası bağlantının NVLink mi PCIe mi olduğunu teklif aşamasında sorun.

Satın almak mı, kiralamak mı?

Kullanım saatinize bağlıdır. Kart sürekli dolu çalışacaksa uzun vadede satın alma öne çıkabilir, ama elektrik, soğutma, bakım ve donanım yenileme maliyetleri de hesaba girmelidir. Kullanım düzensizse ya da proje deneme aşamasındaysa kiralama riski azaltır.

Bu işi hazır yapmak isterseniz

Model seçimi, sunucu boyutlandırma ve kurulumla kendiniz uğraşmak istemiyorsanız yapay zeka sunucusu sayfasından ihtiyacınızı iletebilirsiniz. GPU sunucuları Frankfurt'ta (AB) bulunur. Katalogda NVIDIA H200 yer alır, başka kart modelleri ya da farklı lokasyon için GPU sunucu sayfasındaki formdan talep oluşturabilirsiniz.

Sonuç

Yapay zeka için GPU sunucu seçiminde doğru sıra şudur: önce model, hassasiyet, kullanıcı sayısı ve iş türünü yazın, sonra VRAM ihtiyacını hesaplayın, en son kart sınıfını seçin. CPU, RAM ve NVMe diski GPU'ya göre dengeleyin, çok GPU gerekiyorsa bağlantı türünü doğrulayın, kişisel veri varsa lokasyonu KVKK açısından değerlendirin. Uzun süreli taahhütten önce gerçek iş yükünüzle yapacağınız kısa bir test, yanlış kart seçmenin en ucuz sigortasıdır.