# Yapay zeka sunucusu kurulumu: Ollama ve Open WebUI ile şirket içi ChatGPT, kullanıcı yetkileri ve KVKK

> Kendi yapay zeka sunucusu üzerinde Ollama ve Open WebUI ile şirket içi bir ChatGPT kurun. Rehber boyutlandırma, Docker Compose kurulumu, kullanıcı ve model yetkileri, 11434 portunu kapatma, HTTPS, KVKK açısından sohbet kayıtları, yedek ve güncelleme adımlarını kapsıyor.

Yayın: 2026-11-21 · Güncelleme: 2026-11-21 · Yazar: sunucu.com.tr Ekibi · Kaynak: https://sunucu.com.tr/blog/yapay-zeka-sunucusu-kurulumu-ollama-open-webui-sirket-ici-chatgpt-kvkk

Çalışanlarınız sözleşme taslaklarını, müşteri yazışmalarını ya da teklif metinlerini herkese açık sohbet botlarına yapıştırıyorsa bu verinin nereye gittiğine artık siz karar vermiyorsunuz. Kendi **yapay zeka sunucusu** üzerinde Ollama ve Open WebUI çalıştırarak ChatGPT benzeri bir arayüzü şirket içinde sunabilir, kimin hangi modele erişeceğini kendiniz yönetebilirsiniz. Rehber, sistem yöneticileri ve KOBİ sahipleri için hazırlandı. Kurulumu, kullanıcı yetkilerini, güvenli erişimi ve KVKK açısından dikkat edilecek noktaları adım adım anlatıyor.

## Şirket içi yapay zeka sunucusu neyi çözer, neyi çözmez

Çözdükleri:

- **Veri akışı sizin kontrolünüzde kalır.** İstemler ve yanıtlar sizin sunucunuzda işlenir, üçüncü taraf bir API'ye gitmez.
- **Kullanıcı başı abonelik yoktur.** Maliyet sunucuya bağlıdır, kullanıcı sayısına göre değişmez. Ama kapasite sınırlıdır.
- **Erişim yönetimi merkezidir.** Hesap açma, kapatma, model kısıtlama ve sohbet kayıtları tek yerden yönetilir.

Çözmedikleri:

- **Model kalitesi.** Tek sunucuda çalışan açık ağırlıklı modeller, büyük ticari modellerin karmaşık akıl yürütme ve uzun metin başarısına her zaman ulaşamaz. Türkçe kalitesi de modele göre çok değişir. Kendi örnek işlerinizle denemeden karar vermeyin.
- **KVKK yükümlülükleri.** Sunucunun sizde olması aydınlatma, saklama süresi ve erişim kaydı yükümlülüklerini ortadan kaldırmaz. Yalnızca veri akışını sadeleştirir.
- **Bakım.** Güncelleme, yedek ve güvenlik artık sizin işiniz.

## Donanım: CPU'lu bulut sunucu mu, GPU sunucu mu?

Karar üç soruya bağlıdır: hangi boyutta model çalıştıracaksınız, aynı anda kaç kişi soru soracak ve yanıt için ne kadar beklemeye razısınız.

**CPU'lu sunucu** 3B ile 8B parametre arasındaki 4 bit kuantize modellere uygundur. 8B bir modelin 4 bit sürümü yaklaşık 5 GB tutar. Bu modeli rahat çalıştırmak için en az 16 GB RAM ve yeni nesil, çok çekirdekli bir işlemci gerekir. Yanıt yazılırken kelimeler GPU'ya göre belirgin biçimde yavaş akar ve aynı anda birden fazla kişi soru sorduğunda kuyruk oluşur. Az kullanıcılı, ara sıra yapılan özetleme, e-posta taslağı ve çeviri işleri için yeterli olabilir. Verinin Türkiye'de kalması önemliyse İstanbul lokasyonlu bir [bulut sunucu](/bulut-sunucu) bu senaryoya uyar.

**GPU sunucu** ise 14B ve üstü modeller, uzun belgelerle çalışma (RAG) ve aynı anda soru soran çok sayıda kullanıcı için gerekir. Belirleyici ölçüt VRAM'dir: model ağırlığı ile her eşzamanlı oturumun bağlam önbelleği (KV cache) kartın belleğine sığmalıdır. [GPU sunucu](/gpu-sunucu) seçeneklerimiz Frankfurt'tadır (Almanya, AB), Türkiye lokasyonu yoktur. Bunun KVKK'ya etkisini aşağıda ayrıca ele alıyoruz.

Boyutlandırma için pratik bir yöntem:

1. Kullanacağınız en büyük modeli seçin ve `ollama pull` sonrası `ollama list` çıktısında boyutuna bakın.
2. Bellek ihtiyacını bu boyutun üstüne bağlam ve işletim sistemi payı ekleyerek hesaplayın. Bağlam penceresi büyüdükçe bellek ihtiyacı da artar.
3. Yoğun saatte aynı anda soru soracak kişi sayısını tahmin edin. Toplam çalışan sayısını değil, eşzamanlı istek sayısını esas alın.
4. Deneme sunucusunda gerçek istemlerle ölçün. Ollama yanıtında dönen `eval_count` ve `eval_duration` değerleriyle saniyedeki token sayısını hesaplayabilirsiniz.

## Ubuntu 24.04'te Ollama kurulumu ve model seçimi

Aşağıdaki adımlar Ubuntu 24.04 için hazırlandı ve sudo yetkili bir kullanıcıyla çalıştırılır. Resmi kurulum betiği Ollama'yı `ollama` adlı bir systemd servisi olarak kurar. Servis varsayılan olarak yalnız `127.0.0.1:11434` adresini dinler, bu davranışı değiştirmeyeceğiz. Betiği doğrudan kabuğa aktarmak yerine önce dosyaya indirip içeriğine göz atıyoruz, sonra çalıştırıyoruz. Geri almak için `sudo systemctl disable --now ollama` ile servisi durdurabilirsiniz. Kaldırmanın ayrıntılı adımları ve betiksiz, elle kurulum seçeneği için [Ollama Linux belgesine](https://github.com/ollama/ollama/blob/main/docs/linux.md) bakın.

```bash
# Sistem güncellemesi ve gerekli araçlar
sudo apt update && sudo apt -y upgrade
sudo apt -y install curl ca-certificates sqlite3

# Ollama resmi kurulum betiğini önce dosyaya indirin
curl -fsSL https://ollama.com/install.sh -o /tmp/ollama-install.sh

# Çalıştırmadan önce içeriği inceleyin (q ile çıkılır)
less /tmp/ollama-install.sh

# İnceledikten sonra çalıştırın (tekrar çalıştırmak güncelleme yapar)
sudo sh /tmp/ollama-install.sh

# Servisin çalıştığını ve yalnız yerelde dinlediğini kontrol edin
systemctl is-active ollama
ss -tlnp | grep 11434
curl -s http://127.0.0.1:11434
```

Beklenen çıktı: `active`, `127.0.0.1:11434` satırı ve `Ollama is running` metni. `ss` çıktısında `0.0.0.0:11434` ya da `*:11434` görüyorsanız bir yerde `OLLAMA_HOST` tanımlanmış demektir. Bunu sonraki bölüme geçmeden düzeltin.

Model indirme ve ilk deneme:

```bash
# Örnek olarak orta boy, çok dilli bir model; kendi testlerinize göre değiştirin
ollama pull qwen2.5:7b
ollama list

# Kısa bir Türkçe deneme
ollama run qwen2.5:7b "Kira sözleşmesinde depozito iadesi koşullarını üç maddede özetle."
```

Model seçerken Ollama kütüphanesindeki güncel modelleri inceleyin. Lisansın ticari kullanıma izin verdiğini kontrol edin ve en az iki modeli aynı istem setiyle karşılaştırın. Belleği az bir sunucuda birden fazla büyük modeli aynı anda yüklü tutmayın.

## Docker Compose ile Open WebUI kurulumu ve Ollama bağlantısı

Open WebUI'yi konteynerde çalıştıracağız. Docker'ın port yayınlama özelliği UFW kurallarını atlayabildiği için port yayınlamak yerine `network_mode: host` kullanıyoruz ve uygulamayı yalnız `127.0.0.1:8080` adresinde dinletiyoruz. Böylece dışarıya açılan tek kapı, birazdan kuracağımız HTTPS ters vekili olur.

Aşağıdaki betik Ubuntu 24.04 için hazırlandı ve Ubuntu deposundaki Docker paketlerini kullanır. Docker'ın kendi deposunu tercih ederseniz [resmi kurulum belgesine](https://docs.docker.com/engine/install/ubuntu/) bakın. Geri almak için `/opt/openwebui` dizininde `docker compose down` çalıştırmanız yeterli. Veriler `data` dizininde kalır.

```bash
# Docker ve Compose eklentisi
sudo apt -y install docker.io docker-compose-v2
sudo systemctl enable --now docker

# Uygulama dizini
sudo mkdir -p /opt/openwebui/data
cd /opt/openwebui

# Oturum imzalama anahtarı yalnız ilk seferde üretilir (idempotent)
if [ ! -f .env ]; then
  echo "WEBUI_SECRET_KEY=$(openssl rand -hex 32)" | sudo tee .env > /dev/null
  sudo chmod 600 .env
fi
```

`/opt/openwebui/compose.yaml` dosyasında `ai.example.com` yerine kendi alan adınızı yazın. Üretimde `main` etiketi yerine sürüm etiketi kullanmak güncellemeleri kontrollü yapmanızı sağlar.

```yaml
services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main   # üretimde sürüm etiketiyle sabitleyin
    container_name: open-webui
    network_mode: host                          # port yayını yok, UFW atlanmaz
    restart: unless-stopped
    env_file: .env
    volumes:
      - ./data:/app/backend/data                # kullanıcılar, sohbetler, ayarlar
    environment:
      - HOST=127.0.0.1                          # yalnız yerelde dinle
      - PORT=8080
      - OLLAMA_BASE_URL=http://127.0.0.1:11434
      - WEBUI_URL=https://ai.example.com
      - ENABLE_OPENAI_API=false                 # dış API bağlantısı kapalı başlasın
      - DEFAULT_USER_ROLE=pending               # yeni kayıtlar yönetici onayı bekler
      - ENABLE_COMMUNITY_SHARING=false
```

```bash
cd /opt/openwebui
sudo docker compose up -d
sudo docker compose logs --tail 30 open-webui
ss -tlnp | grep 8080
curl -sI http://127.0.0.1:8080 | head -n 1
```

`ss` çıktısında `127.0.0.1:8080` görmeli, `curl` ise `HTTP/1.1 200 OK` döndürmeli. Gömme modelleri indirildiği için ilk açılış birkaç dakika sürebilir.

Önemli bir ayrıntı: Open WebUI ayarlarının bir kısmı ortam değişkeninden yalnız ilk açılışta okunur, sonrasında veritabanındaki değer geçerli olur. Kayıt açma gibi ayarları ilk kurulumdan sonra yönetim panelinden değiştirin. Hangi değişkenin bu şekilde davrandığını kullandığınız sürümün resmi belgelerinden kontrol edin.

## HTTPS, ters vekil ve 11434 portunu internete kapatma

**Kendinizi kilitlemeyin:** UFW'yi etkinleştirmeden önce SSH'a izin vermezseniz sunucuya erişiminizi kaybedersiniz. Bu adıma geçmeden sağlayıcınızın web konsoluna (VNC ya da seri konsol) erişebildiğinizi doğrulayın.

Aşağıdaki komutlar Ubuntu 24.04 için hazırlandı. Alan adınızın A kaydı sunucuya yönlenmiş olmalı. Geri almak için `sudo ufw disable` ve `sudo apt remove caddy` yeterlidir.

```bash
# Önce SSH, sonra web portları
sudo ufw allow OpenSSH
sudo ufw allow 80/tcp
sudo ufw allow 443/tcp
sudo ufw --force enable
sudo ufw status verbose

# Caddy: otomatik Let's Encrypt sertifikası ile ters vekil
sudo apt -y install caddy
sudo tee /etc/caddy/Caddyfile > /dev/null <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:8080
}
EOF
sudo systemctl reload caddy
```

11434 ve 8080 portları için ayrıca kural yazmanıza gerek yok, çünkü ikisi de yalnız loopback arayüzünde dinliyor. Dışarıdan doğrulamak için başka bir makineden şunu çalıştırın (192.0.2.10 yerine sunucunuzun IP adresini yazın):

```bash
curl -m 5 http://192.0.2.10:11434 || echo "kapali: beklenen sonuc"
curl -m 5 http://192.0.2.10:8080  || echo "kapali: beklenen sonuc"
curl -sI https://ai.example.com | head -n 1
```

Ollama API'sini başka uygulamalar da kullanacaksa portu açmak yerine kimlik doğrulamalı bir ters vekil kurun. Bu konu [Ollama API'sini internete açmadan uzaktan erişim](/blog/ollama-api-guvenli-uzaktan-erisim-ubuntu-nginx-ters-vekil-kimlik-dogrulama) yazısında ayrıntılı anlatılıyor. Arayüzü yalnız ofis ağından ya da VPN üzerinden açmak istiyorsanız Caddyfile içinde IP kısıtı da tanımlayabilirsiniz.

## Kullanıcı, grup ve model bazlı yetkiler

`https://ai.example.com` adresinde açılan **ilk hesap yönetici olur**. Bu yüzden HTTPS hazır olur olmaz kendi hesabınızı açın. Menü adları sürümden sürüme değişebilir ama mantık aynıdır:

1. **Kaydı kapatın ya da onaya bağlayın.** Yönetim panelinin genel ayarlarından yeni kaydı kapatın ve kullanıcıları kendiniz ekleyin. Kaydı açık bırakacaksanız varsayılan rolün "pending" (beklemede) olduğundan emin olun.
2. **Grup oluşturun.** Örneğin "Muhasebe", "Satış", "Yazılım". Kullanıcıları gruplara ekleyin.
3. **Varsayılan izinleri daraltın.** Sohbet silme, dosya yükleme, araç ve fonksiyon kullanımı, web araması gibi yetkileri varsayılanda kapalı tutun. Gerekenleri grup bazında açın.
4. **Model erişimini gruba bağlayın.** Çalışma alanındaki model ayarlarından her modeli "özel" yapın ve yalnız ilgili gruplara görünür kılın. Büyük ve yavaş bir modeli yalnız ihtiyacı olan ekibe açmak kuyruğu da kısaltır.
5. **Sistem istemi tanımlayın.** Her grup için kurallı bir model ön ayarı oluşturun. Örneğin "Müşteri kimlik numarası, IBAN ve sağlık verisi girme" uyarısını bu istemde verebilirsiniz.

Kontrol noktası: Yönetici olmayan bir test hesabıyla giriş yapın. Model listesinde yalnız o gruba izin verilen modellerin göründüğünü ve kapattığınız özelliklerin menüde yer almadığını doğrulayın.

## KVKK: sohbet kayıtları, saklama süresi ve verinin Türkiye'de kalması

Bu bölüm hukuki görüş değildir. Kurulumdan önce veri sorumlusu olarak hukuk danışmanınızla birlikte değerlendirin.

**Ne nerede tutuluyor?** Open WebUI kullanıcıları, sohbetleri, yüklenen dosyaları ve vektör verisini `/opt/openwebui/data` altında tutar. Varsayılan veritabanı `webui.db` adlı SQLite dosyasıdır. Ollama istem içeriklerini kalıcı olarak saklamaz ama servis günlüklerine istek bilgileri düşer. Kişisel veri envanterinize bu iki konumu ekleyin.

**Verinin yeri.** Sunucu İstanbul'daysa veri yurt dışına aktarılmaz. Sunucu Frankfurt'taki bir GPU makinesiyse sohbet içerikleri AB'de işlenir. Bu durum KVKK'nın 9. maddesi kapsamında yurt dışına aktarım sayılır ve uygun bir aktarım aracı (örneğin standart sözleşme) gerektirir. Pratik bir ara çözüm şudur: kişisel veri içeren işleri İstanbul'daki CPU sunucusunda küçük bir modelle yürütün, büyük modeli ise kişisel veri içermeyen işler için GPU sunucusunda kullanın.

**Yönetici erişimi.** Open WebUI varsayılan olarak yöneticilerin kullanıcı sohbetlerini görmesine izin verir. Bu yetkiye ihtiyacınız yoksa compose dosyasına `ENABLE_ADMIN_CHAT_ACCESS=false` ekleyin. Yetkiyi açık tutacaksanız bunu çalışan aydınlatma metninde belirtin.

**Saklama süresi.** Bir süre belirleyin (örneğin 90 gün) ve uygulayın. Önce kaç kaydın etkileneceğini salt okuma sorgusuyla görün:

```bash
# Son 90 günde güncellenmemiş sohbet sayısı (yalnız okur, değiştirmez)
sudo sqlite3 -readonly /opt/openwebui/data/webui.db \
  "SELECT COUNT(*) FROM chat WHERE updated_at < strftime('%s','now','-90 days');"
```

Silme işlemini yalnız şemayı kendi sürümünüzde kontrol ettikten (`.schema chat`) ve yedek aldıktan sonra, konteyner durdurulmuşken yapın:

```bash
cd /opt/openwebui
sudo docker compose stop
sudo cp data/webui.db "data/webui.db.$(date +%F).bak"
sudo sqlite3 data/webui.db \
  "DELETE FROM chat WHERE updated_at < strftime('%s','now','-90 days');"
sudo docker compose start
```

Geri almak için konteyner durdurulmuşken `.bak` dosyasını `webui.db` olarak geri kopyalayın. Saklama süresi dolmuş yedek dosyalarını da silmeyi unutmayın, yoksa süre fiilen uzar.

## Yedekleme ve güncelleme

Yedeklenmesi gereken kritik içerik `/opt/openwebui/data` dizini ve `.env` dosyasıdır. `.env` kaybolursa oturumlar geçersiz olur. Modeller `ollama pull` ile yeniden indirilebildiği için yedeğe alınmaları şart değildir.

```bash
# Tutarlı yedek için kısa süre durdurup arşivleyin
cd /opt/openwebui
sudo docker compose stop
sudo tar -czf "/var/backups/openwebui-$(date +%F).tar.gz" data .env
sudo docker compose start
```

Arşivi aynı sunucuda bırakmayın. Şifreleyip başka bir lokasyondaki depoya gönderin ve en az ayda bir, ayrı bir makinede geri yükleme testi yapın.

Güncelleme sırası: önce yedek, sonra `sudo docker compose pull && sudo docker compose up -d`, ardından günlük kontrolü. Open WebUI veritabanı geçişlerini açılışta kendisi yapar, bu yüzden yedeksiz güncelleme yapmayın. Ollama'yı güncellemek için kurulum betiğini yukarıdaki gibi yeniden indirip inceleyin ve çalıştırın. Bu işlem servisi kısa süreliğine yeniden başlatır.

## Sık yapılan hatalar

- **`OLLAMA_HOST=0.0.0.0` ayarlayıp portu internete açmak.** Ollama API'sinde kimlik doğrulama yoktur. Portu bulan herkes modeli kullanabilir, model indirip silebilir.
- **Open WebUI'yi `-p 3000:8080` ile yayınlayıp UFW'ye güvenmek.** Docker kendi iptables kurallarını yazar ve port UFW'ye rağmen açık kalabilir.
- **İlk hesabı geç açmak.** Arayüz internete açıldığı anda ilk kayıt olan kişi yönetici olur.
- **Ortam değişkenini değiştirip ayarın değişmesini beklemek.** Kalıcı ayarlar ilk açılıştan sonra yönetim panelinden değiştirilir.
- **Bellek hesabı yapmadan büyük model çalıştırmak.** Model RAM'e ya da VRAM'e sığmazsa yanıt süresi kabul edilemez hale gelir ya da süreç bellek yetersizliğinden kapanır.
- **Yedeği hiç geri yüklememek.** Geri yüklemesi denenmemiş bir yedeğe güvenemezsiniz.

## Sık sorulan sorular

### Open WebUI ile Ollama'yı aynı sunucuda mı çalıştırmalıyım?

Tek sunuculu küçük kurulumlarda evet. Bu durumda trafik loopback üzerinden akar ve dışarıya açık port gerekmez. Kullanıcı sayısı arttığında Ollama'yı ayrı bir GPU makinesine taşıyıp Open WebUI'yi bulut sunucuda bırakabilirsiniz. Bu durumda iki makine arasındaki bağlantıyı VPN ya da kimlik doğrulamalı bir vekille korumanız gerekir.

### GPU olmadan şirket içi ChatGPT kullanılabilir mi?

Küçük modellerle ve az sayıda eşzamanlı kullanıcıyla kullanılabilir. Yanıtlar GPU'ya göre yavaş gelir. Kısa özet, e-posta taslağı ve çeviri gibi işler için çoğu zaman yeterlidir. Uzun belge analizi ve kalabalık ekip için GPU gerekir.

### Active Directory ya da Microsoft hesabıyla giriş yapılabilir mi?

Open WebUI LDAP ve OAuth/OIDC ile girişi destekler. Böylece ayrı parola yönetimi yapmazsınız ve işten ayrılan çalışanın hesabı merkezi dizinden kapatıldığında arayüze erişimi de kesilir. Yapılandırma ayrıntıları resmi belgelerde yer alır.

### Sohbet kayıtlarını tamamen kapatabilir miyim?

Kullanıcılar geçici sohbet modunu kullanabilir ve bu mod varsayılan yapılabilir. Ancak teknik destek, kötüye kullanım incelemesi ve denetim için bir miktar kayıt gerekebilir. Kayıt tutup tutmamayı ve saklama süresini KVKK politikanızla birlikte belirleyin.

### Modeli kendi belgelerimizle nasıl besleriz?

Model eğitmek yerine Open WebUI'nin bilgi tabanı (RAG) özelliğini kullanın. Belgeler sunucuda vektör olarak saklanır ve yalnız yetki verilen gruplara açılır. Kişisel veri içeren belgeleri yüklemeden önce saklama süresini ve erişim yetkisini belirleyin.

## Bu işi hazır yapmak isterseniz

Kurulumu, alan adı ve HTTPS ayarlarını, kullanıcı gruplarını ve yedek düzenini kendiniz yönetmek istemiyorsanız [yapay zeka sunucusu](/yapay-zeka-sunucusu) hizmetimizden Ollama ve Open WebUI kurulu bir sunucu talep edebilirsiniz. Kullanıcı sayınızı ve verinin nerede kalması gerektiğini birlikte netleştirip uygun lokasyonu seçebiliriz.

## Sonuç

Şirket içi bir yapay zeka sunucusu üç temel üzerine kurulur: doğru boyutlandırılmış donanım, internete yalnız HTTPS ile açılan bir arayüz ve yazılı bir veri politikası. Ollama ve Open WebUI'yi yalnız yerelde dinletin, kullanıcıları gruplara ve modellere göre sınırlayın. Sohbet kayıtları için bir saklama süresi belirleyip uygulayın ve yedeğinizi düzenli olarak geri yükleyerek test edin.
