Ollama güncelleme: 0.40 serisinde Nemotron 3.5 Super, karar modelleri ve Linux sunucuda güvenli sürüm yükseltme

Ollama'nın 0.40 serisi Ekim ayı boyunca neredeyse iki günde bir yeni sürüm çıkardı. Liste uzun: yeni modeller var, karar modellerine komut satırından erişim var, Linux desteği genişledi. Ollama'yı ekibiniz için bir Linux sunucuda sürekli açık tutuyorsanız bu Ollama güncelleme turu kaçırılacak gibi değil. Ama sürümü yükseltirken modelleri ve servis ayarlarını korumak için biraz hazırlık gerekiyor.

Ne değişti

GitHub sürümler sayfasında en güncel sürüm 28 Ekim tarihli v0.40.13 olarak görünüyor. Serinin öne çıkan değişiklikleri şunlar:

• Nemotron 3.5 Super (v0.40.5): NVIDIA'nın uzman karışımı (MoE) modeli. Toplamda 120B parametresi var, her adımda bunun 12B kadarı çalışıyor. 1M token'a kadar bağlamı destekliyor.
• Karar modelleri komut satırında (v0.40.4): Karar modelleri artık ollama run --ask biçimiyle çağrılabiliyor. Aynı sürümle llama-server üzerinden çok modlu embedding desteği de geldi.
• pplx-decider (v0.40.7): Perplexity'nin 27B parametreli karar modeli eklendi. Bu sürümde istemci bağlantıyı kestiğinde uzak istek de iptal ediliyor. Ayrıca ollama show artık şablonun kaynağını gösteriyor.
• d3 karar modelleri (v0.40.11): 2B, 4B, 9B ve 27B olmak üzere dört boyutta geliyor. Aynı sürüm macOS'ta OpenAI uyumlu konuşma uç noktası üzerinden ses üretimi ekledi.
• Flint (v0.40.8 ve v0.40.9): Recursive'in kodlama modeli. 40B parametreli bir MoE modeli, 262K bağlam penceresi var. İlk çıktığında yalnız macOS'ta çalışıyordu, bir gün sonra Linux ve Windows desteği de geldi.
• q2_0 desteği (v0.40.6): GGUF dosyalarında q2_0 tensör ve dosya tipi destekleniyor. Windows'ta sahipsiz kalan runner süreçleri sorunu da bu sürümde giderildi.
• LFM3 (v0.40.13): lfm3-audio ve lfm3-omni dahil LFM3 modelleri artık Apple silicon dışında Linux ve Windows'ta da çalışıyor.

Ne anlama geliyor

Sunucu tarafında çalışanlar için asıl haber karar modelleri. Bu modeller uzun metin üretmiyor, yapılandırılmış bir karar veriyor. Talebi doğru kuyruğa yönlendirmek, bir isteğin hangi modele gideceğini seçmek ya da bir belgeyi sınıflandırmak gibi işlerde ana LLM'i her seferinde çalıştırmaya gerek kalmıyor. d3'ün 2B ve 4B boyutları bu tür ön elemeyi küçük bir GPU'da, hatta CPU'da denemeye uygun görünüyor. Kendi verinizle ölçmeden kesin bir şey söylemek doğru olmaz.

Bağlantı kesilince uzak isteğin iptal edilmesi küçük bir ayrıntı gibi duruyor. Ama paylaşılan bir sunucuda, kullanıcı sekmeyi kapattığında GPU'nun boşuna üretim yapmaya devam etmemesi anlamına geliyor.

Türkiye'deki ekipler için iki konu var:

• Veri: Müşteri yazışmalarını ya da kişisel veri içeren belgeleri kendi sunucunuzdaki modele vermek, bunları harici bir API'ye göndermekten daha kolay denetlenir. Yine de sunucu yurt dışındaysa KVKK açısından aktarım hükümlerini değerlendirmeniz gerekir.
• Türkçe: Bu modellerin Türkçe başarısıyla ilgili duyuruda bir bilgi yok. Karar modelini canlıya almadan önce kendi Türkçe örneklerinizden bir test seti hazırlayıp sonuçları elle kontrol edin.

Linux sunucuda Ollama güncelleme adımları

Ollama'yı sistem servisi olarak çalıştırıyorsanız sürüm yükseltme genelde sorunsuz geçer. Yine de önce mevcut durumu kayda geçirin:

ollama -v
ollama list > ~/ollama-modeller-oncesi.txt
systemctl cat ollama

systemctl cat ollama çıktısında OLLAMA_HOST ya da OLLAMA_MODELS gibi ortam değişkenleri tanımlıysa bunları bir yere not edin. Bu ayarları servis dosyasının içine yazdıysanız kurulum betiği dosyayı yeniden yazabilir. Bu yüzden ayarları systemctl edit ollama ile ayrı bir override dosyasında tutmak daha güvenli.

Ardından sürümler sayfasındaki resmi Linux yönergesiyle yükseltmeyi yapın ve kontrol edin:

sudo systemctl restart ollama
ollama -v
ollama list | diff ~/ollama-modeller-oncesi.txt -

diff çıktısı boşsa modelleriniz yerinde demektir. Docker kullanıyorsanız resmi imajı çekip konteyneri aynı volume ile yeniden başlatmanız yeterli. Modeller volume'da durduğu için silinmez:

docker pull ollama/ollama
docker stop ollama && docker rm ollama
docker run -d --gpus=all -v ollama:/root/.ollama -p 127.0.0.1:11434:11434 --name ollama ollama/ollama

Port bilerek yalnız localhost'a bağlandı. Dışarıdan erişim gerekiyorsa Ollama API'sini Nginx ters vekil ve kimlik doğrulamayla açma rehberine bakın. Yeni modellerin tam adını Ollama model kütüphanesinden kontrol edip çekin. Karar modellerini de --ask ile ilk kez denemeden önce ollama -v çıktısının v0.40.4 ya da daha yeni bir sürümü gösterdiğinden emin olun.

Hangi model hangi GPU sunucuya sığar

MoE modellerde sık yapılan bir hata var: Nemotron 3.5 Super'ın her adımda yalnız 12B parametre çalıştırması, belleğe 12B'lik yer açmanın yeteceği anlamına gelmez. 120B parametrenin tamamı belleğe yüklenir. Aktif parametre sayısı hızı etkiler, bellek ihtiyacını belirlemez. Kabaca hesap şöyle:

• Ağırlıkların kapladığı alan, parametre sayısı ile seçtiğiniz kuantizasyonda parametre başına düşen bayt miktarının çarpımıdır.
• KV cache bağlam uzunluğuyla ve eşzamanlı kullanıcı sayısıyla büyür. 1M token desteği, bu bağlamı her istekte rahatça kullanabileceğiniz anlamına gelmez.
• Ollama bir modeli GPU'ya sığdıramazsa bir kısmını CPU'ya bırakır. Model çalışır ama yavaşlar.

Ayrıntılı hesap için LLM VRAM hesaplama rehberine bakabilirsiniz. Küçük d3 modelleri ve 27B sınıfı karar modelleri tek bir orta sınıf kartla denenebilir. Nemotron 3.5 Super ise yüksek bellekli bir kart ister. Frankfurt'taki GPU sunucu kataloğumuzda NVIDIA H200 bulunuyor, başka kart modelleri için sayfadaki formdan talep iletebilirsiniz. Modeli ve servisi kurulu olarak teslim almak isterseniz yapay zeka sunucusu seçeneğine göz atın.

Sık sorulan sorular

Ollama güncellemesi indirdiğim modelleri siler mi?

Normalde silmez. Modeller ayrı bir dizinde ya da Docker volume'unda durur. Yine de güncellemeden önce ollama list çıktısını kaydedin, sonra karşılaştırın.

Karar modeli ile normal LLM arasındaki fark ne?

Karar modeli serbest metin üretmez, sınıflandırma ya da yönlendirme gibi tek bir karar döndürür. Bu yüzden ana modelin önünde hızlı ve ucuz bir eleme katmanı olarak işe yarar.

Flint Linux'ta çalışıyor mu?

Evet. Linux ve Windows desteği v0.40.9 ile geldi. Daha eski bir 0.40 sürümündeyseniz önce yükseltin.

12B aktif parametre, modelin 12B'lik bir kart belleğine sığacağı anlamına mı gelir?

Hayır. MoE modellerde bütün parametreler bellekte durur, aktif parametre sayısı yalnız hesaplama yükünü belirler.

Kaynaklar

• Releases · ollama/ollama