On-Premise Yapay Zekâ: Veriyi Şirkette Tutarak LLM Çalıştırmak

On-premise yapay zekâ nedir, ne zaman mantıklıdır? Şirket içinde LLM çalıştırmak için mimari, donanım boyutlandırma, maliyet karşılaştırması ve karar soruları.

Yazar: CX Teknoloji Uzman Ekibi

On-premise yapay zekâ, büyük dil modelini (LLM) ve onu besleyen arama, yetki ve kayıt bileşenlerini dışarıdaki bir bulut servisine göndermeden şirketin kendi sunucularında ya da kendi kontrolündeki özel bir ortamda çalıştırmaktır. Veri şirket dışına çıkmaz; karşılığında donanım, model seçimi, güncelleme ve işletme sorumluluğu şirkete geçer. Hassas veri, yurt dışı aktarım kısıtı veya internetsiz saha varsa güçlü bir seçenektir.

Bu yazı, yerinde LLM çalıştırmayı düşünen CTO ve BT direktörleri için bir karar çerçevesi sunuyor: hangi durumlarda mantıklı, nasıl bir mimari gerekir, donanım nasıl boyutlandırılır ve bulut ile karşılaştırırken hangi kalemlere bakılır. Bu kararı tek başına bir donanım alımı olarak görmüyoruz; yapay zekâ danışmanlığı çalışmalarımızda barındırma kararını kullanım senaryosu ve veri sınıflandırmasından sonra veriyoruz.

Şirket içinde LLM çalıştırmak ne zaman mantıklıdır?

Her yapay zekâ işi yerinde çalışmak zorunda değildir. Pazarlama metni taslağı ya da kamuya açık bilgiyle yapılan bir araştırma için bulut servisi çoğu zaman daha pratiktir. Yerinde çalışmayı öne çıkaran durumlar daha belirgindir:

• Veri hassas ve şirket dışına çıkması istenmiyor: ürün reçeteleri, teklif ve maliyet dosyaları, Ar-Ge dokümanları, personel kayıtları.
• Kişisel veri yurt dışına aktarılamıyor veya aktarım için gerekli hukuki adımlar projenin takvimine uymuyor. Bu tarafı yapay zekâ projelerinde KVKK yazısında ele aldık.
• Müşteri ya da ana sanayi sözleşmesi verinin belirli bir ortamda kalmasını şart koşuyor.
• Saha internete kapalı veya bağlantı güvenilir değil: tersane, maden, uzak tesis.
• Kullanım yoğun ve öngörülebilir: binlerce dokümanın her gece işlenmesi gibi sürekli iş yükleri, kullanım başına ödenen bulutta beklenenden pahalıya gelebilir.

Bu durumların hiçbiri yoksa yerinde kurulum genellikle gereksiz bir işletme yükü getirir. Görüntü analitiği tarafında aynı soruyu kameralar için tartıştığımız edge mi bulut mu yazısındaki mantık burada da geçerlidir: veri nerede üretiliyor, nerede kullanılıyor ve ne kadar gecikme kabul edilebilir?

On-premise LLM mimarisi hangi bileşenlerden oluşur?

Yerinde çalışan bir kurumsal asistan tek bir modelden ibaret değildir. Sahada kurduğumuz yapılarda en az şu katmanlar bulunur:

1. Model: açık ağırlıklı (indirilip kendi sunucunuzda çalıştırılabilen) bir LLM. Lisans şartları modele göre değişir; ticari kullanım ve kullanıcı sayısı kısıtları sözleşme gibi okunmalıdır.
2. Çıkarım sunucusu: modeli GPU üzerinde çalıştıran, aynı anda gelen istekleri sıraya koyan ve bir API sunan yazılım.
3. Arama katmanı: şirket dokümanlarını parçalara bölen, anlam temelli arama için vektör indeksine yazan ve soruya uygun parçaları bulan bileşen. Bu yaklaşımın adı RAG'dir; ayrıntısı RAG nedir yazısında.
4. Yetki katmanı: kullanıcının yalnız görmeye yetkili olduğu belgelerden cevap almasını sağlayan, şirket dizin servisiyle (Active Directory gibi) bağlı kontrol.
5. Kayıt ve izleme: kim ne sordu, hangi kaynaklar kullanıldı, cevap ne kadar sürede geldi. Hem denetim hem kalite takibi için gerekir.
6. Kullanıcı arayüzü ve entegrasyonlar: web arayüzü, Teams gibi mesajlaşma araçları veya ERP ekranına gömülü bir pencere.

Bu katmanlardan model, en kolay değiştirilebilen parçadır. Açık modeller hızla yenilendiği için mimariyi belirli bir modele bağımlı kurmamak, model değişikliğini bir yapılandırma işi haline getirmek uzun vadede en çok işe yarayan tasarım kararıdır.

Sık sorulan bir soru da modelin şirket verisiyle yeniden eğitilmesinin (ince ayar, fine-tuning) gerekip gerekmediğidir. Şirket dokümanlarından cevap vermek isteniyorsa çoğu durumda buna gerek yoktur; arama katmanı doğru belgeyi bulup modele verdiğinde model güncel bilgiyle cevap üretir ve belge değiştiğinde yeniden eğitim gerekmez. İnce ayar daha çok modelin belirli bir yazım biçimini, şirket terminolojisini veya dar bir sınıflandırma görevini öğrenmesi istendiğinde düşünülür. Bu durumda eğitim verisinin hazırlanması, sürüm takibi ve her model güncellemesinde ince ayarın tekrarlanması da işletme planına eklenmelidir.

Donanım nasıl boyutlandırılır?

GPU belleği, yerinde LLM projelerinde ilk darboğazdır. Kaba bir başlangıç hesabı şu şekilde yapılır: model ağırlıklarının kapladığı bellek yaklaşık olarak parametre sayısı ile parametre başına bayt sayısının çarpımıdır. 16 bit hassasiyette her parametre 2 bayt, 4 bit nicemlemede (quantization, ağırlıkları daha düşük hassasiyette saklamak) yaklaşık yarım bayt yer tutar. Bunun üstüne eşzamanlı kullanıcıların sohbet geçmişi ve uzun bağlam için ek bellek gerekir.

Varsayımsal bir örnek: P milyar parametreli bir model 4 bit nicemlemeyle yaklaşık P/2 GB ağırlık belleği ister. Aynı anda K kullanıcının uzun dokümanlarla çalışacağı öngörülüyorsa bu değerin üstüne K ile orantılı bir pay eklenir. Kesin değer modele, bağlam uzunluğuna ve çıkarım yazılımına göre değişir; bu yüzden satın almadan önce aday modeli gerçek dokümanlarınız ve beklenen kullanıcı sayısıyla birkaç gün test etmek, kağıt üstündeki hesaptan daha güvenilir sonuç verir.

Nicemleme belleği azaltır ama cevap kalitesini etkileyebilir. Bu etkiyi ölçmenin yolu, şirketinize özgü bir soru seti hazırlamak ve farklı ayarlarla verilen cevapları alan uzmanına puanlatmaktır. Bu soru seti, ileride model değiştirirken de aynı kıyaslamayı yapmanızı sağlar.

Bulut, on-premise ve hibrit nasıl karşılaştırılır?

Maliyet karşılaştırmasını üç ila beş yıllık bir dönem için yapmak daha anlamlıdır. Bulut tarafında aylık tahmini istek sayısı ile istek başı ücret çarpılır; yerinde tarafta donanımın amortismanı, enerji, soğutma, yedek parça ve bu sistemi işletecek personelin zamanı toplanır. Personel zamanı en sık unutulan kalemdir. Bir de kullanım oranını hesaba katın: gün içinde boş duran bir GPU sunucusunun maliyeti, gece toplu işler çalıştırılarak daha verimli kullanılabilir.

Yerinde model kurulduktan sonra kim işletir?

On-premise kararının asıl maliyeti kurulumdan sonra ortaya çıkar. Model sürümleri, çıkarım yazılımı ve GPU sürücüleri güncellenmeli; indeks yeni dokümanlarla beslenmeli; cevap kalitesi düzenli olarak örnek sorularla kontrol edilmeli; disk ve GPU kullanımı izlenmeli. Bu işler bir kişinin yan görevi olarak kalırsa sistem birkaç ay içinde güncelliğini kaybeder ve kullanıcılar bulut servislerine geri döner.

Bu yüzden kurulum projesinin çıktısı, çalışan bir sistemin yanında yazılı bir işletme planıdır: kim günceller, hangi sıklıkla kalite testi yapılır, arıza olduğunda kime ulaşılır. Görüntü işleme modelleri için anlattığımız MLOps ve model yaşam döngüsü yaklaşımının çoğu dil modelleri için de geçerlidir.

Karar vermeden önce sorulacak sorular

• Hangi kullanım senaryosu için kuruyoruz ve bu senaryoda hangi veri sınıfı işleniyor?
• Aynı anda kaç kullanıcı, ne uzunlukta dokümanlarla çalışacak?
• Açık ağırlıklı modeller bu iş için yeterli kaliteyi veriyor mu? Bunu kendi soru setimizle test ettik mi?
• Seçtiğimiz modelin lisansı ticari kullanımımıza uygun mu?
• Sunucu odamız GPU sunucusunun güç ve soğutma ihtiyacını karşılıyor mu, yoksa bu da altyapı yenileme planına mı girmeli?
• Sistemi kim işletecek, bu kişi veya ekip için zaman ayrıldı mı?
• Hassas olmayan işleri bulutta yürütüp yalnız hassas olanları içeride tutan hibrit bir yapı bizim için daha mı uygun?

CX Teknoloji bu kararı nasıl destekliyor?

Biz uzun süredir görüntü analitiği modellerini müşterinin kendi sunucularında ve sahadaki edge cihazlarda çalıştırıyoruz; GPU boyutlandırma, internetsiz ortamda güncelleme ve yerinde izleme bizim için günlük iş. Dil modellerinde de aynı yaklaşımı izliyoruz: önce kullanım senaryosunu ve veri sınıflarını çıkarıyor, aday modelleri gerçek dokümanlarınızla test ediyor, bulut, yerinde ve hibrit seçenekleri üç ila beş yıllık maliyetiyle yan yana koyuyoruz. Karar yerinde kurulumdan yana çıkarsa kurulumu ve devir planını da biz yapıyoruz. Bir kurumsal yapay zekâ asistanı için hangi seçeneğin size uyduğunu konuşmak isterseniz ön değerlendirme ile başlayabiliriz.

Sık sorulan sorular

On-premise LLM, bulut modelleri kadar iyi cevap verir mi?

İşe göre değişir. Şirket dokümanlarından cevap üretmek, sınıflandırma ve özetleme gibi işlerde açık ağırlıklı modeller çoğu zaman yeterli olabilir; çok adımlı akıl yürütme gerektiren işlerde fark açılabilir. Bunu genel yorumlarla değil, kendi soru setinizle test ederek görmek gerekir.

Yerinde LLM için hangi donanım gerekir?

Belirleyici kalem GPU belleğidir. İhtiyaç, model büyüklüğü, nicemleme düzeyi, bağlam uzunluğu ve eşzamanlı kullanıcı sayısıyla birlikte hesaplanır. Satın almadan önce aday modeli gerçek iş yüküyle kısa süreli test etmek en güvenilir boyutlandırma yöntemidir.

Model şirket içinde çalışırsa veri güvenliği otomatik olarak sağlanır mı?

Hayır. Veri şirket dışına çıkmaz, ama yetkisiz bir çalışanın başka bölümün belgesine asistan üzerinden erişmesi hâlâ mümkündür. Belge düzeyinde yetki kontrolü, kayıt tutma ve erişim denetimi yerinde sistemlerde de ayrıca tasarlanmalıdır.

Hibrit yapay zekâ mimarisi ne demektir?

Hibrit mimari, hassas veri içeren işlerin şirket içindeki modelde, hassas olmayan işlerin bulut servislerinde çalıştırıldığı yapıdır. Bir yönlendirme katmanı isteğin hangi veri sınıfına girdiğine bakarak hangi modele gideceğine karar verir. Veri sınıfları net ayrılabiliyorsa iki dünyanın avantajını birlikte almayı sağlar.

Açık ağırlıklı modeller ticari olarak serbestçe kullanılabilir mi?

Her zaman değil. Bazı modellerin lisansı ticari kullanımı serbest bırakırken bazıları kullanıcı sayısı, kullanım alanı veya dağıtım konusunda kısıt getirir. Model seçiminde lisans metni hukuk birimiyle birlikte okunmalıdır.