MLOps: Sahaya Çıkan Modelin Yaşam Döngüsü

MLOps nedir? Görüntü analitiğinde veri kayması izleme, model versiyonlama, gölge dağıtım, geri alma ve yeniden eğitimle sahadaki modelin doğruluğunu koruyun.

Yazar: CX Teknoloji Uzman Ekibi

MLOps, sahaya çıkmış bir yapay zekâ modelinin izlenmesi, güncellenmesi ve gerektiğinde geri alınması için kurulan süreç ve araçların bütünüdür: model versiyonlanır, veri kayması izlenir, yeni sürüm önce gölgede denenir, sorun çıkarsa önceki sürüme dönülür. Amaç, kurulum günündeki doğruluğun aylar sonra da korunmasıdır.

Bir modelin sahada iyi çalışması, bir kez doğru eğitilmiş olmasıyla değil, sürekli izlenmesiyle mümkündür. Mevsim değişir, aydınlatma yenilenir, hat düzeni değişir, çalışanlar yeni iş kıyafeti giyer; model aynı kalırsa doğruluk sessizce düşer. Buna veri kayması (data drift) denir. Koddaki bir hata sistemi çoğu zaman görünür biçimde bozar; kayan bir model ise çalışmaya devam eder, yalnızca daha az olay yakalar ya da daha fazla yanlış alarm üretir.

MLOps, DevOps'tan neden farklıdır?

Klasik yazılımda davranışı kod belirler; kod değişmedikçe sonuç değişmez. Makine öğrenmesinde davranışı kod ile eğitim verisi birlikte belirler ve modelin karşılaştığı veri, yani kameranın önündeki dünya, her gün biraz değişir. DevOps kodun güvenli teslimatını yönetirken MLOps buna üç iş ekler: verinin ve etiketlerin sürümlenmesi, sahadaki başarımın sürekli izlenmesi ve gerektiğinde yeniden eğitim. Görüntü analitiğinde bu daha belirgindir, çünkü her kamera kendi açısı, ışığı ve arka planıyla ayrı bir ortamdır.

Yaşam döngüsü hangi aşamalardan oluşur?

1. Soru: hangi nesne, kusur ya da davranış, hangi kamerada, hangi koşulda tespit edilecek ve kime bildirilecek?
2. Veri: sahadan temsili görüntü toplanır, yazılı bir kılavuza göre etiketlenir.
3. Eğitim ve doğrulama: model, eğitimde kullanılmamış verilerle sınanır; sürüm numarası ve doğrulama raporuyla kayda alınır.
4. Dağıtım: önce gölgede, sonra kamera kamera canlıya alınır.
5. İzleme ve yeniden eğitim: yanlış alarmlar ve kaçan olaylar etiket havuzuna döner.
6. Emekliye ayırma: işlevi kalmayan model kaldırılır, sunucu kaynağı serbest bırakılır.

Projeye özel video analitik çalışmalarında döngünün ilk yarısı fizibilite, veri, eğitim, test ve canlıya alma adımlarıyla yürür; tipik bir özel proje 12–14 haftada canlıya alınır ve fizibilite sahadan alınan 1–2 haftalık örnek görüntüyle yapılır. Canlıya alma döngünün sonu değil, izleme ve yeniden eğitimle geçen çok daha uzun ikinci yarının başlangıcıdır. Veri toplama, etiketleme ve sentetik veri tarafını özel model eğitimi yazısında ayrıntılı anlattık.

İzleme neyi ölçer?

Yalnızca doğruluk değil: tespit güven skorlarının dağılımı, kare başına tespit sayısı, kamera bazlı olay oranı. Girdinin kendisi de izlenir; ortalama parlaklık, kontrast ve keskinlikteki değişim kameranın gördüğü dünyanın değiştiğini haber verir. Altyapı tarafında akışın kare hızını koruyup korumadığı ve çıkarım süresinin yükselip yükselmediği ayrıca takip edilir. Bu göstergelerde ani kayma, çoğu zaman modelden önce kamerada bir sorun olduğunu haber verir: lens kirlenmesi, açı kayması, gece modunun takılması.

Bu göstergelerin avantajı etiket gerektirmemeleridir. Doğruluğu ölçmek için her alarmın doğru mu yanlış mı olduğunu bilmek gerekir; güven skoru dağılımı ya da tespit sayısı ise her kareden otomatik hesaplanır. Bir kameranın ortalama güven skoru birkaç gün içinde belirgin biçimde düşüyorsa, operatör şikâyet etmeden sorun görünür olur. Göstergeler kamera bazında tutulur; tüm tesis için tek bir ortalama, tek bir bozuk kamerayı gizler. Gece ve gündüz göstergeleri de ayrı izlenir.

Veri kayması nereden gelir?

Kaymanın kaynakları çoğunlukla sıradandır. Girdi kaymasında görüntü değişir: aydınlatma LED'e çevrilir, farklı renkte baret tedarik edilir, raf düzeni değişir, kışın pencereden giren ışığın açısı farklılaşır. Kavram kaymasında görüntü aynı kalır ama tanım değişir: yeni bir bölge yasak alan ilan edilir ya da kalite ekibi daha önce kabul ettiği bir izi artık kusur sayar. Sınıf dağılımı kaymasında olayların sıklığı değişir; sevkiyat döneminde forklift trafiği artar. Birincisi yeniden eğitimle, ikincisi kural ve etiket güncellemesiyle çözülür.

Kayma ani ya da sinsi olabilir. Kamera açısının değişmesi bir gecede keskin bir kırılma olarak görünür ve çoğu zaman bir bakım işine işaret eder; kirlenmiş lens ya da kaymış açı yeniden eğitimle çözülmez, önce kamera düzeltilir. Mevsimsel ışık değişimi ise haftalar içinde yavaş ilerler ve ancak haftalık eğilimler yan yana konduğunda ortaya çıkar; bu, yeniden eğitim ihtiyacının habercisidir. Açı ve kadraj kaynaklı sorunların önemli kısmı kurulumda önlenebilir; bkz. kamera yerleşimi rehberi.

Güvenli dağıtım

Yeni model doğrudan yayına alınmaz. Gölge dağıtımda yeni ve eski model aynı akışı paralel işler; alarmı yalnız eski model üretir, yeninin kararları kaydedilir ve operatörün işaretlediği gerçek olaylarla karşılaştırılır. Karşılaştırmanın ölçütü önceden yazılır: aynı test setinde kesinlik ve duyarlılık, kamera bazında kırılım, eski modelin doğru bildiği vakalarda gerileme olup olmadığı. Gölge dönemin uzunluğu olayın sıklığına göre belirlenir; nadir bir olayda daha uzun süre gerekir. Gölge çalıştırmanın bir bedeli de vardır: iki model aynı GPU'yu paylaşır.

Devralma kamera kamera ilerler: önce en sorunsuz kameralarda, ardından tüm sahada; buna kanarya dağıtım denir. Kapasite de ayrıca doğrulanır: GPU'lu tek sunucu tipik olarak 8–16 kamerayı, poz analizi gibi ağır modellerde 6–10 kamerayı gerçek zamanlı işler; daha büyük bir model doğrulukta kazandırırken kamera kapasitesini düşürebilir. Versiyon kaydı yalnızca model dosyasını değil, eşikleri ve kural tanımlarını da içerir; geri alma eski modeli ve eski eşikleri birlikte getirir ve tek komutluk iştir.

Versiyon kaydında ne tutulur?

Her sürüm için model dosyası, eğitim veri kümesinin sürümü, etiketleme yönergesinin o anki hâli, doğrulama kümesi ve sonuçları, sahadaki eşikler ve kural tanımları birlikte saklanır. Böylece aylar sonra sorulan “bu alarmı hangi model, hangi eşikle üretti?” sorusunun cevabı bulunur; bir ihlal kaydı itiraz konusu olduğunda belgelenmiş ayarlar tartışmayı kısaltır. Eğitim havuzuna alınan olay kareleri çalışanları gösterebileceği için 6698 sayılı KVKK kapsamında amaç, saklama süresi ve erişim baştan tanımlanır; bu kuralların yazımını veri yönetişimi yazısında ele aldık.

Yeniden eğitim döngüsü

Sahadan gelen yanlış tespitler ve kaçan olaylar en değerli veridir. Operatörün panelde işaretlediği her yanlış alarm etiket kuyruğuna düşer; etiketleme ekibi doğrular ve bir sonraki eğitim turunda kullanılır. Etiketleme yönergesi de sürümlenir. Çözüm sayfamızdaki örnek pilot eğrisi bu döngünün etkisini gösterir: her hafta sahadan gelen yanlış tespitler eğitim verisine katıldıkça doğruluk %71'den %94'e yükselir. Birden fazla tesiste aynı model çalışıyorsa ham görüntüyü merkezde toplamadan ortak model eğitmek de mümkündür; bkz. üretimde federated learning.

Yeniden eğitim takvime ya da tetikleyiciye bağlanabilir. Takvim öngörülebilirdir ama ani bir değişikliği bir sonraki döneme kadar bekletir; tetikleyici, izleme eşiği aşıldığında ya da yeni ürün, yeni iş kıyafeti gibi bilinen bir değişiklikte başlar ama izleme iyi kurulmamışsa hiç çalışmaz. Dengeli yol ikisini birleştirmektir. Her düşüş de yeniden eğitim gerektirmez: kaynak kameraysa temizlik ya da açı düzeltme, eşikse sahada kalibrasyon yeterlidir; tamamen yeni bir sınıf ise güncelleme değil yeni bir model projesidir. Ölçek de kararı etkiler: ışığı sabit bir iç mekânda tek kamerada çalışan model için hafif izleme yeterli olabilir; çok sahada çalışan modellerde merkezi kayıt, otomatik izleme ve kademeli dağıtım olmadan yönetim zorlaşır. Güncellemelerin uç cihazlara nasıl dağıtılacağı mimariye bağlıdır; bkz. edge ve bulut karşılaştırması.

Sık yapılan hatalar

• Doğruluğu yalnız kabul testinde ölçüp bırakmak.
• Yalnız ortalamayı izlemek; bir kameradaki çöküş diğerlerinin arasında kaybolur.
• Test setini her yeniden eğitimde değiştirmek; sabit bir referans set olmadan yeni modelin daha iyi olup olmadığı bilinemez.
• Yalnız yeni veriyle eğitmek; yaz görüntüleriyle güncellenen model kış koşullarını unutabilir.
• Kamera tarafındaki değişiklikleri bildirmemek; çözünürlük değişimi ya da H.264'ten H.265'e geçiş görüntü istatistiğini değiştirebilir.
• Zamansal doğrulamanın modeli düzelttiğini sanmak; ardışık kare kuralı tek karelik yanılgıları süzer ama kayan bir modeli bir süre gizleyebilir. Ayrıntısı yanlış alarm azaltma yazısında.

Neden önemli ve tesis tarafında ne gerekir?

Sahada zayıflayan bir modelin sorunu çoğu zaman kötü eğitim değil, bakımsızlıktır. Bakımsız model sessizce bozulur: alarm sayısı yavaş yavaş artar, ekip bildirimlere güvenmez olur ve sistem kâğıt üzerinde çalışır ama sahada kullanılmaz hâle gelir. Kurulum sözleşmelerimizde model izleme ve periyodik yeniden eğitim standart kalemdir; doğruluk raporu müşteriye aylık iletilir ve asıl değeri aylar içindeki eğilimi göstermesidir. MLOps'un tamamı tedarikçinin işi değildir: tesiste bir sorumlunun aydınlatma değişikliği, kamera taşıma ya da yerleşim düzenlemesini önceden bildirmesi, operatörlerin alarmları işaretlemesi döngünün yakıtıdır. Pilotun ilk gününden alarm işaretleme ekranı, kamera bazlı gösterge takibi ve sürüm kaydı çalışır durumda olmalıdır; aksi hâlde ölçülmüş bir referans kalmaz.

Sık sorulan sorular

MLOps nedir, DevOps'tan farkı ne?

MLOps, makine öğrenmesi modellerinin eğitimden sahaya, sahadan yeniden eğitime uzanan yaşam döngüsünü yöneten uygulamalar bütünüdür. DevOps kodun güvenli teslimatına odaklanır; MLOps buna eğitim verisinin ve etiketlerin sürümlenmesini, sahadaki başarımın sürekli izlenmesini ve gerektiğinde yeniden eğitimi ekler. Fark, makine öğrenmesinde davranışı yalnız kodun değil verinin de belirlemesinden kaynaklanır.

Veri kayması (data drift) nasıl tespit edilir?

Sahada her karenin doğru cevabı bilinmediği için kayma dolaylı göstergelerle yakalanır: güven skoru dağılımı, kare başına tespit sayısı, kamera bazlı olay oranı ve görüntünün parlaklık, kontrast, keskinlik istatistikleri. Bu göstergeler kurulumdaki başlangıç ölçümüyle karşılaştırılır. Ani kırılma çoğu zaman kamera kaynaklıdır; yavaş sapma mevsim ya da süreç değişikliğine işaret eder. Operatörün yanlış alarm işaretlemeleri ölçümü tamamlar.

Model ne sıklıkla yeniden eğitilir?

Sabit bir takvimden çok ihtiyaca göre: izleme göstergelerinde kayma görüldüğünde, sahada yeni bir durum ortaya çıktığında ya da biriken yanlış tespitler anlamlı bir eğitim kümesi oluşturduğunda. Periyodik yeniden eğitim kurulum sözleşmesinin standart kalemidir. Her doğruluk düşüşü yeniden eğitim gerektirmez; kaynak kamera ya da eşikse bakım veya kalibrasyon yeterlidir. Her yeni sürüm gölge dağıtımda eski modelle karşılaştırılmadan yayına alınmaz.

Gölge dağıtım (shadow deployment) nedir?

Yeni model sürümünün canlı sistemi etkilemeden eski modelle aynı görüntü akışını paralel işlediği sınama yöntemidir. Alarmı yalnız eski model üretir; yeni modelin kararları kaydedilir ve önceden yazılmış ölçütlerle karşılaştırılır: kesinlik, duyarlılık, kamera bazlı kırılım ve eski modelin doğru bildiği vakalarda gerileme. Yeni model ölçülebilir biçimde iyiyse önce sınırlı sayıda kamerada, ardından kademeli olarak devreye alınır.

Yeni model sahada sorun çıkarırsa ne olur?

Her modelin versiyonu, eğitim verisi, eşikleri ve doğrulama raporu kayıt altındadır. Sorun görüldüğünde önceki sürüm ve eşikleri tek komutla geri yüklenir; bu sırada analitik durmaz. Hangi koşulda geri dönüleceği yeni sürüm canlıya alınmadan önce belirlenir. Sorunun kaynağı sonra incelenir, düzeltilmiş sürüm yeniden gölge dağıtıma alınır ve ancak ölçülebilir biçimde iyiyse devralır.

Model izleme için görüntüler buluta gönderiliyor mu?

Varsayılan kurulumda hayır: görüntü tesis içindeki edge sunucuda işlenir ve ham video buluta gönderilmez; istenirse işleme bulutta da yapılabilir. İzlemede kullanılan göstergeler sayısal özetlerdir. Yeniden eğitimde kullanılan olay klipleri müşteri onayıyla etiketlenir ve tanımlı saklama süresi sonunda silinir; yüz tanıma kullanılmaz. 6698 sayılı KVKK kapsamında aydınlatma metni model eğitimini de kapsamalıdır.

Aylık doğruluk raporunda neler yer alır?

Kamera ve kural bazında olay sayısı, operatör işaretlerinden hesaplanan kesinlik, sahada doğrulanan kaçırılmış olaylar, izleme göstergelerindeki kaymalar ve dönem içinde yapılan model ya da eşik değişiklikleri. Rapor, bir göstergenin neden değiştiğini de açıklar: kamera kirlenmesi mi, yerleşim değişikliği mi, yoksa modelin kendisi mi.