Federated Learning: Veriyi Paylaşmadan Ortak Model Eğitmek

Federated learning ile çok tesisli model eğitimi: görüntü tesisten çıkmadan modelin ortak öğrenmesi ve KVKK avantajı.

Yazar: CX Teknoloji Uzman Ekibi

Federated learning (birleşik öğrenme), bir modelin birden çok tesiste yerel veriyle eğitilip yalnız ağırlık güncellemelerinin merkeze gönderildiği bir eğitim yöntemidir: görüntü tesisten çıkmaz, ama model tüm tesislerin deneyiminden öğrenir. Çok tesisli üretim gruplarında hem veri aktarımı kaynaklı KVKK riskini hem de veri taşıma yükünü azaltırken nadir olayların öğrenilmesini hızlandırır.

Çok tesisli bir grupta her fabrikanın kamerası farklı ışığı, farklı düzeni ve farklı ihlal desenlerini görür. Her tesis için daha güçlü model, hepsinden öğrenen modeldir — ama görüntüleri tek merkezde toplamak hem hukuki hem pratik olarak zordur. Federated learning tam bu düğümü çözer.

Nasıl çalışır?

Model her tesiste yerel veriyle eğitilir; merkeze giden şey görüntü değil, ağırlık güncellemeleridir. Merkez bu güncellemeleri birleştirip yeni ortak modeli tesislere geri dağıtır. Ham veri hiçbir zaman tesisi terk etmez — KVKK açısından en temiz mimari budur.

Tipik bir tur şöyle ilerler: merkez güncel modeli tesislere gönderir; her tesisin edge sunucusu modeli kendi etiketli verisiyle bir süre eğitir; ortaya çıkan ağırlık farkları şifreli bağlantıyla merkeze iletilir; merkez bunları tesislerin veri miktarı ve kalitesine göre ağırlıklandırarak birleştirir. Birleştirilmiş model yayına alınmadan önce her tesisin kendi doğrulama kümesinde ölçülür. Etiketleme de yerelde yapılır; bu, her tesiste eğitim için yeterli işlem gücü ve düzenli bir etiketleme akışı olması gerektiği anlamına gelir.

Merkezi eğitimden farkı

Merkezi eğitimde tüm görüntüler tek bir yerde toplanır, etiketlenir ve model orada eğitilir. Bu yöntem teknik olarak daha basittir ve tek tesisli projelerde hâlâ doğru seçimdir. Tesis sayısı arttıkça üç sorun büyür: ham videonun taşınması ciddi bant genişliği ister, her aktarım ayrı bir veri işleme faaliyeti olarak hukuki değerlendirme gerektirir ve bazı tesisler, özellikle farklı ülkelerdeki ya da farklı tüzel kişiliklerdeki tesisler, görüntü paylaşımına hiç izin vermez. Federated learning bu üç sorunu verinin değil modelin dolaşmasıyla çözer. Bedeli koordinasyon ve altyapı karmaşıklığıdır.

Pratik kazanç

Nadir olaylarda etki çarpıcıdır: tek tesiste yılda üç kez görülen bir ihlal tipi, on tesisin ortak öğrenmesiyle otuz örneğe ulaşır. Model, hiç görmediği bir sahada bile ilk günden makul doğrulukla çalışmaya başlar.

Kazancın ikinci tarafı yeni tesislerde görülür. Gruptaki diğer tesislerin öğrendiği model, yeni sahaya başlangıç noktası olarak kurulur; sahanın kendi verisiyle ince ayar pilot süresince yapılır. Özel bir model sıfırdan eğitilecek olsaydı sürenin en büyük kalemi veri toplama ve etiketleme olurdu; federasyon bu kalemi ortadan kaldırmaz ama belirgin biçimde küçültür. Nadir olaylar için sentetik veriyle birlikte kullanım da mümkündür; bu yaklaşımı sentetik veriyle model eğitimi yazısında anlattık.

Dikkat edilecekler

Tesisler arası veri dağılımı çok farklıysa birleştirme modeli bozabilir; bu yüzden ağırlıklandırma ve doğrulama kümesi tasarımı kritiktir. Kurulumlarımızda her federasyon turu, tesis bazlı doğruluk raporuyla onaylanmadan yayına alınmaz.

İkinci risk gizlilikle ilgilidir. Ağırlık güncellemeleri ham görüntü değildir, ama belirli saldırılarla eğitim verisi hakkında bilgi sızdırabilecekleri akademik çalışmalarda gösterilmiştir. Bu yüzden güncellemeler şifreli kanalda taşınır, merkezde yalnız birleştirilmiş sonuç saklanır ve gerektiğinde güvenli toplama ya da diferansiyel gizlilik gibi ek teknikler kullanılır. Üçüncüsü yönetişimdir: hangi tesisin hangi turda katıldığı, hangi model sürümünün nerede çalıştığı ve bir sorunda eski sürüme nasıl dönüleceği kayıt altında olmalıdır. Bu konuyu veri yönetişimi yazısında ele aldık.

Pilot nasıl kurgulanır?

Federasyona tüm grupla başlamak gerekmez. Makul bir başlangıç, benzer bir senaryoyu yaşayan birkaç tesisle çalışmaktır. İlk adımda her tesiste aynı model yerel olarak çalıştırılır ve tesis bazlı doğruluk ölçülür; bu, federasyon öncesi referans noktasıdır. Ardından birkaç tur ortak eğitim yapılır ve her turdan sonra aynı ölçüm tekrarlanır. Karar sorusu basittir: ortak model, her tesisin kendi başına eğittiği modele göre o tesiste daha iyi mi, en azından daha kötü değil mi? Özellikle nadir olay sınıflarında fark ayrıca raporlanır, çünkü federasyonun asıl vaadi oradadır. Sonuçlar olumluysa diğer tesisler kademeli olarak katılır; değilse hangi tesisin veri dağılımının ortak modeli zorladığı bu ölçümde görünür.

Pilotta teknik ölçümün yanında süreç de sınanır: tesislerdeki etiketleme ekibinin ortak etiket tanımına uyup uymadığı, turların planlanan zamanda tamamlanıp tamamlanmadığı ve güncellemenin tesis ağından sorunsuz geçip geçmediği. Etiket tanımlarındaki küçük farklar, örneğin bir tesisin "yarı takılı bareti" ihlal, diğerinin uyumlu sayması, ortak modeli sessizce bozar; bu yüzden tanımlar baştan yazılı hale getirilir.

KVKK açısından ne değişir?

Federated learning KVKK yükümlülüklerini ortadan kaldırmaz. Görüntü her tesiste yine kişisel veri olarak işlenir; 6698 sayılı kanun kapsamındaki aydınlatma, hukuki sebep ve saklama süresi gibi yükümlülükler her tesiste veri sorumlusunda kalır. Değişen, eğitim için görüntünün tesis dışına aktarılmasının gerekmemesidir; bu da veri minimizasyonu ilkesiyle uyumlu bir tasarım sağlar. Yüz tanıma kullanılmaz, eğitim verisi olay bazlı tutulur. Kendi yapınız için hukuk biriminizin değerlendirmesi gerekir; buradaki bilgi genel niteliktedir ve hukuki danışmanlık değildir.

Ne zaman gerekli değildir?

Tek tesisli bir işletmede ya da tesisler arasında veri paylaşımına hukuki veya kurumsal bir engel yoksa, federasyonun getirdiği koordinasyon yükü çoğu zaman karşılığını vermez; merkezi eğitim ve düzenli yeniden eğitim yeterlidir. Federated learning, çok sayıda benzer tesisi olan, görüntü paylaşımının sınırlı olduğu ve nadir olayların önem taşıdığı gruplarda anlamlıdır. Hangi yolun uygun olduğu projeye özel video analitik kapsamında fizibilite aşamasında, mevcut görüntü örnekleri ve tesislerin altyapısı incelenerek netleşir. Bazen doğru cevap arada bir yoldur: ortak bir temel model merkezde sentetik ve paylaşımı serbest veriyle eğitilir, her tesis bu modeli yalnız kendi verisiyle ince ayarlar ve federasyon turlarına ancak ihtiyaç doğduğunda geçilir.

Sık sorulan sorular

Federated learning için her tesiste ne tür donanım gerekir?

Her tesiste, çıkarımın yanında yerel eğitimi de kaldırabilecek GPU'lu bir edge sunucu gerekir. Eğitim sürekli değil turlar halinde yapıldığı için genellikle gece ya da düşük yüklü saatlere planlanır. Ayrıca yerel etiketleme için bir arayüz ve merkezle güvenli iletişim kuran bir bağlantı gerekir. Mevcut sunucuların yeterli olup olmadığı fizibilite aşamasında değerlendirilir.

Görüntüler merkeze hiç gönderilmez mi?

Eğitim için gönderilmez; merkeze giden yalnız ağırlık güncellemeleridir. Ham görüntü, etiketleme ve eğitim tesiste kalır. Bir tesisin kendi isteğiyle belirli olay kliplerini ortak doğrulama kümesine katması ayrı bir karar ve ayrı bir veri işleme faaliyetidir; varsayılan kurguda böyle bir aktarım yoktur ve yapılacaksa KVKK açısından ayrıca değerlendirilir.

Farklı kameralar kullanan tesisler aynı modeli paylaşabilir mi?

Evet; farklı kamera, açı ve ışık koşulları federasyonun zaten çözmeye çalıştığı çeşitliliktir. Ancak dağılım farkı çok büyükse ortak model bazı tesislerde zayıflayabilir. Bu durumda ağırlıklandırma ayarlanır ya da ortak modelin üzerine tesise özel ince ayar katmanı eklenir. Her turda tesis bazlı doğruluk raporu bu farkı görünür kılar.

Yeni bir tesis gruba katıldığında ne olur?

Yeni tesis, grubun en son onaylanmış ortak modeliyle başlar; model sahayı hiç görmemiş olsa da diğer tesislerin deneyimini taşır. Pilot süresince sahadan gelen yanlış tespitler etiketlenir, eşikler kalibre edilir ve tesis bir sonraki federasyon turuna kendi güncellemesiyle katılır. Böylece yeni tesis hem gruptan yararlanır hem de gruba katkı verir.

Maliyeti hangi kalemler belirler?

Başlıca kalemler tesislerdeki edge sunucuların eğitim kapasitesi, merkezi birleştirme ve model dağıtım altyapısı, yerel etiketleme emeği ve her tur için doğrulama raporlamasıdır. Merkezi eğitime göre veri taşıma ve depolama gideri düşer, koordinasyon yükü artar. Tesis sayısı az ise merkezi eğitim çoğu zaman daha ekonomiktir; karar fizibilite aşamasında verilir.