Görüntü Transformerları: Evrişimden Dikkat Mekanizmasına

Vision Transformer (ViT) mimarileri endüstriyel görüntü analitiğinde ne değiştirdi? CNN ile karşılaştırma ve edge üzerinde uygulanabilirlik.

Yazar: CX Teknoloji Uzman Ekibi

Görüntü transformerları (Vision Transformer, ViT), görüntüyü küçük yamalara bölüp her yamanın diğer tüm yamalarla ilişkisini dikkat mekanizmasıyla hesaplayan modellerdir. CNN'ler yerel desenlerde güçlüdür; transformerlar sahnenin uzak parçalarını birbirine bağlar. Endüstride pratik sonuç şudur: rutin tespitte hafif CNN yeterli ve ucuzdur, karmaşık sahne yorumunda evrişim ve dikkati birleştiren hibrit modeller öne çıkar.

Yıllarca evrişimli ağlar (CNN) görüntü işlemenin tek gerçeğiydi. Transformer mimarileri, dil modellerinden görüntüye taşındığında denklem değişti: model artık yerel filtreler yerine görüntünün tamamı arasında ilişki kuruyor.

CNN ve transformer nasıl farklı bakar?

Bir CNN görüntüyü küçük pencerelerle tarar. İlk katmanlar kenar ve köşe gibi basit desenleri, sonraki katmanlar bunların birleşiminden parça ve nesneleri öğrenir. Görüş alanı katman katman genişler; uzak iki bölgeyi ilişkilendirmek için ağın derinleşmesi gerekir. Transformer ise ilk katmandan itibaren her yamanın her yamaya “bakmasına” izin verir. Dikkat ağırlıkları, bir bölgenin yorumlanmasında hangi diğer bölgelerin önemli olduğunu öğrenir. Bu esneklik, veri çok olduğunda güçlü bir temsil üretir; veri az olduğunda ise CNN'in yerleşik yerellik varsayımı çoğu zaman daha iyi genellenir.

Neden fark yaratıyor?

CNN yerel desenlerde güçlüdür ama uzak bağlamı zayıf kurar. Transformer'ın dikkat mekanizması, karenin bir köşesindeki forkliftle diğer köşesindeki yayayı doğrudan ilişkilendirebilir. Karmaşık sahne yorumlamada bu belirgin bir üstünlük.

Sahada bunun karşılığı, “ne var” sorusundan “ne oluyor” sorusuna geçiştir. Kasklı bir kişiyi bulmak için bağlam gerekmez; ama bir kişinin askıdaki yükün altına girip girmediğini, bir aracın yaya geçidine yaklaşırken yavaşlayıp yavaşlamadığını ya da bir operatörün makine kapağı açıkken içeri uzanıp uzanmadığını anlamak, sahnenin farklı parçalarının birlikte okunmasını gerektirir. Kalabalık, örtüşen nesneler ve kısmen görünen kişiler de dikkat tabanlı modellerin genelde daha iyi başa çıktığı durumlardır.

Maliyet gerçeği

Bedeli hesaplama maliyetidir; saf transformer modelleri edge donanımda pahalıdır. Pratik çözüm hibrit mimarilerdir: evrişimli omurga + dikkat katmanları. Kurulumlarımızda rutin tespit hafif CNN ile, karmaşık sahne yorumlaması hibrit modelle yapılır.

Maliyetin kaynağı, dikkat hesabının yama sayısıyla hızla büyümesidir: çözünürlük arttıkça yama sayısı, yama sayısı arttıkça hesaplama ve bellek ihtiyacı yükselir. Bir edge sunucuda aynı anda birçok kamera işleniyorsa bu, kamera başına ayrılan hesap bütçesini doğrudan tüketir. Bu yüzden mimariyi kamera sayısı, gerekli kare hızı ve donanımla birlikte seçiyoruz. Tipik bir düzende her kamerada hafif bir YOLO tabanlı tespit modeli sürekli çalışır; daha ağır hibrit model yalnızca ilgili bölgede bir aday olay oluştuğunda devreye girer. Böylece pahalı model her kareye değil, yalnızca yorum gerektiren anlara harcanır.

Katmanlı yapının bir yan faydası da hata ayıklamanın kolaylaşmasıdır. Hafif model aday olayı işaretler, hibrit model sahneyi yorumlar; bir yanlış alarm oluştuğunda sorunun hangi katmanda olduğu görülebilir. Tespit katmanı nesneyi kaçırıyorsa kamera açısı ya da çözünürlük gözden geçirilir, yorum katmanı yanlış karar veriyorsa o senaryo için ek örnek toplanır. Tek büyük bir modelde bu ayrımı yapmak çok daha zordur.

Veri ihtiyacı ve ön-eğitim

Transformerlar sıfırdan eğitildiğinde çok veri ister. Endüstriyel projelerde bu engel, büyük genel veri setlerinde ön-eğitilmiş modellerin sahaya uyarlanmasıyla aşılır. Etiketsiz tesis görüntüsünden yararlanan kendinden gözetimli öğrenme yöntemleri de burada devreye girer: görüntünün maskelenen parçalarını tahmin etmeye dayalı ön-eğitim, özellikle transformer mimarileriyle iyi çalışır ve sahaya uyarlama için gereken etiket miktarını azaltır.

Zaman boyutu da aynı mantıkla ele alınabilir. Bir davranışı tek kareden anlamak çoğu zaman mümkün değildir; eğilme, uzanma ya da tırmanma ancak ardışık karelerde görünür. Dikkat mekanizması, yalnız aynı karenin parçaları arasında değil, farklı zamanlardaki kareler arasında da ilişki kurabilir. Pratikte ağır bir video modeli yerine çoğu zaman her karede çıkarılan hafif özellikler, örneğin iskelet noktaları ya da nesne konumları, zaman içinde küçük bir dikkat modeline verilir. Böylece hareketin bağlamı yakalanır ama hesap bütçesi aşılmaz.

Hangi durumda hangisini seçiyoruz?

Karar donanıma değil probleme göre başlar. Tek nesne sınıfı, sabit açı ve belirgin görsel fark varsa (baret, yelek, plaka, ürün sayımı) hafif CNN yeterlidir ve daha az veriyle daha hızlı devreye alınır. Olay birden fazla nesnenin ilişkisiyle tanımlanıyorsa, sahne kalabalıksa ya da kural “şu olurken bu” biçimindeyse hibrit modeli değerlendiriyoruz. Projeye özel video analitik çalışmalarında bu seçim fizibilite aşamasında, mevcut görüntü örnekleriyle yapılır; tipik bir özel proje 12–14 hafta içinde canlıya alınır ve doğruluk pilot süresince sahada ölçülür.

Seçimi etkileyen bir başka konu da açıklanabilirliktir. Dikkat ağırlıkları, modelin bir karar verirken sahnenin hangi bölgelerine baktığını kabaca gösterebilir; bu, saha ekibiyle bir yanlış alarmı tartışırken işe yarar. Ancak dikkat haritaları kesin bir gerekçe değildir, yalnızca bir ipucudur. Doğruluğu gösteren şey yine sahadan toplanmış, insan tarafından doğrulanmış test setidir; mimari ne olursa olsun kabul kararı bu ölçümle verilir.

Nereye gidiyor?

Damıtma (distillation) teknikleri büyük transformer modellerinin bilgisini küçük modellere aktarıyor. Önümüzdeki dönemde edge cihazda transformer kalitesinde çıkarımın standart hâle gelmesini bekliyoruz.

Damıtmada büyük “öğretmen” model, küçük “öğrenci” modelin eğitiminde hedef üretir; öğrenci yalnız etiketleri değil, öğretmenin sahneyi nasıl yorumladığını da taklit eder. Nicemleme ve budama gibi tekniklerle birleştiğinde bu, edge donanımda çalışabilen ama bağlamı daha iyi kuran modeller demektir. Donanım tarafındaki gelişmeleri yeni nesil edge AI donanımı yazısında ayrıca ele aldık.

Dikkat mekanizmasının bir getirisi de görüntü ile metni aynı modelde birleştirebilmesidir. Doğal dilde tanımlanan bir durumu (“yük altında duran kişi”, “kapağı açık makine”) görüntüde arayan modeller bu yapının üzerine kurulur. Bu modeller bugün edge donanımda sürekli çalıştırmak için hâlâ ağırdır; pratikte ön değerlendirme, veri keşfi ve etiketleme desteği gibi işlerde daha kullanışlıdır. Sahada sürekli çalışan katman, bir süre daha hafif ve göreve özel modeller olmaya devam edecek.

Sık sorulan sorular

Transformer tabanlı modeller mevcut kameralarımızla çalışır mı?

Evet. Mimari seçimi işleme sunucusunu ve eğitimi etkiler, kamera tarafında ise özel bir gereksinim getirmez; ONVIF/RTSP destekli IP kameraların standart akışı yeterlidir. Belirleyici olan açı, çözünürlük ve aydınlatmadır. Kurulum öncesi kamera envanterinizi değerlendirip hangi noktanın hangi senaryoya uygun olduğunu raporluyoruz.

Hibrit model kullanmak donanım maliyetini artırır mı?

Tüm kameralarda sürekli çalıştırılırsa artırır; bu yüzden katmanlı kurguluyoruz. Hafif tespit modeli her kamerada çalışır, ağır model yalnızca aday olay oluştuğunda ilgili bölgede devreye girer. Böylece donanım ihtiyacı kamera sayısıyla doğrusal büyümez. Gereken sunucu kapasitesi keşifte kamera sayısı ve senaryolara göre çıkarılır.

Transformer modeli CNN'e göre daha mı doğru sonuç verir?

Her zaman değil. Basit, tek nesneli tespitlerde iyi eğitilmiş bir CNN çoğu zaman yeterlidir ve daha az veriyle eğitilir. Transformerın avantajı, sahnenin farklı parçalarını birlikte yorumlamak gereken karmaşık senaryolarda ortaya çıkar. Hangi mimarinin sizin sahanızda daha iyi sonuç verdiği pilot süresince aynı görüntü üzerinde ölçülerek belirlenir.

Görüntüler model eğitimi için buluta gönderiliyor mu?

Varsayılan olarak hayır. Çıkarım tesis içindeki edge sunucuda yapılır, buluta ham video gönderilmez ve yüz tanıma kullanılmaz. Model eğitimi için saha görüntüsü gerekiyorsa hangi görüntünün, ne kadar süreyle ve nerede işleneceği projenin başında yazılı olarak belirlenir. Bu kayıtlar tanımlı süre sonunda silinir.