Görsel-Dil Modelleri (VLM): Kameraya Soru Sorabildiğiniz Çağ

Görsel-dil modelleri (VLM) sahada ne değiştiriyor? Doğal dille sorgulanan kamera arşivi, sıfır-örnekle yeni ihlal tanımı, olay özetleme ve kademeli mimari.

Yazar: CX Teknoloji Uzman Ekibi

Görsel-dil modeli (VLM), görüntüyü ve metni ortak bir anlam uzayında temsil eden yapay zekâ modelidir. Kameraya doğal dille soru sorulabilir, örneği görülmemiş bir ihlal bir cümleyle tanımlanabilir ve olay klipleri metinle özetlenebilir. Sahadaki rolü özel eğitilmiş modelin yerini almak değil; keşif, arama ve raporlama işini hızlandırmaktır.

Klasik görüntü analitiğinde her yeni ihlal tipi yeni bir model demekti: veri topla, etiketle, eğit, doğrula. VLM bu denklemi değiştiriyor; daha önce örneği görülmemiş bir durumu doğal dille tanımlayarak aramaya izin veriyor.

Görsel-dil modeli nasıl çalışır?

Üretken bir VLM üç parçadan oluşur. Görüntü kodlayıcı, çoğunlukla bir görüntü transformerı, kareyi yamalara böler ve her yamayı bir temsil vektörüne çevirir. Bağlayıcı katman bu vektörleri dil modelinin okuyabileceği biçime dönüştürür. Dil modeli görüntü temsillerini kullanıcının sorusuyla birlikte okur ve cevabı metin olarak üretir. Böylece “forkliftin çatalında yük var mı?” sorusu ayrı bir “yüklü forklift” sınıfı eğitilmeden cevaplanabilir. Mimari arka planı transformer tabanlı görüntü modelleri yazısında anlattık.

Temel, büyük miktarda görüntü-metin çiftiyle yapılan ön eğitimdir. Karşıtlıklı (contrastive) eğitimde model bir fotoğrafı onu doğru anlatan cümleye ortak uzayda yaklaştırmayı, yanlış cümlelerden uzaklaştırmayı öğrenir. CLIP tipi çift kodlayıcılı modeller görüntü ile metin arasındaki benzerliği skorlar; arama ve sınıflandırmada hızlıdır ama serbest metin üretmez. Üretken VLM'ler ise açıklama yazar ve soruya cevap verir. Sahada iki aile birlikte kullanılır: benzerlik modeli arşivi hızla tarar, üretken model seçilen klipleri yorumlar.

VLM ile klasik nesne tespiti arasındaki fark nedir?

Nesne tespit modeli kapalı bir sınıf listesiyle çalışır; baret, kişi ya da forklift gibi eğitimde gördüğü sınıfları her karede kutu ve güven skoruyla döndürür, listede olmayan kavramı göremez. VLM açık sözlüklüdür: kavram eğitim anında değil, sorgu anında metinle tanımlanır. Bedeli hız ve öngörülebilirliktir; tek geçişli bir dedektör kareyi hızlı ve sabit sürede işlerken VLM aynı kare için çok daha fazla hesaplama yapar ve cevabı kutu listesi olarak değil metin olarak üretir.

Arada bir aile daha vardır: açık sözlüklü dedektörler. Metinle verilen “devrilmiş palet” gibi bir sınıf adını doğrudan bir kutuya bağlarlar ve çıktı kutu olduğu için kural motoruna kolay bağlanır. Kabaca seçim şöyledir: sınıf sabit, hacim yüksek ve gecikme kritikse eğitilmiş dedektör; sınıf yeniyse açık sözlüklü dedektör; soru bağlam veya açıklama gerektiriyorsa üretken VLM. Tek geçişli dedektörlerin işleyişini gerçek zamanlı nesne tespiti yazısında ele aldık.

Sıfır-örnek tespit sahada ne işe yarar?

“Merdivende korkuluk tutmadan çıkan kişi” cümlesi, VLM için çalışan bir kural tanımıdır. Model cümledeki kavramları, yani merdiveni, kişiyi, eli ve korkuluğu görüntüdeki bölgelerle eşleştirir. Doğruluk özel eğitilmiş bir modelin altında kalır; ama veri toplama ve etiketleme beklemeden kısa sürede çalışan bir prototip ortaya çıkar. Pratikte bunu keşif aşamasında kullanıyoruz: hangi kuralın değerli olduğu VLM ile hızla test ediliyor, değerli olan kural için özel model eğitiliyor.

Zayıf yanlar da bilinmeli. Cümle ne kadar soyutsa (“tehlikeli çalışma”, “dikkatsiz davranış”) sonuç o kadar tutarsız olur; “korkuluk”, “merdiven”, “el” gibi görünür nesnelerle kurulan tanımlar daha kararlıdır. Küçük nesneler, uzak kadrajlar ve kısmen örtülü kişiler modelin zorlandığı durumlardır. Bu yüzden VLM çıktısını doğrudan alarm kanalına bağlamıyoruz; önce bir inceleme listesine düşer ve ekip kuralın özel modele değip değmeyeceğine buna bakarak karar verir.

Keşiften özel modele nasıl geçilir?

Özel model tarafında süreç 5 aşamalıdır: fizibilite, veri toplama ve etiketleme, model eğitimi, saha testi ve devreye alma. Fizibilite sahadan 1–2 haftalık örnek görüntüyle yapılır; tipik bir özel proje 12–14 hafta içinde canlıya alınır ve sürenin en büyük kalemi model değil veridir. VLM bu takvimin başındaki belirsizliği azaltır: aranan durumun arşivde gerçekten var olup olmadığı sorgulanır, bulunan klipler etiketleme için aday veri olur ve veri toplama körlemesine değil hedefli yapılır.

Kamera arşivine doğal dille nasıl soru sorulur?

İkinci ve belki daha büyük etki arama tarafında. “Geçen ay 3. depoda gece vardiyasında palet devrilmesi oldu mu?” sorusu, saatlerce kayıt izlemek yerine bir arama sorgusuna dönüşür. Bunun için arşivin önceden indekslenmesi gerekir. Kademeli yapıda hafif model olayı yakalar, VLM klibi kısa bir metinle tanımlar: “forklift rampa çıkışında yayaya yaklaştı, yaya geri çekildi”. Klip temsilleri ve özetler kamera, tarih ve vardiya bilgisiyle bir indekse yazılır; arama ham video üzerinde değil bu indeks üzerinde yapılır, eşleşen klipler kamera ve saat bilgisiyle listelenir ve sonucu bir insan doğrular.

Olay özeti İSG raporunun taslağıdır, yerine geçmez; uzmanın işi kayıt taramaktan doğrulamaya kayar ve hangi olayın rapora gireceğine yine İSG ekibi karar verir. Özet kanıt değildir, kanıt kliptir; arşivleme için video kanıt yönetimi yazısına bakabilirsiniz. İndekslenmemiş eski kayıtlar da aranabilir, ama önce toplu işlenmeleri gerekir ve bu, kayıt hacmine göre ciddi işlem süresi ister.

Sorunun biçimi sonucu doğrudan etkiler. İyi çalışan sorular yer, zaman ve görünür bir nesne ya da hareket içerir: “kuzey rampasında dün gece forklift ile yaya aynı karede”. Zayıf çalışanlar görüntüden çıkarılamayacak bilgiye dayanır: bir kişinin niyeti ya da kameranın görmediği bir süreç adımı. “Kaç kez” sorusunun cevabı VLM'nin tahmini değil, hafif modelin kaydettiği olay sayısı olmalıdır. Kullanıcıya serbest metin kutusunun yanında kamera, bölge ve tarih filtreleri sunuyoruz; filtre kapsamı daraltır, metin içeriği tarif eder.

VLM gerçek zamanlı analizde neden tek başına kullanılmaz?

VLM'ler hâlâ ağır modellerdir; her kareyi 25 fps ile işlemek edge donanımda ekonomik değildir. GPU'lu tek sunucu hafif modellerle tipik olarak 8–16 kamerayı gerçek zamanlı işler, ağır modellerde bu sayı 6–10'a iner; her kareyi bir VLM'den geçirmek bu kapasiteyi ciddi biçimde düşürür. Üretken modelin cevap süresi de sorunun ve cevabın uzunluğuna göre değişir; güvenlik alarmında beklenen öngörülebilir gecikme bu yapıda sağlanamaz.

Doğru mimari kademelidir: hafif tespit modeli sürekli çalışır, ilginç bir olay yakalandığında VLM devreye girip bağlamı yorumlar; kişi gerçekten düşmüş mü, yoksa yerden bir şey mi alıyor? Alarm hafif modelin hızıyla gider, VLM yorumu ek bağlam olarak eklenir. Hafif modelin tetiklediği her olay kaydedilir; yorum yanlışsa olay kaybolmaz, yalnız açıklaması düzeltilir. VLM sürümü değiştiğinde eski açıklamalar yeniden üretilebilir; ham olay kaydı değişmediği için geçmiş raporlar bozulmaz ve hangi açıklamanın hangi model sürümünden geldiği kayıtta görünür.

VLM ne zaman doğru araç değildir?

Anında müdahale gerektiren alarmlar öngörülebilir gecikmeli hafif modellere kalmalıdır; örneğin KKD takibinde ihlalden bildirime süre 2 saniyenin altındadır ve bu bütçe üretken bir modele bırakılmaz. Hat hızında kalite kontrol de VLM işi değildir; orada belirleyici olan endüstriyel kamera, optik ve aydınlatmadır. Sayımda da tespit ve takip tabanlı yöntemler daha güvenilirdir.

En sık hata, VLM cevabını ölçülmüş bir tespit gibi okumaktır. Üretken modeller emin olmadıkları durumda da akıcı bir cevap yazabilir; kadrajda olmayan bir bareti “var” diye tarif etmek bu türdendir ve halüsinasyon diye anılır. Her cevap klip bağlantısıyla gösterilmeli, soru evet/hayır biçiminde sorulmalıdır. İstemler de model gibi sürümlenmeli ve sahadan alınmış etiketli bir test setiyle ölçülmelidir; ön eğitim verisi ağırlıkla iyi ışıkta çekilmiş fotoğraflardır ve gece kızılötesi görüntüde performans düşebilir. Alarm kalitesi hâlâ zamansal doğrulama ve eşik kalibrasyonuyla sağlanır; yöntemleri yanlış alarmı azaltma yazısında anlattık.

Nerede çalışır, veri nereye gider?

VLM denince akla bulut API'si gelir; endüstriyel sahada bu çoğu zaman uygun değildir. Varsayılan kurulumumuzda görüntü tesis içindeki sunucuda işlenir, ham video buluta gönderilmez ve yüz tanıma kullanılmaz; istenirse işleme bulutta da yapılabilir. VLM'yi yerelde çalıştırmak GPU kapasitesi ister; kademeli yapı burada da işe yarar, çünkü VLM yalnız işaretlenen olay kliplerinde çalışır. Donanım tarafını yeni nesil edge AI donanımı, yer seçimini edge mi bulut mu yazılarında ele aldık.

Dil modelinin ürettiği metin de kişisel veri içerebilir; özetlerde kişiyi tanımlayan ifade kullanılmaz ve saklama süresi olay klibiyle aynı politikaya bağlanır. Serbest metinle soru sorulabilen bir sistemde “bu kişi kim?” gibi kimlik sorguları teknik olarak engellenmeli, sorgu kayıtları denetim izine eklenmelidir. Görüntü üçüncü taraf bir hizmete gönderilecekse 6698 sayılı KVKK kapsamında dayanak, aydınlatma ve saklama süresi netleştirilmelidir; adımları KVKK ve görüntü işleme yazısında topladık.

Ajanlar ve sensörlerle birlikte

VLM'nin yorumladığı olay bir iş akışını tetikleyebilir: bakım talebi açmak, vardiya amirine özet göndermek, ilgili makinenin sensör verisini aynı zaman aralığında getirmek. Bu yöne fabrikada ajan tabanlı yapay zekâ ve çok modlu sensör füzyonu yazılarında değindik. Kuralımız basit: model önerir, insan onaylar. Makine durdurma ya da erişim kısıtlama gibi kararlar, doğruluğu sahada ölçülmüş özel modellerin ve tanımlı kuralların işidir.

Sık sorulan sorular

Görsel-dil modeli (VLM) nedir?

Görsel-dil modeli, görüntüyü ve metni ortak bir anlam uzayında işleyen yapay zekâ modelidir. Görüntü kodlayıcı kareyi sayısal temsillere çevirir, dil modeli bu temsilleri soruyla birlikte okuyup cevabı metin olarak üretir. Böylece kameraya doğal dille soru sorulabilir, yazıyla tarif edilen yeni bir durum örnek toplamadan aranabilir ve olay klipleri özetlenebilir.

VLM ile özel eğitilmiş model arasındaki fark nedir?

Özel model tek bir işi sahadan toplanıp etiketlenmiş veriyle öğrenir ve o işte ölçülmüş doğruluk verir. VLM ise geniş bir görüntü-metin bilgisinden gelir; yeni bir durumu cümleyle tanımlayarak veri toplamadan denemeye izin verir ama doğruluğu özel modelin altında kalır. Biz VLM'yi keşif ve arama için, özel modeli sürekli çalışan alarm için kullanıyoruz.

VLM, YOLO gibi nesne tespit modellerinin yerini alır mı?

Sahada yerini almaz; ikisi birlikte çalışır. Tek geçişli dedektör kareleri öngörülebilir gecikmeyle işler; VLM çok daha ağırdır ve cevabı metin olarak üretir. Kademeli mimaride hafif model sürekli çalışıp aday olayları bulur, VLM yalnız bu adaylarda bağlamı yorumlar. Hat hızında kalite kontrol ve sayım eğitilmiş modellerde kalır.

Mevcut kamera arşivimizde doğal dille arama yapılabilir mi?

Yapılabilir, ancak arşivin önce işlenmesi gerekir. Sistem kurulduktan sonra oluşan olay klipleri otomatik olarak metinle indekslenir ve aranabilir hâle gelir. Eski kayıtlar ONVIF/RTSP ya da VMS üzerinden toplu işlenir; süre kayıt hacmine ve ayrılan GPU kapasitesine bağlıdır. Sonucu uzman klibe bakarak onaylar; özet kanıt değil, kanıta giden yoldur.

VLM tespitine doğrudan alarm bağlanabilir mi?

Önermiyoruz. Sıfır-örnek tespitin doğruluğu özel eğitilmiş modelin altındadır, soyut tanımlarda tutarsızlaşır ve model görüntüde olmayan bir şeyi emin bir dille tarif edebilir. VLM çıktısı önce bir inceleme listesine düşer; kural değerli çıkarsa sahadan veri toplanıp özel model eğitilir ve alarm o modele bağlanır.

Görüntüler buluta gönderiliyor mu?

Varsayılan kurulumda hayır. Görüntü ve VLM çıkarımı tesis içindeki sunucuda yapılır, ham video buluta gönderilmez ve yüz tanıma kullanılmaz; istenirse işleme bulutta da yapılabilir. Olay özetlerinde kişiyi tanımlayan ifade kullanılmaz, kimlik sorguları engellenir. 6698 sayılı KVKK kapsamındaki aydınlatma, hukuki sebep ve saklama süresi yükümlülükleri veri sorumlusu olarak tesiste kalır; bu bilgi hukuki danışmanlık yerine geçmez.