Güven Skoru Nasıl Okunur? Doğruluk, Kesinlik ve Duyarlılık

Video analitikte doğruluk metrikleri: güven skoru, precision, recall, F1 ve mAP ne anlatır, eşik nasıl seçilir ve saha doğruluğu pilotta nasıl ölçülür?

Yazar: CX Teknoloji Uzman Ekibi

Güven skoru, modelin tek bir tespite ne kadar emin olduğunu gösteren bir değerdir; sistemin başarısı ise bu skordan değil, seçilen eşikte ölçülen kesinlik (precision) ve duyarlılık (recall) ile okunur. Kesinlik alarmların kaçının gerçek olduğunu, duyarlılık gerçek olayların kaçının yakalandığını söyler. F1 ikisini tek sayıda birleştirir; mAP ise modeli tüm eşiklerde özetler.

"%96 doğruluk" cümlesi tek başına neredeyse hiçbir şey ifade etmez. Hangi metrik, hangi veri kümesinde, hangi eşikte, kare mi olay mı sayılarak? Satın alma kararında bu soruları sormayan kurum, sahada hayal kırıklığı yaşar. Metrikleri sadeleştirelim.

Güven skoru ne değildir?

Nesne tespit modeli her karede bulduğu her nesne için bir kutu, bir sınıf ve bir güven skoru üretir. Skor bir olasılık gibi görünse de her modelde kalibre edilmiş bir olasılık değildir: model, eğitim verisine benzemeyen bir görüntüde, örneğin ters ışıkta, hatalı bir tespite de yüksek skor verebilir. Bir modelin yüksek skoru başka bir modelin daha düşük skorundan daha az güvenilir olabilir; farklı sistemlerin skorlarını karşılaştırmak anlamsızdır. Skorun nasıl üretildiğini YOLO ile nesne tespiti yazısında anlattık.

Skorun işe yarayan kullanımı, aynı model içinde bir eşik belirlemektir: eşiğin üstündeki tespit alarm olur, altındaki elenir. Aynı model, eşiğe göre bambaşka davranan iki sistem gibi çalışabilir; bu yüzden eşiği söylenmeyen bir performans değeri eksiktir. Model güncellendiğinde skor dağılımı da değişebilir; eski modelde iyi çalışan eşik, yeni modelde yeniden doğrulanır.

Kesinlik ve duyarlılık

Her karar dört durumdan birine düşer:

Kesinlik: ürettiğin alarmların kaçı gerçek? Düşükse ekip sistemden bıkar ve bildirimler sessize alınır. Duyarlılık: gerçekte olan olayların kaçını yakaladın? Düşükse sistem güven vermez. İkisi birbirinin aleyhinedir; eşiği yükseltirsen kesinlik artar, duyarlılık düşer. F1 skoru ikisinin harmonik ortalamasıdır ve bu dengenin özetidir; ancak iki hata türünü eşit ağırlıkla sayar, oysa bir yangını kaçırmak ile bir yanlış alarm aynı bedeli taşımaz.

Hesap sahada şöyle yapılır: bir dönem boyunca gerçekten yaşanan olaylar ile sistemin ürettiği alarmlar yan yana konur. Alarmların içindeki gerçek olay payı kesinliği, gerçek olayların içindeki yakalanan pay duyarlılığı verir. İkisi de ancak sahada tutulan bağımsız bir kayıtla hesaplanabilir; sistemin kendi loglarından çıkmaz, çünkü kaçırılan olay logda hiç görünmez. Kimin kayıt tutacağı ve neyin olay sayılacağı ölçüm döneminin başında belirlenir; tanım belirsizse iki taraf aynı dönemi farklı sayılarla anlatır.

Doğruluk ve mAP ne anlatır?

"Doğruluk" (accuracy) kelimesi, olaysız karelerin ezici çoğunlukta olduğu video analitiğinde yanıltıcıdır: doğru negatifleri de saydığı için hiç alarm üretmeyen bir sistem bile karelerin büyük kısmında "doğru" sayılır. mAP (ortalama kesinlik) ise nesne tespit modellerinin karşılaştırılmasında kullanılır; tespit kutusunun nesneyle ne kadar örtüştüğünü (IoU) ve tüm eşiklerdeki kesinlik-duyarlılık eğrisini tek sayıda özetler. Model seçiminde yararlıdır ama operatörün gördüğü, tek bir eşikteki davranışı anlatmaz.

Yayımlanan rakamın tanımını sormak bu yüzden önemlidir. Çözüm sayfalarımızda her değer ölçtüğü şeyin adıyla verilir: KKD takibinde baret tespit doğruluğu %90, forklift ve araç güvenliğinde araç ve ekipman güvenliği doğruluğu %96, alan ihlalinde bölge ihlali doğruluğu %93, plaka tanımada plaka okuma doğruluğu %99, endüstriyel kod okumada ilk okuma başarısı (tüm kod aileleri) %99,8. Her biri farklı bir görevi ve paydayı anlatır, birbiriyle kıyaslanmaz; kendi sahanızın değeri pilotta ölçülür.

Hangi metriği önceliklendirmeli?

Yangın ve düşme gibi kritik olaylarda duyarlılık önceliklidir — bir olayı kaçırmaktansa birkaç fazla alarm kabul edilir. Yangın ve duman tespitinde tespitten bildirime süre 10 saniyenin altındadır; fazla alarm ikinci bir kontrole gider ve operatör doğrular. Kamera analitiği burada yangın algılama ve alarm sisteminin yerine değil yanında konumlanır. Düşme algılamada düşme 5 saniyenin altında tespit edilip ilk uyarı olarak iletilir, kişi 30 saniye hareketsiz kalırsa olay acil seviyesine yükselir; duyarlılık korunurken çömelen çalışan acil alarmı üretmez.

KKD uyum takibinde ise kesinlik öne çıkar; her yanlış kayıt bir çalışanın adına düşen haksız bir ihlaldir ve raporlara duyulan güveni zayıflatır. Plakaya bağlı bariyer kararlarında da emin görünerek yanlış okumak, okuyamayıp kararı görevliye bırakmaktan pahalıdır. Perimetre güvenliğinde insan, araç ve hayvanı ayrı sınıflamak yanlış alarmı düşürür; çözüm sayfasında yanlış alarm azalması −%85 olarak verilir. Doğru sistem, kural bazında farklı eşik tanımlamanıza izin verir; aynı kamerada iki kural farklı eşiklerle çalışabilir.

Nadir olayda kesinlik neden zorlaşır?

Kesinlik, olayın ne sıklıkla yaşandığına da bağlıdır. Günde birkaç kez görülen bir KKD eksikliği ile yılda birkaç kez yaşanabilecek bir düşme aynı kalitede modelle ölçülse bile sonuç farklı çıkar. Olay çok nadirse, olaysız binlerce saatte üretilen az sayıdaki yanlış tespit bile gerçek olay sayısını geçer. Bu yüzden nadir olaylarda ek doğrulama katmanları kullanılır: tespitin belirli bir süre sürmesi, bölge ve zaman koşulu, ikinci kameranın teyidi ya da operatör onayı. Nadir bir olay için verilen kesinliğin ne kadar süre ve kaç kamera üzerinden ölçüldüğü de sorulmalıdır.

Kare mi, olay mı?

Model her karede karar verir, ama operatör olaylarla çalışır. Kare düzeyinde ölçülen duyarlılık olay düzeyinde farklı sonuç verebilir: birkaç saniye süren bir ihlalin karelerinden bazılarını yakalamak olayı yakalamak demektir. Tersine, tek karede beliren yanlış tespitler zamansal doğrulamayla elenir; sistem tespitin birkaç kare sürmesini bekleyerek kesinliği artırır, bedeli bildirimin kısa bir gecikmeyle gelmesidir. Teklifteki sayının hangi birimde ölçüldüğü mutlaka sorulmalıdır.

Laboratuvar skoru ile saha farkı

Bir modelin test kümesindeki skoru, o kümeye benzeyen görüntüler için geçerlidir. Kamera açısı, lens kirliliği, gece kızılötesi moda geçiş ve hedef üzerine düşen piksel sayısı farklıysa sonuç da farklı olur. Örneğin KKD takibinde kişi gövdesinin kadrajda en az 80 piksel yüksekliğinde görünmesi ve tepeden dik açıdan kaçınılması önerilir; bu koşul sağlanmadan elde edilen düşük skor model sorunu değil görüntü sorunudur ve eşikle oynamak onu düzeltmez.

Teklifleri karşılaştırmak

Farklı tedarikçilerin sayılarını yan yana koymak yerine aynı testi istemek daha sağlıklıdır. Sahanızdan alınmış, olayları önceden işaretlenmiş kısa bir kayıt seti hazırlanır; her tedarikçiden aynı set üzerinde, kendi seçtiği eşikte alarm listesi istenir ve kesinlik ile duyarlılık sizin işaretlerinizle hesaplanır. Kayıt setinin kiminle paylaşılacağı ve ne zaman silineceği KVKK açısından baştan yazılı belirlenmelidir. Tedarikçiye sorulacak diğer soruları görüntü işleme firması seçimi yazısında topladık.

Sık yapılan hatalar

• Tek bir yüzdeye bakıp karar vermek: metrik adı, payda ve ölçüm koşulu sorulmadan verilen iki rakam birbiriyle kıyaslanamaz.
• Yanlış alarm şikâyeti gelince eşiği tüm kameralarda birden yükseltmek: yanlış alarm azalırken kaçırılan olaylar görünmez biçimde artabilir; eşik kamera ve sınıf bazında, ölçüme dayanarak değiştirilmelidir.
• Yanlış alarmın kaynağını hep eşikte aramak: sorun çoğu zaman kural kurgusu ya da kamera açısıdır.
• Ölçümü yalnız gündüz ve tek vardiyada yapmak: gece kızılötesi görüntü ve vardiya değişimi kalabalığı kapsanmazsa pilot sonucu iyimser çıkar.
• Doğruluğu kurulumda bir kez ölçüp bırakmak: güven skoru dağılımındaki ani kayma, sahanın değiştiğinin erken işaretidir.

Sahanın kendi rakamı

Laboratuvar metriği sahayı bağlamaz. Hazır çözümlerde kurulum tipik olarak bir hafta içinde tamamlanır, ardından 30 günlük pilot gelir; pilotun ilk iki haftası boyunca gerçek sahada doğrulama yapılır: her alarm operatörce işaretlenir, gerçek kesinlik ve duyarlılık ölçülür ve eşikler buna göre ayarlanır. Ölçüm kamera, sınıf, gece-gündüz ve vardiya bazında ayrı tutulmalıdır. Duyarlılık için alarm üretilmeyen dönemlerden rastgele kayıtlar incelenir, bağımsız bir referansla (elle sayım, bariyer kaydı) karşılaştırılır ya da güvenli koşullarda kontrollü test yapılır. Sözleşmedeki doğruluk taahhüdü bu ölçüme dayanır.

Projeye özel video analitik çalışmalarında bu ölçümün kuralları baştan yazılır: hangi durumun doğru tespit sayılacağı, kaç yanlış alarmın kabul edilebilir olduğu ve testin hangi veri kümesinde yapılacağı sözleşmeye girer. Bu ölçüm sonraki aylarda modelin izlenmesi için başlangıç çizgisidir; mevsim, hat düzeni ya da kamera konumu değiştikçe performans sessizce düşebilir ve kayma ancak bir referansla fark edilir. Bu konuyu MLOps ve model yaşam döngüsü yazısında ele aldık.

Sık sorulan sorular

Video analitikte güven skoru nedir?

Güven skoru, nesne tespit modelinin bulduğu kutunun doğru sınıfa ait olduğundan ne kadar emin olduğunu gösteren değerdir. Kendiliğinden kalibre edilmiş bir olasılık değildir ve farklı modellerin skorları kıyaslanamaz. İşe yarayan kullanımı eşik belirlemektir; alarm tek kareye göre değil, koşulun ardışık karelerde sürmesine göre olay düzeyinde üretilir.

Kesinlik (precision) ile duyarlılık (recall) arasındaki fark nedir?

Kesinlik, üretilen alarmların ne kadarının gerçek olduğunu ölçer; düşükse ekip yanlış alarmlardan bıkar. Duyarlılık, gerçekte olan olayların ne kadarının yakalandığını ölçer; düşükse sistem kritik anda olayı kaçırır. Güven eşiği yükseldikçe kesinlik artar, duyarlılık düşer. Yangın ve düşmede duyarlılık, KKD uyum takibinde kesinlik öncelikli tutulur.

Teklifte yazan doğruluk oranı sahada da geçerli olur mu?

Olmayabilir; başka bir sahada ölçülmüş değer sizin kamera açınızı, ışığınızı ve iş akışınızı bilmez. Bu yüzden 30 günlük pilotun ilk iki haftasında her alarm operatörce işaretlenir, gerçek kesinlik ve duyarlılık sahada ölçülür ve eşikler buna göre ayarlanır. Sözleşmedeki taahhüt ancak bu ölçüme dayandığında anlamlıdır.

Satın alma sırasında tedarikçiye hangi soruları sormalıyız?

Sayı hangi metrik: kesinlik mi, duyarlılık mı, F1 mi, mAP mi? Hangi veri kümesinde, hangi eşikte ve kare bazında mı olay bazında mı ölçüldü? Veri sizin sahanıza benziyor mu? Kural bazında eşik ayarlanabiliyor mu? Pilotta ölçümü kim, hangi kayıtla yapacak? Bu sorulara net cevap vermeyen bir doğruluk iddiası karar için yeterli değildir.

Eşik ayarını kim yapar, sonradan değiştirilebilir mi?

Eşikler pilot süresince sahadaki ölçüme göre kurulum ekibi tarafından ayarlanır ve kural bazında tutulur. Sonradan değiştirilebilir; ancak her değişiklik kesinlik ile duyarlılık arasındaki dengeyi kaydırdığı için kayıt altına alınır ve etkisi sonraki dönemin ölçümünde izlenir. Bir kuralın ya da kameranın eşiğini değiştirmek diğerlerini etkilemez.

Doğruluk ölçümü operatöre ne kadar ek iş getirir?

Ölçüm döneminde operatör paneldeki her alarmı doğru ya da yanlış olarak işaretler; bu işaretleme alarmı incelerken aynı ekranda yapılır. Kaçan olayları bulmak için saha ekibinin tuttuğu olay kaydı ya da geriye dönük kayıt örneklemesi kullanılır. Ölçüm dönemi bittikten sonra da işaretlemeye devam etmek, modelin yeniden eğitimine veri sağlar.