Video Analitik Performans Testi: Precision, Recall ve Test Seti

Video analitik projelerinde en uzun tartışma, “sistem iyi çalışıyor mu?” sorusunun ölçülebilir bir cevabı olmadığında başlar. Operatör yanlış alarmdan yakınır, yüklenici kurulumun doğru olduğunu söyler, işveren neyi kabul ettiğini bilmez. Herkes haklıdır, çünkü kimse sayı tutmamıştır. Bir video analitik testi için precision, recall ve yanlış alarm oranının nasıl hesaplandığını, temsil edici test setinin nasıl kurulduğunu ve kabul kriterinin nasıl yazıldığını aşağıda adım adım veriyoruz.

Neden ölçülebilir kabul kriteri

Analitik olasılıksal bir sistemdir: Her karede “bu bir insan mı?” sorusuna güven skoruyla cevap verir ve eşik değerinin üstündeki çıktıları alarma çevirir. Eşiği düşürürseniz daha az olay kaçar ama yanlış alarm artar; yükseltirseniz tersi olur. “Yüzde yüz doğru” diye bir hedef bu yüzden yazılamaz. Yazılabilecek olan, hangi hata türüne ne kadar tolerans gösterileceğidir.

Eşik her zaman bir takastır.

Ölçülebilir kriterin sahada üç somut faydası vardır:

• Sözleşmesel netlik: Şartnamede “yüksek doğruluk” yerine “gece koşulunda sanal çit ihlali recall değeri en az X” gibi doğrulanabilir bir ifade bulunur.
• Ayar kararlarının gerekçesi: Eşik, bölge veya süre parametresi değiştiğinde etkisi aynı veri üzerinde ölçülür; karar izlenimle verilmez.
• Zaman içinde karşılaştırma: Firmware veya model güncellemesinden sonra performansın düşüp düşmediği aynı test setiyle görülür.

Buradaki konu analitiğin doğruluğunu ölçmektir. Görüntü, kayıt, ağ ve erişim testlerini kapsayan genel kabul süreci için kamera projesi kabul testi rehberine bakın.

Precision, recall ve diğer metrikler

Her test olayı ve her sistem alarmı dört sınıftan birine düşer. Olay düzeyinde değerlendirmede bir alarm, gerçek olayla aynı kamerada ve önceden tanımlanmış bir zaman penceresi içinde oluşmuşsa eşleşmiş sayılır. Bu pencere test başlamadan yazılmazsa, sonuç tartışması da bitmez.

Sınıf	Anlamı
Doğru pozitif (TP)	Gerçek olay var, sistem alarm verdi
Yanlış pozitif (FP)	Gerçek olay yok, sistem alarm verdi
Yanlış negatif (FN)	Gerçek olay var, sistem alarm vermedi
Doğru negatif (TN)	Olay yok, alarm yok

Bu sınıflardan türetilen temel metrikler:

• Precision (kesinlik) = TP / (TP + FP): Verilen alarmların ne kadarının gerçek olduğu. Operatörün alarma güvenini bu belirler.
• Recall (duyarlılık) = TP / (TP + FN): Gerçek olayların ne kadarının yakalandığı. Kaçırma oranı 1 − recall’dur.
• F1 skoru: Precision ve recall’un harmonik ortalaması. Tek sayıyla karşılaştırma için kullanışlıdır; kabul kriterinde ise iki metriği ayrı yazmak daha anlaşılırdır.
• Yanlış alarm oranı: FP sayısının izlenen kamera-saat veya kamera-gün sayısına bölümü. Video gözetimde TN sayısı tanımsızdır (“olmayan olaylar” sayılamaz); bu yüzden klasik yanlış pozitif oranı yerine zamana göre normalize edilmiş bu metrik kullanılır.

Kare düzeyinde nesne tespiti değerlendirmesinde eşleşme, tespit kutusu ile referans kutu arasındaki kesişim/birleşim oranına (IoU) göre yapılır. Saha kabulünde olay düzeyi ölçüm daha anlamlıdır, çünkü operatör kareyi değil alarmı görür. Metriklerin genel tanımları için scikit-learn model değerlendirme dokümantasyonu sağlam bir başvuru kaynağıdır.

Örnek hesap

Aşağıdaki değerler yöntemi göstermek için kurgulanmış bir örnek hesaptır. 16 kameralı bir çevre güvenliği projesinde 72 saatlik test kaydı üzerinde, sahnelenmiş ve doğal olarak oluşan toplam 200 ihlal olayı etiketlenmiş olsun. Sistem aynı sürede 230 alarm üretmiş, bunların 180’i gerçek olaylarla eşleşmiş olsun.

• TP = 180, FP = 230 − 180 = 50, FN = 200 − 180 = 20
• Precision = 180 / 230 ≈ 0,78
• Recall = 180 / 200 = 0,90 (kaçırma oranı 0,10)
• F1 ≈ 0,84
• İzlenen süre = 16 × 72 = 1.152 kamera-saat; yanlış alarm oranı = 50 / 1.152 ≈ 0,043 alarm/kamera-saat, yani kamera başına günde yaklaşık 1 yanlış alarm.

Ölçülen değerin ne kadar güvenilir olduğunu olay sayısı belirler. Wilson yöntemiyle hesaplanan yüzde 95 güven aralığı bu örnekte recall için yaklaşık 0,85–0,93’tür. Aynı oran 20 olayda (18/20) ölçülseydi aralık yaklaşık 0,70–0,97 olurdu. Bu genişlikte bir aralıkla kabul imzası atılmaz. Hesabı şu kısa betikle tekrarlayabilirsiniz:

import math

def wilson(k, n, z=1.96):
    p = k / n
    d = 1 + z**2 / n
    c = (p + z**2 / (2 * n)) / d
    h = z * math.sqrt(p * (1 - p) / n + z**2 / (4 * n**2)) / d
    return round(c - h, 3), round(c + h, 3)

tp, fp, fn = 180, 50, 20
kamera_saat = 16 * 72
print("precision", round(tp / (tp + fp), 3))
print("recall", round(tp / (tp + fn), 3), "GA", wilson(tp, tp + fn))
print("FP/kamera-saat", round(fp / kamera_saat, 3))

Temsil edici test seti

Ölçüm, test setinin sahayı ne kadar temsil ettiği kadar değerlidir. Yalnız gündüz ve açık havada çekilmiş kayıtla ölçülen bir analitik, ilk yağmurlu gecede bambaşka davranır. Sahada en sık gördüğümüz hata da budur: kabul güneşli bir öğleden sonra yapılır, şikâyetler ilk sisli sabah gelir. Test setini koşul gruplarına ayırın ve her grupta ayrı metrik hesaplayın:

• Işık: gündüz, alacakaranlık, IR gece modu, ters ışık, araç farları.
• Hava: yağmur, sis, kar, kuvvetli rüzgâr (sallanan bitki ve bayraklar); mevsime göre test planına sonradan eklenebilir.
• Yoğunluk: boş sahne, seyrek trafik, kalabalık ve örtüşme.
• Hedef davranışı: normal yürüyüş, koşma, eğilerek veya sürünerek ilerleme, kamuflaj benzeri koyu giysi, bölge sınırında bekleme.
• Negatif senaryolar: hayvanlar, gölgeler, yansımalar, böcekler ve örümcek ağları, IR’ın yağmur damlalarına yansıması. Yanlış alarm ölçümü bunlar olmadan yapılamaz.

Yanlış alarmın sahadaki tipik kaynakları ve azaltma yöntemleri video analitikte yanlış alarm nasıl azaltılır yazısında; test setindeki negatif senaryoları doğrudan o listeden türetebilirsiniz.

Test protokolü

1. Kapsamı ve olay tanımını yazın: Her analitik kuralı için “olay” tanımı netleşmeli. Örneğin sanal çitte olay, kişinin bölgeye belirli süreden uzun girmesidir; bölge ve süre parametreleri sanal çit ve alan ihlali kuralı tasarımı yazısındaki yaklaşımla önceden sabitlenir.
2. Yapılandırmayı dondurun: Test başlamadan firmware sürümü, model sürümü, eşik ve bölge ayarları kayda geçer. Test süresince kimse dokunmaz.
3. Eşleşme kuralını belirleyin: Alarmın gerçek olayla eşleşmesi için kabul edilen zaman penceresi (örneğin olay başlangıcından sonraki birkaç saniye) ve aynı olay için tekrarlanan alarmların nasıl sayılacağı yazılır.
4. Olayları üretin ve kaydedin: Sahnelenmiş senaryolar planlı saatlerde, belirlenen koşullarda yürütülür. Doğal trafik içeren sürekli kayıt da sete eklenir.
5. Referansı bağımsız etiketleyin: Gerçek olayların listesi, sistem alarmlarını görmeden, kayıt izlenerek hazırlanır. Mümkünse iki kişi etiketler, anlaşmazlıklar ayrıca karara bağlanır.
6. Eşleştirin ve hesaplayın: Alarm günlüğü VMS’ten dışa aktarılır, referans listeyle eşleştirilir, koşul grubu başına metrik hesaplanır.
7. Raporlayın: Rapor; yapılandırma kaydını, olay sayılarını, metrikleri ve güven aralıklarını, kaçırılan olay ve yanlış alarm örneklerinin kısa analizini içerir.

Sahnelenmiş testte ekip farkında olmadan “kolay” senaryoya kayar: kameranın tam önünden, ortadan, dik yürür. Senaryo listesine bölge kenarlarını, uzak mesafeyi ve kameraya dik açıyla geçişi bilerek koyun. Zor senaryo yoksa test de yoktur.

Kabul kriterleri tablosu

Kabul eşikleri senaryonun risk profiline göre proje ekibiyle birlikte belirlenir. Tablo kriterin nasıl yazılacağını gösterir; değerleri projeye göre siz doldurursunuz.

Analitik	Birincil metrik	İkincil metrik	Koşul ayrımı
Sanal çit / ihlal	Recall ≥ hedef	FP/kamera-gün ≤ hedef	Gündüz, gece, yağmur
Çizgi geçişi	Recall ve yön doğruluğu	Precision	Seyrek, kalabalık
İnsan sayma	Giriş ve çıkış sayım hatası	Saatlik toplam sapma	Yoğun saat, sakin saat
KKD tespiti	Precision	Recall	Mesafe, ışık
Araç–yaya yakınlığı	Recall	FP/vardiya	Koridor, kavşak

İnsan sayma gibi istatistik amaçlı analitiklerde olay düzeyi metrik yerine sayım sapması kullanılır; yöntemi insan sayma analitiğinde doğruluk ölçümü yazısında ayrıntılı anlattık. Kabul tutanağında her kriter için ölçülen değer, güven aralığı ve “geçti/kaldı” sonucu yan yana durmalıdır.

Sürekli izleme

Kabul günündeki performans kalıcı değildir. Sahaya yeni bir raf eklenir, ağaçlar büyür, kamera titreşimle birkaç derece kayar, bir firmware güncellemesi gelir. Metrikler sessizce değişir. Kabulden sonra şu düzenekleri kurun:

• Operatör geri bildirimi: Her alarm operatör tarafından “gerçek / yanlış” olarak işaretlenir. Bu işaretler kamera bazında haftalık precision ve yanlış alarm oranı verir.
• Periyodik kaçırma testi: Recall yalnız alarm kayıtlarından ölçülemez; kaçırılan olay günlüğe düşmez. Belirli aralıklarla sahnelenmiş test yürüyüşü yapın veya kayıtlardan rastgele örneklem inceleyin.
• Regresyon testi: Kabul test seti arşivlenir; model, firmware veya kamera ayarı değiştiğinde aynı set yeniden çalıştırılır.
• Eşik değişiklik kaydı: Hangi kamerada hangi parametrenin, kim tarafından ve hangi ölçüme dayanarak değiştirildiği kayda geçer.

Test planı, ölçüm ve kabul tutanağı süreçleri kamera proje yönetimi ve kabul testleri kapsamında; analitik kuralların kurulumu ve ayarı ise AI video analitik kurulumu kapsamında yürütülebilir.

Sık sorulan sorular

Üreticinin verdiği doğruluk değeri neden sahada tutmuyor?

Çünkü o değer üreticinin kendi test verisinde ve kendi koşullarında ölçülür. Kamera açısı, hedefin piksel boyutu, aydınlatma, hava ve sahnedeki yanıltıcı nesneler her sahada farklıdır. Kabul kararını, projenin kendi kameralarından ve koşullarından kurulan test setiyle verin.

Test seti kaç olaydan oluşmalı?

Sabit bir sayı yoktur; olay sayısı ölçümün güven aralığını belirler. Örnek olarak 20 olayda 18 doğru tespit yaklaşık 0,70–0,97 aralığında bir recall verir, 200 olayda 180 doğru tespit bu aralığı yaklaşık 0,85–0,93’e daraltır. Her koşul grubunda anlamlı sayıda olay yoksa o grup için kabul kararı verilemez.

Precision mı recall mı daha önemli?

Senaryoya bağlıdır. Çevre güvenliği gibi kaçırılan olayın bedeli yüksek senaryolarda recall önceliklidir; yanlış alarm operatör iş yüküyle sınırlandırılır. İnsan sayma veya istatistik amaçlı analitiklerde ise iki yönlü hatanın dengesi ve toplam sayım hatası daha anlamlıdır.

Kabulden sonra test tekrar edilmeli mi?

Evet. Firmware veya model güncellemesi, kamera açısının kayması, sahaya yeni nesneler eklenmesi ve mevsim değişimi performansı değiştirir. Kabul test setini arşivleyin ve bu değişikliklerden sonra aynı set üzerinde regresyon testi yapın.