In Videoanalyseprojekten beginnt die längste Diskussion, wenn die Frage „Funktioniert das System gut?“ keine messbare Antwort hat. Der Bediener klagt über Fehlalarme, der Auftragnehmer sagt, die Installation sei korrekt, der Auftraggeber weiß nicht, was er abgenommen hat. Alle haben recht, denn niemand hat Zahlen erhoben. Im Folgenden zeigen wir Schritt für Schritt, wie für einen Test der Videoanalyse Precision, Recall und Fehlalarmrate berechnet werden, wie ein repräsentatives Testset aufgebaut wird und wie das Abnahmekriterium formuliert wird.
Warum ein messbares Abnahmekriterium
Analyse ist ein probabilistisches System: In jedem Frame beantwortet sie die Frage „Ist das eine Person?“ mit einem Konfidenzwert und macht Ausgaben über einer Schwelle zum Alarm. Senken Sie die Schwelle, wird weniger verpasst, aber Fehlalarme nehmen zu; erhöhen Sie sie, gilt das Gegenteil. Ein Ziel „hundertprozentig richtig“ lässt sich deshalb nicht formulieren. Formulieren lässt sich, welche Fehlerart in welchem Umfang toleriert wird.
Die Schwelle ist immer ein Kompromiss.
Ein messbares Kriterium hat vor Ort drei konkrete Vorteile:
- Vertragliche Klarheit: Im Lastenheft steht statt „hohe Genauigkeit“ eine prüfbare Aussage wie „Recall für Verletzung des virtuellen Zauns bei Nacht mindestens X“.
- Begründung von Einstellungsentscheidungen: Ändern sich Schwelle, Zone oder Dauerparameter, wird die Wirkung an denselben Daten gemessen; entschieden wird nicht nach Eindruck.
- Vergleich über die Zeit: Ob die Leistung nach einem Firmware- oder Modellupdate gesunken ist, zeigt dasselbe Testset.
Hier geht es darum, die Genauigkeit der Analyse zu messen. Für den allgemeinen Abnahmeprozess mit Bild-, Aufzeichnungs-, Netz- und Zugriffstests siehe den Leitfaden Abnahmetest für Kameraprojekte.
Precision, Recall und weitere Metriken
Jedes Testereignis und jeder Systemalarm fällt in eine von vier Klassen. Bei der Bewertung auf Ereignisebene gilt ein Alarm als zugeordnet, wenn er an derselben Kamera wie das echte Ereignis und innerhalb eines vorab definierten Zeitfensters auftritt. Wird dieses Fenster nicht vor Testbeginn festgeschrieben, endet auch die Diskussion über das Ergebnis nicht.
| Klasse | Bedeutung |
|---|---|
| Richtig positiv (TP) | Echtes Ereignis vorhanden, System hat alarmiert |
| Falsch positiv (FP) | Kein echtes Ereignis, System hat alarmiert |
| Falsch negativ (FN) | Echtes Ereignis vorhanden, System hat nicht alarmiert |
| Richtig negativ (TN) | Kein Ereignis, kein Alarm |
Aus diesen Klassen abgeleitete Grundmetriken:
- Precision (Genauigkeit) = TP / (TP + FP): Wie viele der ausgelösten Alarme echt sind. Das bestimmt das Vertrauen des Bedieners in den Alarm.
- Recall (Trefferquote) = TP / (TP + FN): Wie viele der echten Ereignisse erfasst werden. Die Verpassungsquote ist 1 − Recall. Verpasste Ereignisse werden an der Zahl bekannter (inszenierter oder annotierter) Standortszenarien gemessen.
- F1-Wert: Harmonisches Mittel aus Precision und Recall. Praktisch für den Vergleich mit einer Zahl; im Abnahmekriterium ist es verständlicher, beide Metriken getrennt anzugeben.
- Meldelatenz: Zeit vom Beginn des Ereignisses in der Szene bis zum Eintreffen der Meldung beim Empfänger. Sie wird getrennt von Precision und Trefferquote gemessen und berichtet.
- Fehlalarmrate: Wird je Kamera und mit Beobachtungsdauer angegeben (etwa Alarme/Kamerastunde); eine Zahl ohne Dauer ist nicht vergleichbar.
- Fehlalarmrate: Zahl der FP geteilt durch die beobachteten Kamerastunden oder Kameratage. In der Videoüberwachung ist die Zahl der TN undefiniert („nicht stattgefundene Ereignisse“ lassen sich nicht zählen); deshalb wird statt der klassischen Falsch-Positiv-Rate diese zeitnormierte Metrik genutzt.
Bei der Bewertung der Objekterkennung auf Frame-Ebene erfolgt die Zuordnung nach dem Verhältnis von Schnitt- zu Vereinigungsmenge (IoU) zwischen Erkennungsrahmen und Referenzrahmen. Bei der Abnahme vor Ort ist die Messung auf Ereignisebene aussagekräftiger, weil der Bediener nicht das Frame, sondern den Alarm sieht. Für allgemeine Definitionen der Metriken ist die Dokumentation zur Modellbewertung von scikit-learn eine solide Referenz.
Beispielrechnung
Die folgenden Werte sind eine konstruierte Beispielrechnung zur Veranschaulichung der Methode. In einem Perimeterschutzprojekt mit 16 Kameras seien auf 72 Stunden Testaufzeichnung insgesamt 200 inszenierte und natürlich aufgetretene Verletzungsereignisse annotiert. Das System habe im selben Zeitraum 230 Alarme erzeugt, 180 davon seien echten Ereignissen zugeordnet.
- TP = 180, FP = 230 − 180 = 50, FN = 200 − 180 = 20
- Precision = 180 / 230 ≈ 0,78
- Recall = 180 / 200 = 0,90 (Verpassungsquote 0,10)
- F1 ≈ 0,84
- Beobachtete Dauer = 16 × 72 = 1.152 Kamerastunden; Fehlalarmrate = 50 / 1.152 ≈ 0,043 Alarme/Kamerastunde, also etwa 1 Fehlalarm pro Kamera und Tag.
Wie verlässlich der gemessene Wert ist, bestimmt die Zahl der Ereignisse. Das nach Wilson berechnete 95-Prozent-Konfidenzintervall beträgt in diesem Beispiel für Recall etwa 0,85–0,93. Wäre derselbe Anteil bei 20 Ereignissen (18/20) gemessen worden, läge das Intervall bei etwa 0,70–0,97. Mit einem so breiten Intervall wird keine Abnahme unterschrieben. Die Rechnung können Sie mit diesem kurzen Skript nachvollziehen:
import math
def wilson(k, n, z=1.96):
p = k / n
d = 1 + z**2 / n
c = (p + z**2 / (2 * n)) / d
h = z * math.sqrt(p * (1 - p) / n + z**2 / (4 * n**2)) / d
return round(c - h, 3), round(c + h, 3)
tp, fp, fn = 180, 50, 20
kamera_stunden = 16 * 72
print("precision", round(tp / (tp + fp), 3))
print("recall", round(tp / (tp + fn), 3), "KI", wilson(tp, tp + fn))
print("FP/Kamerastunde", round(fp / kamera_stunden, 3))
Repräsentatives Testset
Eine Messung ist so viel wert, wie das Testset den Standort repräsentiert. Eine nur mit Aufnahmen bei Tag und klarem Wetter gemessene Analyse verhält sich in der ersten Regennacht völlig anders. Aus einem Pilot am Tag lässt sich keine Leistung bei Nacht oder Niederschlag ableiten: Findet die Abnahme an einem sonnigen Nachmittag statt, bleiben Nacht, Nebel und Regen ungemessen. Teilen Sie das Testset in Bedingungsgruppen und berechnen Sie die Metriken je Gruppe:
- Licht: Tag, Dämmerung, IR-Nachtmodus, Gegenlicht, Fahrzeugscheinwerfer.
- Wetter: Regen, Nebel, Schnee, starker Wind (schwankende Pflanzen und Fahnen); je nach Jahreszeit nachträglich in den Testplan aufnehmbar.
- Dichte: leere Szene, wenig Verkehr, Menschenmenge und Überdeckung.
- Verhalten des Ziels: normales Gehen, Rennen, gebücktes oder kriechendes Vorwärtsbewegen, tarnähnliche dunkle Kleidung, Warten an der Zonengrenze.
- Negativszenarien: Tiere, Schatten, Spiegelungen, Insekten und Spinnweben, Reflexion von IR an Regentropfen. Ohne sie ist keine Fehlalarmmessung möglich.
Typische Quellen von Fehlalarmen vor Ort und Methoden zu ihrer Verringerung beschreibt der Beitrag Wie man Fehlalarme in der Videoanalyse verringert; die Negativszenarien im Testset können Sie direkt aus dieser Liste ableiten.
Testprotokoll
- Umfang und Ereignisdefinition schreiben: Für jede Analyseregel muss klar sein, was ein „Ereignis“ ist. Beim virtuellen Zaun ist ein Ereignis etwa das Betreten der Zone durch eine Person über eine bestimmte Dauer hinaus; Zonen- und Dauerparameter werden vorab nach dem Ansatz des Beitrags Regeldesign für virtuellen Zaun und Bereichsverletzung festgelegt.
- Konfiguration einfrieren: Vor Testbeginn werden Firmwarestand, Modellversion, Schwellen und Zoneneinstellungen dokumentiert. Während des Tests fasst niemand sie an.
- Zuordnungsregel festlegen: Das für die Zuordnung eines Alarms zum echten Ereignis akzeptierte Zeitfenster (etwa einige Sekunden nach Ereignisbeginn) und die Zählung wiederholter Alarme für dasselbe Ereignis werden schriftlich festgelegt.
- Ereignisse erzeugen und aufzeichnen: Inszenierte Szenarien laufen zu geplanten Zeiten unter festgelegten Bedingungen. Auch eine Daueraufzeichnung mit natürlichem Verkehr wird dem Set hinzugefügt.
- Referenz unabhängig annotieren: Die Liste echter Ereignisse wird ohne Kenntnis der Systemalarme durch Ansehen der Aufzeichnung erstellt. Möglichst annotieren zwei Personen, Uneinigkeiten werden gesondert entschieden.
- Zuordnen und berechnen: Das Alarmprotokoll wird aus dem VMS exportiert, mit der Referenzliste abgeglichen, die Metriken werden je Bedingungsgruppe berechnet.
- Berichten: Der Bericht enthält Konfigurationseintrag, Ereigniszahlen, Metriken und Konfidenzintervalle sowie eine kurze Analyse von Beispielen verpasster Ereignisse und Fehlalarme.
Beim inszenierten Test rutscht das Team unbemerkt ins „leichte“ Szenario: direkt vor der Kamera, mittig, senkrecht. Nehmen Sie Zonenränder, große Entfernung und Durchgang quer zur Kamera bewusst in die Szenarioliste auf. Ohne schwere Szenarien kein Test.
Tabelle der Abnahmekriterien
Abnahmeschwellen werden nach dem Risikoprofil des Szenarios gemeinsam mit dem Projektteam festgelegt. Die Tabelle zeigt, wie das Kriterium zu formulieren ist; die Werte tragen Sie je Projekt selbst ein.
| Analytics | Primäre Metrik | Sekundäre Metrik | Trennung nach Bedingungen |
|---|---|---|---|
| Virtueller Zaun / Verletzung | Recall ≥ Ziel | FP/Kameratag ≤ Ziel | Tag, Nacht, Regen |
| Linienüberschreitung | Recall und Richtungsgenauigkeit | Precision | Wenig Verkehr, Menschenmenge |
| Personenzählung | Zählfehler Ein- und Ausgang | Stündliche Gesamtabweichung | Belebte Stunde, ruhige Stunde |
| PSA-Erkennung | Precision | Recall | Entfernung, Licht |
| Nähe Fahrzeug–Fußgänger | Recall | FP/Schicht | Gang, Kreuzung |
Bei Analysen für Statistik wie der Personenzählung wird statt Ereignismetriken die Zählabweichung genutzt; die Methode beschreiben wir ausführlich im Beitrag Genauigkeitsmessung bei der Personenzählung. Im Abnahmeprotokoll müssen zu jedem Kriterium gemessener Wert, Konfidenzintervall und Ergebnis „bestanden/nicht bestanden“ nebeneinanderstehen.
Kontinuierliche Überwachung
Die Leistung am Abnahmetag ist nicht dauerhaft. Am Standort kommt ein Regal hinzu, Bäume wachsen, die Kamera verschiebt sich durch Vibration um einige Grad, ein Firmwareupdate kommt. Die Metriken ändern sich still. Richten Sie nach der Abnahme diese Mechanismen ein:
- Rückmeldung der Bediener: Jeder Alarm wird vom Bediener als „echt / falsch“ markiert. Diese Markierungen liefern je Kamera wöchentlich Precision und Fehlalarmrate.
- Periodischer Verpassungstest: Recall lässt sich nicht allein aus Alarmprotokollen messen; ein verpasstes Ereignis landet nicht im Protokoll. Führen Sie in Abständen inszenierte Testbegehungen durch oder prüfen Sie Stichproben aus Aufzeichnungen.
- Regressionstest: Das Abnahmetestset wird archiviert; ändern sich Modell, Firmware oder Kameraeinstellung, wird dasselbe Set erneut ausgeführt.
- Änderungsprotokoll der Schwellen: Welcher Parameter an welcher Kamera von wem und auf Grundlage welcher Messung geändert wurde, wird dokumentiert.
Testplan, Messung und Abnahmeprotokoll lassen sich im Rahmen von Projektmanagement und Abnahmetests für Kameraprojekte durchführen; Installation und Einstellung der Analyseregeln im Rahmen der Installation von KI-Videoanalyse.
Häufig gestellte Fragen
Warum hält der vom Hersteller angegebene Genauigkeitswert vor Ort nicht?
Weil dieser Wert mit den eigenen Testdaten des Herstellers unter dessen Bedingungen gemessen wird. Kamerawinkel, Pixelgröße des Ziels, Beleuchtung, Wetter und täuschende Objekte in der Szene sind an jedem Standort anders. Treffen Sie die Abnahmeentscheidung mit einem Testset aus den eigenen Kameras und Bedingungen des Projekts.
Aus wie vielen Ereignissen sollte ein Testset bestehen?
Es gibt keine feste Zahl; die Zahl der Ereignisse bestimmt das Konfidenzintervall der Messung. Beispielsweise ergeben 18 richtige Erkennungen bei 20 Ereignissen einen Recall im Bereich von etwa 0,70–0,97, 180 richtige Erkennungen bei 200 Ereignissen verengen diesen Bereich auf etwa 0,85–0,93. Gibt es in einer Bedingungsgruppe keine aussagekräftige Zahl an Ereignissen, lässt sich für diese Gruppe keine Abnahmeentscheidung treffen.
Ist Precision oder Recall wichtiger?
Das hängt vom Szenario ab. In Szenarien mit hohen Kosten für ein verpasstes Ereignis wie dem Perimeterschutz hat Recall Vorrang; Fehlalarme werden über die Bedienerlast begrenzt. Bei Analysen für Zählung oder Statistik sind dagegen das Gleichgewicht beider Fehlerrichtungen und der Gesamtzählfehler aussagekräftiger.
Sollte der Test nach der Abnahme wiederholt werden?
Ja. Firmware- oder Modellupdate, verrutschter Kamerawinkel, neue Objekte am Standort und Jahreszeitwechsel verändern die Leistung. Archivieren Sie das Abnahmetestset und führen Sie nach diesen Änderungen einen Regressionstest mit demselben Set durch.