Der teuerste Fehler bei serverbasierter Videoanalyse ist, die GPU-Kapazität nach dem Prospektwert „N Kameras pro Server“ zu beschaffen. Die tatsächliche Kapazität bestimmen gemeinsam Streamzahl, Auflösung, Codec, Analysebildrate, Modellkomplexität und andere Dienste auf demselben Server. Der Prospekt kennt nichts davon für Ihren Standort. Im Folgenden beschreiben wir der Reihe nach, auf welche Variablen wir bei der Dimensionierung von GPU-Servern für Videoanalyse achten, eine Beispielrechnung, die Messmethode im Pilot und das redundante Design.
Die Entscheidung Edge oder Server ist hier nicht Thema; diesen Vergleich bietet der Beitrag Edge-Analyse oder serverbasierte Analyse. Alles Folgende setzt voraus, dass die serverbasierte Architektur gewählt ist.
Variablen, die die Kapazität bestimmen
Auf dem Analyseserver durchläuft jeder Kamerastream diese Kette: RTSP-Empfang und Parsing, Decodierung, Skalierung und Farbkonvertierung, Modellinferenz, Tracking, Regelbewertung sowie Schreiben von Metadaten und Ereignissen. Ein Engpass kann an jedem dieser Glieder entstehen. Das schwächste Glied bestimmt die Kapazität.
| Unterschiedlich | Betroffene Ressource | Hinweis |
|---|---|---|
| Streamzahl | Alle | Annahme linearen Wachstums im Pilot zu prüfen |
| Auflösung und Codec | Hardwaredecoder, GPU-Speicher | H.265-Unterstützung hängt von der GPU-Generation ab |
| Bildrate der Kamera | Hardwaredecoder | Wird unabhängig von der Analyserate decodiert |
| Analysebildrate | GPU-Rechenleistung | Wird nach Regeltyp festgelegt |
| Modell und Eingabegröße | GPU-Rechenleistung, Speicher | Mehrere Modellketten vervielfachen die Last |
| Tracking und Regeln | CPU | Steigt in belebten Szenen |
| Schreiben von Metadaten und Ereignissen | Festplatte, Datenbank | Deutlich bei aktiver Attributsuche |
Decodierlast
Die meisten Dimensionierungen konzentrieren sich auf die Modellinferenz und übersehen die Decodierung. Dabei ist in großen Installationen oft der Hardware-Videodecoder die erste ausgelastete Ressource. Bei NVIDIA-GPUs übernehmen das von den Recheneinheiten getrennte NVDEC-Einheiten; Zahl der NVDEC-Einheiten und unterstützte Codecs variieren je GPU-Modell. Für aktuelle Angaben ist die GPU-Unterstützungsmatrix für Video-Encode/Decode von NVIDIA zu prüfen.
Die Decodierlast ist grob proportional zur Zahl der pro Sekunde decodierten Pixel. Beispielrechnung (64 Kameras):
- Hauptstream 1920 × 1080, 25 Frames/s: 64 × 1920 × 1080 × 25 ≈ 3,3 Milliarden Pixel/s.
- Substream 1280 × 720, 10 Frames/s: 64 × 1280 × 720 × 10 ≈ 0,59 Milliarden Pixel/s.
Der Unterschied beträgt mehr als das Fünffache. Ist die Modelleingabe ohnehin klein (etwa 640 Pixel Breite), verschwendet das Decodieren und Verkleinern des Hauptstreams Kapazität. Ein eigenes Streamprofil für die Analyse zu definieren, ist in den meisten Projekten die wirksamste Optimierung; den Profilaufbau beschreiben wir im Beitrag Mehrfachstreams und Streamprofile bei Kameras. Eine Grenze gibt es: Die Substream-Auflösung darf die Pixelgröße ferner Ziele für die Analyse nicht unzureichend machen.
Ein weiteres oft übersehenes Detail: In H.264 und H.265 referenzieren Zwischenframes frühere Frames. Auch wenn die Analyse 5 Frames pro Sekunde nutzt, muss der Decoder meist alle Frames des Streams decodieren. Setzen Sie in die Decodierrechnung nicht die Analysebildrate, sondern die von der Kamera gesendete Bildrate. Den Einfluss der Codec-Unterschiede auf die Rechenlast beschreibt der Beitrag Aufzeichnungsleistung von H.265 und H.264.
Analyse-FPS und Modellkomplexität
Die Inferenzlast ist das Produkt aus der Gesamtzahl der Inferenzen pro Sekunde und den Kosten je Modell. 64 Kameras mit 5 Analyseframes je Kamera ergeben 320 Inferenzen pro Sekunde. Drei Faktoren vergrößern diesen Wert:
- Modellkette: Bei einer PSA-Analyse, die zuerst Personen erkennt und dann je Person Helm/Weste klassifiziert, steigt die Last des zweiten Modells mit der Zahl der Personen in der Szene. Dimensionieren Sie ein System, das in leerer Szene leicht und beim Schichtwechsel schwer läuft, nicht nach dem Durchschnitt, sondern nach dem belebtesten Moment.
- Eingabegröße: Die Eingabegröße für ferne Ziele zu vergrößern oder das Bild in Kacheln zu zerlegen, erhöht die Inferenzkosten grob proportional zur Pixelzahl.
- Analyserate: Langsame Ereignisse wie beim virtuellen Zaun kommen mit niedriger Analyserate aus; schnelle Fahrzeuge und Näherungswarnungen brauchen eine höhere. Definieren Sie statt einer einheitlichen Analyserate für alle Kameras Profile nach Regeltyp.
GPU-Speicher ist eine eigene Grenze: Decoderpuffer je Stream, Modellgewichte und Batch-Puffer belegen Speicher. Ist der Speicher voll, obwohl Rechenkapazität reicht, lässt sich kein Stream mehr hinzufügen. Die Auslastungsgrafik ist grün, der Stream öffnet sich trotzdem nicht.
Beispielrechnung zur Dimensionierung
Die folgenden Werte sind zur Veranschaulichung der Methode konstruiert; reale Werte sind im Pilot mit der genutzten GPU, dem Modell und der Software zu messen. Ziel: 64 Kameras, Substream 1280 × 720 / 10 Frames/s, Analyserate 5 Frames/s, Personen- und Fahrzeugerkennung.
- Pilotmessung: Auf einem Server mit einer GPU laufen 16 Streams echter Kameras. Zur Spitzenzeit gemessene Werte: GPU-Rechenauslastung durchschnittlich 45 %, NVDEC-Auslastung 30 %, GPU-Speicher 9 von 24 GB.
- Zielauslastung: Für Lastspitzen und Wachstum werden höchstens 70 % Auslastung je Ressource angestrebt.
- Geschätzte Streamgrenze je Ressource (lineare Annahme): Rechenleistung 16 × 70 / 45 ≈ 24; Decoder 16 × 70 / 30 ≈ 37; Speicher 16 × (0,7 × 24) / 9 ≈ 29. Der Engpass ist die Rechenleistung, etwa 24 Streams je GPU.
- GPU-Anzahl: 64 / 24 ≈ 2,7, also mindestens 3 GPUs.
- Prüfung: Die lineare Annahme gilt wegen Batch- und Speicherverhalten nicht immer. Mit 24 Streams wird eine zweite Messung durchgeführt und die Schätzung bestätigt.
Berücksichtigen Sie auch das Netz: Nimmt man je Substream etwa 1,5 Mbit/s an, bedeuten 64 Streams rund 96 Mbit/s dauerhaften Empfang. Ist der Analyseserver vom Aufzeichnungsserver getrennt, sendet jede Kamera gleichzeitig an zwei Clients. Manche Kameras begrenzen die Zahl gleichzeitiger Streams; die zweite Verbindung wird abgelehnt, oder die Einstellungen des bestehenden Streams ändern sich. Prüfen Sie diese kameraseitige Grenze und die Netzlast vor der Installation.
Messmethode im Pilot
Führen Sie den Pilot mit Kameras durch, die aus dem realen Standort gewählt sind und die Szenenvielfalt repräsentieren, mit der Softwareversion und dem Regelsatz, die im Produktivbetrieb genutzt werden. Die Messung sollte mindestens einen ganzen Tag dauern und die Spitzenzeiten enthalten. Bei NVIDIA-GPUs werden die Grundmessungen mit nvidia-smi erhoben:
# GPU-Rechenleistung (sm), Speicher, Encoder- und Decoderauslastung; Intervall 5 s
nvidia-smi dmon -s u -d 5
# Speicher und Temperatur; als CSV protokollierbar
nvidia-smi --query-gpu=timestamp,index,utilization.gpu,memory.used,memory.total,temperature.gpu \
--format=csv -l 5 >> gpu_pilot.csv
Ob ein einzelner Stream per Hardware decodiert werden kann und mit welcher tatsächlichen Bildrate, können Sie schnell mit FFmpeg testen (FFmpeg muss mit CUDA-Unterstützung kompiliert sein; der RTSP-Pfad hängt vom Hersteller ab):
ffmpeg -hide_banner -hwaccel cuda -rtsp_transport tcp \
-i "rtsp://benutzer:[email protected]:554/<substream-pfad>" \
-t 60 -f null -
Schauen Sie bei der Messung nicht nur auf die GPU. Erfassen Sie auch: CPU-Auslastung, die von der Analysesoftware gemeldete verarbeitete Bildrate und übersprungene Frames, Latenz der Ereigniserzeugung (Zeit zwischen Ereignis und Eintreffen des Alarms im VMS), Schreibgeschwindigkeit der Metadatendatenbank. Werden bei niedriger GPU-Auslastung Frames übersprungen, liegt der Engpass bei CPU, Netz oder den Warteschlangeneinstellungen der Software. Das Erste, was man in der Konsole prüft, ist der Zähler übersprungener Frames.
Soll die Videoanalyse-Last auf einen zentralen Server verlagert werden, messen Sie gleichzeitige Streams und Speicherbedarf im Rahmen der Beratung zu Serverhardware und Kapazität.
Skalierung und Redundanz
In Videoanalysesystemen von Unternehmen läuft bei Ausfall des Analyseservers die Aufzeichnung weiter, die Alarme stoppen. Möglicherweise merkt es niemand. In Szenarien wie Perimeterschutz oder Arbeitsschutzwarnungen ist das nicht akzeptabel. Treffen Sie die Redundanzentscheidung mit einer Frage: Reicht die verbleibende Kapazität bei Verlust eines Servers für alle Kameras? Nimmt man im obigen Beispiel 24 Streams je GPU an:
| Design | Gesamtkapazität | Bei Verlust eines Servers | Für 64 Kameras |
|---|---|---|---|
| 2 Server × 2 GPUs | 96 Streams | 48 Streams | Unzureichend |
| 2 Server × 3 GPUs | 144 Streams | 72 Streams | Ausreichend |
| 3 Server × 2 GPUs | 144 Streams | 96 Streams | Ausreichend, mit Wachstumsreserve |
Auf welchen Server Streams im Ausfall verlagert werden, hängt von der Fähigkeit der Analysesoftware ab: Manche Plattformen verteilen automatisch neu, bei anderen ist eine manuelle Zuweisung zum Reserveserver nötig. Prüfen Sie regelmäßig, dass Regel- und Zonenkonfigurationen auch auf dem Reserveserver aktuell sind; ein Reserveserver, der mit einem alten Regelsatz hochfährt, erzeugt Fehlalarme. Den Failover-Aufbau auf VMS-Seite beschreibt der Beitrag VMS-Hochverfügbarkeit und N+1-Design; beziehen Sie die Analyseserver in diesen Aufbau ein. Im NVIDIA-Ökosystem ist das Entwicklerhandbuch zu DeepStream die Primärquelle für Batch- und Mehrstream-Einstellungen.
Häufige Fehler
- Analyse mit dem Hauptstream: Ist die Modelleingabe klein, verbraucht das Decodieren eines 4K- oder 1080p-Hauptstreams unnötig Decodierkapazität.
- Dimensionierung nach Durchschnittslast: Eine Rechnung mit Werten, die nachts in leerer Szene gemessen wurden, führt beim Schichtwechsel zu übersprungenen Frames.
- Speicher vergessen: Während die Rechenkapazität ausreichend wirkt, füllt sich der GPU-Speicher, und kein Stream lässt sich mehr hinzufügen.
- Consumer-GPUs wie Rechenzentrumsprodukte bewerten: Prüfen Sie die Herstellerbedingungen zu Dauerbetrieb, Kühlung, Treiberlizenz und Virtualisierungsunterstützung.
- Thermische Grenzen: Stark ausgelastete GPUs erzeugen Wärme im Schrank; sinkt die Taktrate wegen der Temperatur, fällt die Kapazität unter den Pilotwert. Ein Pilot im Winter täuscht im Sommer.
- Keine Wachstumsreserve lassen: Kommen neue Regeln, weitere Modelle oder Kameras hinzu, reicht die Kapazität nicht; eine Zielauslastung um 70 Prozent lässt diese Reserve.
Serverdimensionierung, Wahl der Analysesoftware und Regeleinrichtung lassen sich im Rahmen der Installation von KI-Videoanalyse, Integration der Analyse ins VMS und Serverarchitektur zusammen mit der Arbeit an Unternehmens-VMS-Plattformen planen.
Häufig gestellte Fragen
Warum hält die Streamzahl aus dem Hersteller-Benchmark vor Ort nicht?
Ein Benchmark wird meist mit einem bestimmten Modell, einer bestimmten Eingabegröße, einer Batch-Einstellung und oft mit Video aus einer lokalen Datei gemessen. Vor Ort teilen sich RTSP-Empfang, unterschiedliche Codecs und Auflösungen, Tracker und Regel-Engine, Schreiben von Metadaten und andere Dienste dieselbe Ressource. Nutzen Sie den Benchmark als grobe Obergrenze; dimensionieren Sie per Pilotmessung.
Senkt eine Reduzierung der Analyse auf 5 Frames pro Sekunde auch die Decodierlast?
Meist nicht direkt. In H.264- und H.265-Streams hängen Zwischenframes von vorherigen Frames ab; auch wenn die Analyse nur einige Frames nutzt, muss der Decoder in den meisten Fällen alle Frames decodieren. Die Decodierlast senkt man, indem man von der Kamera einen Substream mit niedrigerer Auflösung und Bildrate bezieht.
Ist Videoanalyse mit CPU statt GPU möglich?
Bei wenigen Kameras und leichten Modellen ja. Erfolgen Decodierung und Inferenz beide auf der CPU, steigen die Kosten je Stream rasch. Erwägen Sie ein CPU-basiertes Design, wenden Sie dieselbe Pilotmessmethode auf CPU-Auslastung und Latenz an.
Kann der GPU-Server dieselbe Maschine wie der VMS-Aufzeichnungsserver sein?
Bei kleinen Installationen ja. Damit Lastspitzen der Analyse die Aufzeichnungskontinuität nicht beeinträchtigen, ist eine Trennung der Ressourcen aber vorzuziehen. Liegen Aufzeichnung und Analyse auf demselben Server, priorisieren Sie den Aufzeichnungsdienst und beobachten Sie im Lasttest auch die Schreibleistung der Festplatten.