Dimensionierung von GPU-Servern für Videoanalyse: Streams, FPS und Modell

Wie wird die Kapazität eines GPU-Servers für Videoanalyse berechnet? Decodierlast, Analyse-FPS, Modellkette, Beispielrechnung, Pilotmessung mit nvidia-smi und N+1-Redundanz.
Technische Zusammenfassung
Technologie
NVIDIA GPU, NVDEC, nvidia-smi, FFmpeg, DeepStream, RTSP, H.264/H.265
Thema
GPU-Kapazitätsrechnung und Redundanz bei serverbasierter Videoanalyse
Niveau
Fortgeschritten
Voraussetzungen
  • Wahl von Analysesoftware und Modell
  • Kenntnisse zu Streamprofilen und Codecs der Kameras
  • Mindestens ein GPU-Server für den Pilot
In diesem Beitrag8 Abschnitte

Der teuerste Fehler bei serverbasierter Videoanalyse ist, die GPU-Kapazität nach dem Prospektwert „N Kameras pro Server“ zu beschaffen. Die tatsächliche Kapazität bestimmen gemeinsam Streamzahl, Auflösung, Codec, Analysebildrate, Modellkomplexität und andere Dienste auf demselben Server. Der Prospekt kennt nichts davon für Ihren Standort. Im Folgenden beschreiben wir der Reihe nach, auf welche Variablen wir bei der Dimensionierung von GPU-Servern für Videoanalyse achten, eine Beispielrechnung, die Messmethode im Pilot und das redundante Design.

Die Entscheidung Edge oder Server ist hier nicht Thema; diesen Vergleich bietet der Beitrag Edge-Analyse oder serverbasierte Analyse. Alles Folgende setzt voraus, dass die serverbasierte Architektur gewählt ist.

Variablen, die die Kapazität bestimmen

Auf dem Analyseserver durchläuft jeder Kamerastream diese Kette: RTSP-Empfang und Parsing, Decodierung, Skalierung und Farbkonvertierung, Modellinferenz, Tracking, Regelbewertung sowie Schreiben von Metadaten und Ereignissen. Ein Engpass kann an jedem dieser Glieder entstehen. Das schwächste Glied bestimmt die Kapazität.

Unterschiedlich Betroffene Ressource Hinweis
Streamzahl Alle Annahme linearen Wachstums im Pilot zu prüfen
Auflösung und Codec Hardwaredecoder, GPU-Speicher H.265-Unterstützung hängt von der GPU-Generation ab
Bildrate der Kamera Hardwaredecoder Wird unabhängig von der Analyserate decodiert
Analysebildrate GPU-Rechenleistung Wird nach Regeltyp festgelegt
Modell und Eingabegröße GPU-Rechenleistung, Speicher Mehrere Modellketten vervielfachen die Last
Tracking und Regeln CPU Steigt in belebten Szenen
Schreiben von Metadaten und Ereignissen Festplatte, Datenbank Deutlich bei aktiver Attributsuche

Decodierlast

Die meisten Dimensionierungen konzentrieren sich auf die Modellinferenz und übersehen die Decodierung. Dabei ist in großen Installationen oft der Hardware-Videodecoder die erste ausgelastete Ressource. Bei NVIDIA-GPUs übernehmen das von den Recheneinheiten getrennte NVDEC-Einheiten; Zahl der NVDEC-Einheiten und unterstützte Codecs variieren je GPU-Modell. Für aktuelle Angaben ist die GPU-Unterstützungsmatrix für Video-Encode/Decode von NVIDIA zu prüfen.

Die Decodierlast ist grob proportional zur Zahl der pro Sekunde decodierten Pixel. Beispielrechnung (64 Kameras):

  • Hauptstream 1920 × 1080, 25 Frames/s: 64 × 1920 × 1080 × 25 ≈ 3,3 Milliarden Pixel/s.
  • Substream 1280 × 720, 10 Frames/s: 64 × 1280 × 720 × 10 ≈ 0,59 Milliarden Pixel/s.

Der Unterschied beträgt mehr als das Fünffache. Ist die Modelleingabe ohnehin klein (etwa 640 Pixel Breite), verschwendet das Decodieren und Verkleinern des Hauptstreams Kapazität. Ein eigenes Streamprofil für die Analyse zu definieren, ist in den meisten Projekten die wirksamste Optimierung; den Profilaufbau beschreiben wir im Beitrag Mehrfachstreams und Streamprofile bei Kameras. Eine Grenze gibt es: Die Substream-Auflösung darf die Pixelgröße ferner Ziele für die Analyse nicht unzureichend machen.

Ein weiteres oft übersehenes Detail: In H.264 und H.265 referenzieren Zwischenframes frühere Frames. Auch wenn die Analyse 5 Frames pro Sekunde nutzt, muss der Decoder meist alle Frames des Streams decodieren. Setzen Sie in die Decodierrechnung nicht die Analysebildrate, sondern die von der Kamera gesendete Bildrate. Den Einfluss der Codec-Unterschiede auf die Rechenlast beschreibt der Beitrag Aufzeichnungsleistung von H.265 und H.264.

Analyse-FPS und Modellkomplexität

Die Inferenzlast ist das Produkt aus der Gesamtzahl der Inferenzen pro Sekunde und den Kosten je Modell. 64 Kameras mit 5 Analyseframes je Kamera ergeben 320 Inferenzen pro Sekunde. Drei Faktoren vergrößern diesen Wert:

  • Modellkette: Bei einer PSA-Analyse, die zuerst Personen erkennt und dann je Person Helm/Weste klassifiziert, steigt die Last des zweiten Modells mit der Zahl der Personen in der Szene. Dimensionieren Sie ein System, das in leerer Szene leicht und beim Schichtwechsel schwer läuft, nicht nach dem Durchschnitt, sondern nach dem belebtesten Moment.
  • Eingabegröße: Die Eingabegröße für ferne Ziele zu vergrößern oder das Bild in Kacheln zu zerlegen, erhöht die Inferenzkosten grob proportional zur Pixelzahl.
  • Analyserate: Langsame Ereignisse wie beim virtuellen Zaun kommen mit niedriger Analyserate aus; schnelle Fahrzeuge und Näherungswarnungen brauchen eine höhere. Definieren Sie statt einer einheitlichen Analyserate für alle Kameras Profile nach Regeltyp.

GPU-Speicher ist eine eigene Grenze: Decoderpuffer je Stream, Modellgewichte und Batch-Puffer belegen Speicher. Ist der Speicher voll, obwohl Rechenkapazität reicht, lässt sich kein Stream mehr hinzufügen. Die Auslastungsgrafik ist grün, der Stream öffnet sich trotzdem nicht.

Beispielrechnung zur Dimensionierung

Die folgenden Werte sind zur Veranschaulichung der Methode konstruiert; reale Werte sind im Pilot mit der genutzten GPU, dem Modell und der Software zu messen. Ziel: 64 Kameras, Substream 1280 × 720 / 10 Frames/s, Analyserate 5 Frames/s, Personen- und Fahrzeugerkennung.

  1. Pilotmessung: Auf einem Server mit einer GPU laufen 16 Streams echter Kameras. Zur Spitzenzeit gemessene Werte: GPU-Rechenauslastung durchschnittlich 45 %, NVDEC-Auslastung 30 %, GPU-Speicher 9 von 24 GB.
  2. Zielauslastung: Für Lastspitzen und Wachstum werden höchstens 70 % Auslastung je Ressource angestrebt.
  3. Geschätzte Streamgrenze je Ressource (lineare Annahme): Rechenleistung 16 × 70 / 45 ≈ 24; Decoder 16 × 70 / 30 ≈ 37; Speicher 16 × (0,7 × 24) / 9 ≈ 29. Der Engpass ist die Rechenleistung, etwa 24 Streams je GPU.
  4. GPU-Anzahl: 64 / 24 ≈ 2,7, also mindestens 3 GPUs.
  5. Prüfung: Die lineare Annahme gilt wegen Batch- und Speicherverhalten nicht immer. Mit 24 Streams wird eine zweite Messung durchgeführt und die Schätzung bestätigt.

Berücksichtigen Sie auch das Netz: Nimmt man je Substream etwa 1,5 Mbit/s an, bedeuten 64 Streams rund 96 Mbit/s dauerhaften Empfang. Ist der Analyseserver vom Aufzeichnungsserver getrennt, sendet jede Kamera gleichzeitig an zwei Clients. Manche Kameras begrenzen die Zahl gleichzeitiger Streams; die zweite Verbindung wird abgelehnt, oder die Einstellungen des bestehenden Streams ändern sich. Prüfen Sie diese kameraseitige Grenze und die Netzlast vor der Installation.

Messmethode im Pilot

Führen Sie den Pilot mit Kameras durch, die aus dem realen Standort gewählt sind und die Szenenvielfalt repräsentieren, mit der Softwareversion und dem Regelsatz, die im Produktivbetrieb genutzt werden. Die Messung sollte mindestens einen ganzen Tag dauern und die Spitzenzeiten enthalten. Bei NVIDIA-GPUs werden die Grundmessungen mit nvidia-smi erhoben:

# GPU-Rechenleistung (sm), Speicher, Encoder- und Decoderauslastung; Intervall 5 s
nvidia-smi dmon -s u -d 5

# Speicher und Temperatur; als CSV protokollierbar
nvidia-smi --query-gpu=timestamp,index,utilization.gpu,memory.used,memory.total,temperature.gpu \
  --format=csv -l 5 >> gpu_pilot.csv

Ob ein einzelner Stream per Hardware decodiert werden kann und mit welcher tatsächlichen Bildrate, können Sie schnell mit FFmpeg testen (FFmpeg muss mit CUDA-Unterstützung kompiliert sein; der RTSP-Pfad hängt vom Hersteller ab):

ffmpeg -hide_banner -hwaccel cuda -rtsp_transport tcp \
  -i "rtsp://benutzer:[email protected]:554/<substream-pfad>" \
  -t 60 -f null -

Schauen Sie bei der Messung nicht nur auf die GPU. Erfassen Sie auch: CPU-Auslastung, die von der Analysesoftware gemeldete verarbeitete Bildrate und übersprungene Frames, Latenz der Ereigniserzeugung (Zeit zwischen Ereignis und Eintreffen des Alarms im VMS), Schreibgeschwindigkeit der Metadatendatenbank. Werden bei niedriger GPU-Auslastung Frames übersprungen, liegt der Engpass bei CPU, Netz oder den Warteschlangeneinstellungen der Software. Das Erste, was man in der Konsole prüft, ist der Zähler übersprungener Frames.

Soll die Videoanalyse-Last auf einen zentralen Server verlagert werden, messen Sie gleichzeitige Streams und Speicherbedarf im Rahmen der Beratung zu Serverhardware und Kapazität.

Skalierung und Redundanz

In Videoanalysesystemen von Unternehmen läuft bei Ausfall des Analyseservers die Aufzeichnung weiter, die Alarme stoppen. Möglicherweise merkt es niemand. In Szenarien wie Perimeterschutz oder Arbeitsschutzwarnungen ist das nicht akzeptabel. Treffen Sie die Redundanzentscheidung mit einer Frage: Reicht die verbleibende Kapazität bei Verlust eines Servers für alle Kameras? Nimmt man im obigen Beispiel 24 Streams je GPU an:

Design Gesamtkapazität Bei Verlust eines Servers Für 64 Kameras
2 Server × 2 GPUs 96 Streams 48 Streams Unzureichend
2 Server × 3 GPUs 144 Streams 72 Streams Ausreichend
3 Server × 2 GPUs 144 Streams 96 Streams Ausreichend, mit Wachstumsreserve

Auf welchen Server Streams im Ausfall verlagert werden, hängt von der Fähigkeit der Analysesoftware ab: Manche Plattformen verteilen automatisch neu, bei anderen ist eine manuelle Zuweisung zum Reserveserver nötig. Prüfen Sie regelmäßig, dass Regel- und Zonenkonfigurationen auch auf dem Reserveserver aktuell sind; ein Reserveserver, der mit einem alten Regelsatz hochfährt, erzeugt Fehlalarme. Den Failover-Aufbau auf VMS-Seite beschreibt der Beitrag VMS-Hochverfügbarkeit und N+1-Design; beziehen Sie die Analyseserver in diesen Aufbau ein. Im NVIDIA-Ökosystem ist das Entwicklerhandbuch zu DeepStream die Primärquelle für Batch- und Mehrstream-Einstellungen.

Häufige Fehler

  • Analyse mit dem Hauptstream: Ist die Modelleingabe klein, verbraucht das Decodieren eines 4K- oder 1080p-Hauptstreams unnötig Decodierkapazität.
  • Dimensionierung nach Durchschnittslast: Eine Rechnung mit Werten, die nachts in leerer Szene gemessen wurden, führt beim Schichtwechsel zu übersprungenen Frames.
  • Speicher vergessen: Während die Rechenkapazität ausreichend wirkt, füllt sich der GPU-Speicher, und kein Stream lässt sich mehr hinzufügen.
  • Consumer-GPUs wie Rechenzentrumsprodukte bewerten: Prüfen Sie die Herstellerbedingungen zu Dauerbetrieb, Kühlung, Treiberlizenz und Virtualisierungsunterstützung.
  • Thermische Grenzen: Stark ausgelastete GPUs erzeugen Wärme im Schrank; sinkt die Taktrate wegen der Temperatur, fällt die Kapazität unter den Pilotwert. Ein Pilot im Winter täuscht im Sommer.
  • Keine Wachstumsreserve lassen: Kommen neue Regeln, weitere Modelle oder Kameras hinzu, reicht die Kapazität nicht; eine Zielauslastung um 70 Prozent lässt diese Reserve.

Serverdimensionierung, Wahl der Analysesoftware und Regeleinrichtung lassen sich im Rahmen der Installation von KI-Videoanalyse, Integration der Analyse ins VMS und Serverarchitektur zusammen mit der Arbeit an Unternehmens-VMS-Plattformen planen.

Häufig gestellte Fragen

Warum hält die Streamzahl aus dem Hersteller-Benchmark vor Ort nicht?

Ein Benchmark wird meist mit einem bestimmten Modell, einer bestimmten Eingabegröße, einer Batch-Einstellung und oft mit Video aus einer lokalen Datei gemessen. Vor Ort teilen sich RTSP-Empfang, unterschiedliche Codecs und Auflösungen, Tracker und Regel-Engine, Schreiben von Metadaten und andere Dienste dieselbe Ressource. Nutzen Sie den Benchmark als grobe Obergrenze; dimensionieren Sie per Pilotmessung.

Senkt eine Reduzierung der Analyse auf 5 Frames pro Sekunde auch die Decodierlast?

Meist nicht direkt. In H.264- und H.265-Streams hängen Zwischenframes von vorherigen Frames ab; auch wenn die Analyse nur einige Frames nutzt, muss der Decoder in den meisten Fällen alle Frames decodieren. Die Decodierlast senkt man, indem man von der Kamera einen Substream mit niedrigerer Auflösung und Bildrate bezieht.

Ist Videoanalyse mit CPU statt GPU möglich?

Bei wenigen Kameras und leichten Modellen ja. Erfolgen Decodierung und Inferenz beide auf der CPU, steigen die Kosten je Stream rasch. Erwägen Sie ein CPU-basiertes Design, wenden Sie dieselbe Pilotmessmethode auf CPU-Auslastung und Latenz an.

Kann der GPU-Server dieselbe Maschine wie der VMS-Aufzeichnungsserver sein?

Bei kleinen Installationen ja. Damit Lastspitzen der Analyse die Aufzeichnungskontinuität nicht beeinträchtigen, ist eine Trennung der Ressourcen aber vorzuziehen. Liegen Aufzeichnung und Analyse auf demselben Server, priorisieren Sie den Aufzeichnungsdienst und beobachten Sie im Lasttest auch die Schreibleistung der Festplatten.

Support

Kontaktieren Sie uns für Support oder eine Bestandsaufnahme zu diesem Thema.

Kontaktformular
[email protected]

Eretek Videoüberwachung

IP-Kameras, Aufzeichnung und zentrale Verwaltung. Tote Winkel, Aufbewahrungsdauer und Kameranetz planen wir nach dem Risiko des Standorts.

Wissenszentrum

Weitere Beiträge