VMS-Hochverfügbarkeit: Failover-Server und N+1-Design

VMS-Failover-Design: N+1 und Hot-Standby-Aufzeichnungsserver, Redundanz von Verwaltung und SQL, Berechnung der Aufzeichnungslücke beim Failover und Testreihenfolge vor Ort.
Technische Zusammenfassung
Technologie
VMS, Failover-Aufzeichnungsserver, N+1, Windows Server Failover Cluster, SQL Server Always On, Edge-Aufzeichnung
Thema
Hochverfügbarkeitsdesign auf Aufzeichnungs- und Verwaltungsebene
Niveau
Mittel bis fortgeschritten
Voraussetzungen
  • Kenntnisse zur Architektur von Unternehmens-VMS
  • Grundbegriffe zu Server und Speicher
  • Topologie des Kameranetzes
In diesem Beitrag8 Abschnitte

Fällt ein Aufzeichnungsserver aus, stoppt auch die Aufzeichnung aller daran angebundenen Kameras. Die Zeit, bis der Bediener in der Live-Ansicht den schwarzen Bildschirm bemerkt, ist verlorenes Bild und kommt nicht zurück. Das Hochverfügbarkeitsdesign behandelt dieses Risiko nicht in einem Posten, sondern getrennt auf den Ebenen Failover des Aufzeichnungsservers, Verwaltungsserver und Datenbank, Speicher und Netzwerk. Im Folgenden beschreiben wir, wann welches Failover-Modell gewählt wird, wie die Aufzeichnungslücke bei der Übernahme berechnet und geschlossen wird und wie das Design vor Ort getestet wird. Die Wahl der Plattform selbst ist Thema des Beitrags VMS oder NVR.

Wo die Single Points of Failure liegen

Man beginnt mit einem Inventar. Für jede Komponente der Kette von der Kamera bis zum Ansichtsclient wird eine Frage gestellt: Was steht still, wenn sie ausfällt? In einem typischen Unternehmens-VMS sieht die Tabelle ungefähr so aus:

Komponente Auswirkung des Ausfalls Redundanzmethode
Aufzeichnungsserver Aufzeichnung der angebundenen Kameras stoppt Failover-Server, Doppelaufzeichnung
Verwaltungsserver Anmeldung, Konfiguration, manche Alarme Cluster oder Herstellerredundanz
Datenbank (SQL) Verwaltungsebene funktioniert nicht Cluster, Always On, regelmäßige Sicherung
Speicherarray/Controller Keine Aufzeichnung kann geschrieben werden Doppelcontroller, RAID, zweites Ziel
Access-Switch der Kameras Angebundene Kameras liefern kein Bild Edge-Aufzeichnung; Switchredundanz begrenzt
Backbone-/Serverswitch Verbindung zwischen Server und Kameras bricht ab Stack/MLAG, doppelter Uplink
Strom (USV, PDU) Schrank steht komplett Doppeltes Netzteil, A/B-Einspeisung

Die schwächste Zeile der Tabelle liegt meist zwischen Kamera und Access-Switch. Die Kamera hängt an einem Port; physische Redundanz wird auf dieser Ebene praktisch nicht aufgebaut. Stattdessen zeichnet die Kamera auf ihre SD-Karte auf, und die Lücke wird nach Wiederkehr der Verbindung ins VMS gefüllt. Das ist auch die häufige Lücke: Die Serverseite ist doppelt ausgelegt, die Kameraseite gar nicht bedacht.

Failover-Modelle für Aufzeichnungsserver

Unternehmens-VMS bieten Redundanz für Aufzeichnungsserver unter unterschiedlichen Namen, aber nach ähnlicher Logik. In den höheren Versionen von Milestone XProtect gibt es Cold- und Hot-Standby-Failover-Aufzeichnungsserver, im Genetec Security Center eine Liste von Reserve-Archivern und Optionen für gleichzeitige redundante Archivierung. Prüfen Sie in der aktuellen Herstellerdokumentation, welche Option in welcher Lizenzstufe verfügbar ist; ein in der Angebotsphase übersehener Lizenzposten ändert später das Design.

Modell Arbeitsweise Aufzeichnungslücke Kosten
Cold Standby (N+1) Reserveserver verbindet sich nach dem Ausfall mit den betroffenen Kameras Erkennungs- + Übernahmezeit Niedrig
Hot Standby (1+1) Reserve wartet mit der Konfiguration eines einzelnen Servers bereit Kürzer Mittel
Gleichzeitige Doppelaufzeichnung Zwei Server zeichnen dieselben Kameras dauerhaft auf Keine Hoch (doppelter Speicher)
Virtualisierungs-HA VM des Aufzeichnungsservers wird auf einen anderen Host verlagert und neu gestartet Startzeit der VM Abhängig von der Infrastruktur

Cold Standby und N+1

Bei N+1 teilen sich mehrere Aufzeichnungsserver eine Reserve. Die Reserve zeichnet normalerweise nicht auf; kommt vom Primärserver kein Lebenszeichen, verbindet sie sich mit dessen Kameras und beginnt aufzuzeichnen. Kehrt der Primärserver zurück, erfolgt das Failback; manche VMS verschieben die während des Failovers auf die Reserve geschriebenen Aufzeichnungen in den Speicher des Primärservers und erstellen eine einzige Zeitleiste, andere hinterlassen zwei getrennte Teile. Die Grenze des Modells ist klar: Fallen zwei Primärserver gleichzeitig aus, übernimmt die Reserve nur einen. Ein Stromausfall im selben Schrank ist genau dieses Szenario. Deshalb darf der Reserveserver nicht denselben Schrank und dieselbe USV wie die Primärserver nutzen.

Steht der Reserveserver im selben Schrank, existiert N+1 nur auf dem Papier.

Hot Standby

Bei Hot Standby wird der Reserveserver einem einzigen Primärserver zugewiesen und hält dessen Konfiguration vorgeladen. Die Zeit für Kameraverbindung und Streamstart verkürzt sich, die Lücke wird kleiner. Das richtige Modell für Server mit Kameras, bei denen keine Aufzeichnungsunterbrechung akzeptiert wird, etwa Zugänge, Tresorräume oder Produktionslinien. Der Preis ist eigene Hardware und Lizenz für jeden Primärserver.

Gleichzeitige Doppelaufzeichnung

Zwei unabhängige Server zeichnen dieselbe Kamera gleichzeitig auf. Die Kamera erzeugt entweder zwei getrennte Unicast-Streams, oder es wird Multicast genutzt. Ein zweiter Unicast-Stream belastet Kameraprozessor und Uplink zusätzlich; bei alten oder Einstiegskameras zeigt sich diese Last als Bildverlust. Da sich der Speicher verdoppelt, wird Doppelaufzeichnung meist nicht auf das ganze System, sondern auf die kritische Kameragruppe angewendet. Um die Netzlast vorab zu berechnen, nutzen Sie die Methode aus dem Beitrag Bandbreitenberechnung im Kameranetz.

HA auf Virtualisierungsebene

Läuft der Aufzeichnungsserver in einer VM, startet die HA-Funktion des Hypervisors (Hyper-V Failover Cluster, vSphere HA, Proxmox HA) die VM bei Hostausfall auf einem anderen Host neu. Das ersetzt nicht das eigene Failover des VMS. Während die VM startet und der Aufzeichnungsdienst hochfährt, gibt es keine Aufzeichnung. Hypervisor-HA reagiert standardmäßig nur auf Hostausfälle; ein Hängen des Aufzeichnungsdienstes in der VM sieht es nicht, solange VM-/Anwendungsüberwachung nicht gesondert konfiguriert ist. An der Konsole ist alles grün, während die Aufzeichnung seit Minuten steht. Zudem müssen dauerhaft hohe Schreiblast und gemeinsamer Speicher von Anfang an Input des Clusterdesigns sein; später ergänzte Aufzeichnungs-VMs beeinträchtigen auch die übrigen Workloads des Clusters. Zu den allgemeinen Regeln der Clusterplanung siehe den Beitrag Planung eines Hyper-V Failover Clusters.

Redundanz von Verwaltungsserver und Datenbank

Der Verwaltungsserver trägt Benutzeranmeldung, Autorisierung, Kamerakonfiguration und Regel-Engine. Da Aufzeichnungsserver bei den meisten Unternehmens-VMS die Konfiguration im lokalen Cache halten, läuft die Aufzeichnung bei Ausfall des Verwaltungsservers weiter. Bediener können sich aber eventuell nicht neu anmelden, Alarm-Workflows und zentrale Ereignisregeln funktionieren eventuell nicht. Ein Bediener in der Nachtschicht, der seinen Client neu startet, kommt nicht mehr ins System. Dieses Verhalten variiert von Hersteller zu Hersteller; testen Sie es in der Designphase in Ihrem eigenen System und halten Sie das Ergebnis fest.

Redundanzoptionen lassen sich in drei Gruppen teilen:

  • Betriebssystemcluster: Der Verwaltungsdienst läuft als Rolle auf einem Windows Server Failover Cluster. Prüfen Sie, in welcher Version und Lizenz der Hersteller diese Struktur unterstützt.
  • Integrierte Redundanz des Herstellers: Manche Plattformen bieten für die Verwaltungs-/Verzeichnisrolle eine eigene Failover-Liste und benötigen keine Clusterinfrastruktur.
  • Datenbankredundanz: Konfigurations- und Ereignisdatenbank liegen meist auf Microsoft SQL Server. In kritischen Installationen kann SQL Server Always On oder eine Failover Cluster Instance genutzt werden; Mindestanforderung sind regelmäßige Vollsicherung und getestete Wiederherstellung. Ausgangspunkt für Always On Availability Groups ist die Microsoft-Dokumentation.

Dass die Datenbank klein ist, macht sie nicht unwichtig. Dort liegen Kameraliste, Benutzerrollen, Aufzeichnungsregeln und Aufbewahrungseinstellungen. Geht diese Datenbank verloren, dauert der Neuaufbau des Systems Tage, auch wenn die Videodateien auf der Festplatte liegen. Vor Ort häufig: ein mit SQL Express aufgesetzter Verwaltungsserver ohne jemals erstellte Sicherung, dessen Dienst stoppt, sobald die Festplatte voll ist.

Aufzeichnungslücke beim Failover

Bei Cold oder Hot Standby ist eine Lücke unvermeidlich; die Frage ist ihre Größe. Die Lücke besteht aus vier Teilen: Intervall der Zustandsprüfung und Zahl aufeinanderfolgender Fehlschläge bis zum Failover, Laden der Konfiguration durch den Reserveserver, Aufbau der RTSP-Sitzungen mit den Kameras und Eintreffen des ersten I-Frames. Letzteres wird in den meisten Rechnungen vergessen. Ein Kamerastream lässt sich ohne I-Frame nicht decodieren; eine lange GOP verlängert die Lücke um einige Sekunden.

Beispielrechnung: Erfolgt die Zustandsprüfung alle 10 Sekunden und wird das Failover nach drei aufeinanderfolgenden Fehlschlägen ausgelöst, dauert die Erkennung bis zu 30 Sekunden. Braucht der Reserveserver 20 Sekunden für die Verbindung mit 60 Kameras und beträgt die GOP-Länge 4 Sekunden, nähert sich die Gesamtlücke einer Minute. Häufigere Zustandsprüfungen verkürzen die Zeit; zu aggressive Einstellungen lösen aber bei kurzen Netzschwankungen unnötige Failover aus, und jede unnötige Übernahme erzeugt ihre eigene Lücke. Das Gleichgewicht findet man durch Tests.

Es gibt zwei Wege, die Lücke zu schließen:

  1. Gleichzeitige Doppelaufzeichnung: Es entsteht keine Lücke; der Preis liegt in Speicher und Netz.
  2. Nachfüllen durch Edge-Aufzeichnung: Die Kamera zeichnet dauerhaft oder bei Verbindungsabbruch auf die SD-Karte auf; das VMS holt den fehlenden Zeitraum nach Wiederkehr der Verbindung von der Kamera. Sowohl VMS als auch Kamera müssen das unterstützen; Details im Beitrag Edge-Aufzeichnung und ANR.

Redundanz von Speicher und Netzwerk

Ist der Speicher ein Single Point of Failure, verliert das Failover des Aufzeichnungsservers seinen Sinn. Wohin der Reserveserver schreibt, steht im Zentrum des Designs. Im Cold-Standby-Modell schreibt der Reserveserver meist auf seinen eigenen lokalen Speicher; dann muss seine Kapazität die Daten abdecken, die der größte zu übernehmende Primärserver während der längsten erwarteten Failover-Dauer erzeugt. Nutzen die Primärserver ein gemeinsames SAN, muss das SAN Doppelcontroller haben und per Multipath an die Server angebunden sein.

Netzseitig werden Aufzeichnungsserver mit mindestens zwei physischen Verbindungen, möglichst an zwei verschiedene Switches, an Kamera-VLAN und Speichernetz angebunden. Eine Stack- oder MLAG-Struktur der Core-Switches erhält bei Ausfall eines Switches den Zugriff des Servers. Zwei NICs am selben Switch schützen nur gegen Kabelfehler. Anbindungsarten für Speicher und Multipath-Design beschreibt der Beitrag iSCSI, NAS und DAS im Vergleich ausführlich.

Bei der Stromversorgung gilt dieselbe Logik. Jedes Netzteil eines Servers mit doppeltem Netzteil sollte an eine eigene PDU, möglichst an eine eigene USV angeschlossen sein. Hängen beide Netzteile an derselben PDU, sind Sie nur gegen einen Netzteilausfall geschützt. Fällt die Einspeisung, fallen beide zusammen.

Failover-Testverfahren

In professionellen Kamerasystemen bleibt Hochverfügbarkeit eine Annahme, bis sie getestet ist. Die folgende Reihenfolge lässt sich im Wartungsfenster an einem laufenden, aufzeichnenden System anwenden:

  1. Ausgangszustand dokumentieren: Dokumentieren Sie, welche Kamera auf welchem Server aufgezeichnet wird, dass die Serveruhren per NTP synchron sind und alle Kameras aufzeichnen.
  2. Sichtbare Zeitreferenz aufstellen: Stellen Sie ins Sichtfeld der Testkamera ein Display oder eine Uhr mit Sekundenanzeige. Die Lücke am Bild zu messen, ist verlässlicher als Zeitstempel in Logs.
  3. Ausfall realistisch erzeugen: Aufzeichnungsdienst stoppen, Netzwerkkabel des Servers ziehen und Strom abschalten lösen verschiedene Erkennungswege aus. Testen Sie mindestens zwei; nur den Dienst zu stoppen, testet das einfachste Szenario.
  4. Übernahme messen: Notieren Sie den Zeitpunkt der Failover-Auslösung, den Zeitpunkt des ersten aufgezeichneten Bildes auf dem Reserveserver und den Zeitpunkt, an dem die Live-Ansicht zurückkehrt.
  5. Funktionen während des Failovers testen: Führen Sie Live-Ansicht, Wiedergabe, Alarm und Export aus, während der Reserveserver aktiv ist.
  6. Failback testen: Bringen Sie den Primärserver zurück; prüfen Sie, ob die Aufzeichnungen zusammengeführt werden und ob es in der Zeitleiste Überschneidungen oder eine zweite Lücke gibt. Die Failback-Lücke ist der am häufigsten übersehene Punkt.
  7. Nachfüllen bestätigen: Wird Edge-Aufzeichnung genutzt, bestätigen Sie durch Abspielen, dass die Lücke von der Kamera gefüllt wurde.
  8. Ergebnis dokumentieren: Vergleichen Sie die gemessene Lücke mit dem erwarteten Wert und fügen Sie sie dem Testprotokoll hinzu.

Dieselben Schritte lassen sich auch bei der Projektabnahme nutzen; den allgemeinen Rahmen des Abnahmetests beschreibt der Beitrag Abnahmetest für Kameraprojekte.

Checkliste zum Entwurf

  • Für jede Kameragruppe ist die akzeptable Dauer der Aufzeichnungslücke schriftlich definiert.
  • Für kritische Kameras wurde über Doppelaufzeichnung oder Nachfüllen per Edge-Aufzeichnung entschieden.
  • Der N+1-Reserveserver teilt weder Schrank noch USV mit den Primärservern.
  • Die Speicherkapazität des Reserveservers wurde nach der längsten erwarteten Failover-Dauer berechnet.
  • Dass die Aufzeichnung bei Ausfall des Verwaltungsservers weiterläuft, wurde getestet; betroffene Funktionen sind dokumentiert.
  • Das Sicherungs- und Wiederherstellungsverfahren für die VMS-Datenbank wurde tatsächlich erprobt.
  • Speicher mit Doppelcontroller und per Multipath angebunden, oder der Reserveserver schreibt auf unabhängigen Speicher.
  • Server an zwei Switches und zwei getrennten Stromeinspeisungen angeschlossen.
  • Failover- und Failback-Test wurde bei der Abnahme durchgeführt, die jährliche Wiederholung ist terminiert.
  • Failover-Ereignisse kommen als Alarm im Überwachungssystem an; ein stilles Failover bleibt nicht monatelang unbemerkt.

Der letzte Punkt wirkt klein, ist es aber nicht. Ein unbemerktes Failover bedeutet, beim zweiten Ausfall ohne Reserve dazustehen. Den Umfang für Design und Test der Redundanz auf Aufzeichnungs- und Verwaltungsebene finden Sie auf der Leistungsseite NVR/VMS-Redundanz und Hochverfügbarkeit.

Häufig gestellte Fragen

Gehen Aufzeichnungen verloren, während der Failover-Aufzeichnungsserver übernimmt?

Bei Cold- und Hot-Standby-Modellen ja. Zwischen Erkennen des Ausfalls und Verbindung des Reserveservers mit den Kameras bleibt eine Lücke; dieses Fenster kann von einigen Sekunden bis zu einigen Minuten reichen. Es gibt zwei Wege, die Lücke zu schließen: gleichzeitige Doppelaufzeichnung oder Nachfüllen der Aufzeichnung von der SD-Karte der Kamera (Edge-Aufzeichnung) ins VMS.

Was ist der Unterschied zwischen N+1- und 1+1-Failover?

Im 1+1-Modell hat jeder Aufzeichnungsserver seine eigene Reserve. Im N+1-Modell teilen sich mehrere Aufzeichnungsserver eine Reserve. N+1 braucht weniger Hardware, fallen aber zwei Server gleichzeitig aus, wird nur einer übernommen.

Stoppt die Aufzeichnung, wenn der Verwaltungsserver ausfällt?

Bei den meisten Unternehmens-VMS nicht; Aufzeichnungsserver halten die Konfiguration in einem lokalen Cache und zeichnen weiter auf. Betroffen sind Client-Anmeldung, Konfigurationsänderungen und manche Alarmfunktionen. Das Verhalten variiert je Hersteller; testen und dokumentieren Sie es in Ihrem eigenen System.

Wie oft sollte ein Failover-Test durchgeführt werden?

Einmal bei der Installation als Teil des Abnahmetests, danach mindestens jährlich. Wiederholt werden sollte er auch nach einem Hauptversionsupgrade des VMS, einem Tausch der Serverhardware oder einer Änderung der Netztopologie. Tragen Sie die bei jedem Test gemessene Dauer der Aufzeichnungslücke ins Protokoll ein.

Support

Kontaktieren Sie uns für Support oder eine Bestandsaufnahme zu diesem Thema.

Kontaktformular
[email protected]

Eretek Videoüberwachung

IP-Kameras, Aufzeichnung und zentrale Verwaltung. Tote Winkel, Aufbewahrungsdauer und Kameranetz planen wir nach dem Risiko des Standorts.

Wissenszentrum

Weitere Beiträge