Festplattenausfall im NVR: Symptome, RAID-Rebuild und Verlustvermeidung

Frühe Symptome eines Festplattenausfalls im NVR, Auswertung der SMART-Zähler, richtige Reihenfolge der Maßnahmen, Risiken beim RAID-Rebuild und Erkennung von Aufzeichnungslücken Schritt für Schritt.
Technische Zusammenfassung
Technologie
NVR, RAID 5, RAID 6, SMART, smartctl, mdadm, Hot Spare
Thema
Reaktion auf Festplattenausfall und Rebuild in einem laufenden Aufzeichnungssystem
Niveau
Mittel bis fortgeschritten
Voraussetzungen
  • Administratorzugriff auf das Aufzeichnungsgerät
  • RAID-Grundbegriffe
  • Linux-Kommandozeile (bei serverbasierter Aufzeichnung)
In diesem Beitrag8 Abschnitte

Das am stärksten beanspruchte Bauteil im Aufzeichnungsgerät ist die Festplatte. Sie schreibt rund um die Uhr, steht oft in einem warmen Schrank, und ihr Ausfall bleibt eventuell unbemerkt, bis jemand das Bild eines Ereignisses anfordert. Gibt es an diesem Tag kein Bild, ist nichts mehr zu machen. Dieser Leitfaden beschreibt in der Reihenfolge der Praxis die frühen Symptome eines Festplattenausfalls in einem laufenden NVR oder Aufzeichnungsserver, die richtige Reihenfolge der Maßnahmen im Störungsfall, die Risiken des RAID-Rebuilds und wie Aufzeichnungsverluste festgestellt werden. Wie das RAID-Level in der Designphase gewählt wird, ist Thema des Beitrags Wahl des RAID-Levels bei Videoaufzeichnung.

Frühe Symptome eines Festplattenausfalls

Die meisten Festplatten sterben nicht schlagartig, sondern verfallen nach und nach. Die folgenden Symptome zeigen sich meist vor dem Ausfall; die meisten werden übersehen, weil niemand hinschaut:

  • Aufzeichnungslücken: Kurze, unregelmäßige Unterbrechungen in der Zeitleiste. Treten sie in allen Kanälen gleichzeitig auf, ist nicht die Kamera, sondern Festplatte oder Speichersubsystem verdächtig.
  • Festplattenfehler im Gerätelog: Bei NVR Einträge wie „HDD error“, „record exception“ oder der Wechsel der Festplatte in den Zustand „abnormal“.
  • Langsame Wiedergabe und Suche: Dauert das Öffnen älterer Aufzeichnungen deutlich länger, kann es Lesewiederholungen auf der Festplatte geben.
  • Warnung „degraded“ im RAID-Status: Das Array läuft weiter, aber die Redundanz ist weg. Das ist kein Symptom, sondern ein Notfall.
  • Kürzere Aufzeichnungsdauer als erwartet: Fällt eine Festplatte aus dem Array oder werden bei manchen NVR defekte Bereiche deaktiviert, kann die Kapazität sinken.
  • Physische Symptome: Klickgeräusche, sich ständig wiederholende Anlaufgeräusche, Überhitzung der Festplatte.

So werden SMART-Werte ausgewertet

SMART sind die von der Festplatte selbst geführten Gesundheitszähler. Bei eingebetteten NVR erscheinen sie meist im Festplattenverwaltungsbildschirm unter „HDD detection“ oder einem ähnlichen Menü; bei Linux- oder Windows-basierten Aufzeichnungsservern werden sie mit smartmontools ausgelesen. Bei Aufzeichnungsfestplatten sind diese Attribute am nützlichsten:

ID Attribut Bedeutung Deutung
5 Reallocated_Sector_Ct In den Reservebereich verschobene Sektoren Steigende Tendenz kritisch
187 Reported_Uncorrect Nicht korrigierbare Lesefehler Wert ungleich null ernst
188 Command_Timeout Befehle mit Zeitüberschreitung Festplatten- oder Stromproblem
197 Current_Pending_Sector Unlesbare Sektoren, die auf Verschiebung warten Wichtigste Warnung vor dem Rebuild
198 Offline_Uncorrectable Beim Offline-Scan nicht korrigierbare Sektoren Wert ungleich null ernst
199 UDMA_CRC_Error_Count Übertragungsfehler an der Schnittstelle Meist Kabel oder Backplane

Attributnamen und manche IDs können je Hersteller abweichen. Achten Sie mehr auf die Tendenz als auf einen Einzelwert: Steigen die Zähler Reallocated oder Pending von Woche zu Woche, kommt die Festplatte in den Austauschplan, auch wenn das Gesamtergebnis „PASSED“ lautet. „PASSED“ sagt nur, dass die Schwelle noch nicht überschritten ist. UDMA-CRC-Fehler deuten dagegen meist nicht auf die Festplatte, sondern auf das Datenkabel oder die Backplane-Verbindung; vor Ort kommt es häufig vor, dass eine intakte Festplatte unnötig getauscht wird und das eigentliche Problem ein lockeres SATA-Kabel ist. Prüfen Sie zuerst die Verbindung.

# Allgemeine Gesundheit und Attribute
smartctl -H /dev/sda
smartctl -A /dev/sda

# Langen Selbsttest starten und Ergebnis lesen
smartctl -t long /dev/sda
smartctl -l selftest /dev/sda

# Festplatte 0 hinter einem LSI/Broadcom-MegaRAID-Controller
smartctl -a -d megaraid,0 /dev/sda

Der lange Test dauert je nach Kapazität Stunden, unter Aufzeichnungslast noch länger. Details zu den Befehlen finden Sie auf der Projektseite von smartmontools.

Erste Maßnahmen im Störungsfall

Fällt in professionellen Videoüberwachungssystemen eine Festplatte aus dem Array oder meldet der NVR einen Festplattenfehler, macht hastiges Handeln aus einem einzelnen Festplattenausfall einen Datenverlust. Panisch eine Festplatte zu ziehen, ist der teuerste Fehler. Empfohlene Reihenfolge:

  1. Zustand dokumentieren: Machen Sie Screenshots von RAID-Ansicht, Festplattenliste und Fehlerlog. Notieren Sie, in welchem Slot welche Festplatte mit welcher Seriennummer defekt ist.
  2. Andere Festplatten prüfen: Sehen Sie sich die SMART-Werte der übrigen Festplatten im Array an. Hat eine weitere Festplatte Pending- oder Uncorrectable-Sektoren, ist das Rebuildrisiko hoch; erwägen Sie zuerst den Export kritischer Aufzeichnungen.
  3. Kritische Aufzeichnungen sichern: Läuft eine Ereignisprüfung oder muss eine Aufzeichnung aufbewahrt werden, exportieren Sie sie vor Beginn des Rebuilds.
  4. Aus- und Einschalten vermeiden: Ein unnötiger Neustart des Arrays im Zustand degraded kann dazu führen, dass auch eine grenzwertig laufende Festplatte ausfällt.
  5. Richtige Ersatzfestplatte bereitstellen: Verwenden Sie eine Festplatte mit mindestens der Kapazität der defekten, vorzugsweise dasselbe Modell oder eine Festplatte der Überwachungsklasse von der Kompatibilitätsliste des Herstellers.

Festplattentausch und Rebuild

Bei eingebetteten NVR und Hardware-RAID-Controllern läuft der Vorgang meist so ab, dass die Festplatte getauscht und der Rebuild des Arrays automatisch oder per Menü gestartet wird. Bei NVR ohne Hot-Swap-Unterstützung wird das Gerät für den Festplattentausch ausgeschaltet; die Aufzeichnungsunterbrechung wird dann vorab geplant und den betroffenen Teams mitgeteilt. Bei Aufzeichnungsservern mit Linux-Software-RAID (mdadm) sind die Schritte:

# Zustand des Arrays
cat /proc/mdstat
mdadm --detail /dev/md0

# Defekte Festplatte im Array markieren und entfernen
mdadm /dev/md0 --fail /dev/sdb1 --remove /dev/sdb1

# GPT-Partitionstabelle des intakten Mitglieds (sda) auf die neue Festplatte (sdb) kopieren,
# danach der neuen Festplatte zufaellig eine neue GUID zuweisen
sgdisk -R=/dev/sdb /dev/sda
sgdisk -G /dev/sdb

# Neue Partition dem Array hinzufuegen
mdadm /dev/md0 --add /dev/sdb1

# Fortschritt des Rebuilds beobachten
watch cat /proc/mdstat

Das Partitionslayout wird nicht von der defekten Festplatte, sondern von einem intakten Mitglied des Arrays kopiert. Werden im Befehl sgdisk -R Ziel und Quelle vertauscht, wird die Partitionstabelle der intakten Festplatte zerstört; an der Konsole ist das die Zeile, die die meiste Aufmerksamkeit verlangt. Nach dem Tausch kann der Gerätename der neuen Festplatte abweichen. Prüfen Sie vor Ausführung der Befehle die Seriennummer mit der Ausgabe von ls -l /dev/disk/by-id/.

Hot-Spare-Festplatte

Eine Hot Spare ist eine im Array bereitstehende Festplatte, die bei Ausfall einer Festplatte automatisch den Rebuild startet. Sie verhindert, dass sich die Zeit im Zustand degraded so lange hinzieht, bis jemand die Warnung sieht und eine Festplatte bringt. Bei Aufzeichnungsgeräten an entfernten Standorten und wo Einsätze nachts oder am Wochenende verzögert sein können, ist sie besonders wertvoll. Auch mit Hot Spare muss eine Störungsmeldung eintreffen und die genutzte Reserve ersetzt werden. Sonst gibt es beim nächsten Ausfall keine Reserve.

Risiken während des Rebuilds

Rebuild bedeutet, dass alle verbleibenden Festplatten im Array von Anfang bis Ende gelesen werden. Während dieser Zeit:

  • Verlust einer zweiten Festplatte: RAID 5 verkraftet den Verlust einer Festplatte; fällt während des Rebuilds eine zweite aus, ist das Array verloren. RAID 6 toleriert den Verlust von zwei Festplatten. Die Neigung von Festplatten aus derselben Charge mit gleicher Laufzeit, zu ähnlichen Zeiten auszufallen, erhöht dieses Risiko.
  • Unlesbare Sektoren: Hat eine der verbleibenden Festplatten unlesbare Sektoren, lassen sich die Daten in diesem Bereich nicht rekonstruieren. Je nach Controller stoppt der Rebuild, oder der betreffende Bereich bleibt beschädigt.
  • Leistungsabfall: Rebuildlast und kontinuierliches Aufzeichnungsschreiben teilen sich dieselben Festplatten; Bildverluste oder Überlauf der Aufzeichnungswarteschlange können auftreten. Bei manchen Controllern lässt sich die Rebuildpriorität einstellen; hat Aufzeichnungskontinuität Vorrang, wird die Rebuildgeschwindigkeit gesenkt und die Dauer verlängert sich.
  • Wärme: Während des Rebuilds laufen die Festplatten unter Volllast; prüfen Sie die Schrankbelüftung.

Die Rebuilddauer hängt von Kapazität, effektiver Geschwindigkeit, Aufzeichnungslast und Speicherarchitektur ab; je länger sie dauert, desto länger das Risikofenster. RAID ersetzt keine unabhängige Sicherung der Aufzeichnungen; eine getrennte Kopie kritischer Aufzeichnungen wird gesondert geplant. Beobachten Sie während des Rebuilds die SMART-Werte der übrigen Festplatten und nehmen Sie bis zum Abschluss keine andere Wartung am Array vor. Auch kein Firmwareupdate.

Erkennung von Aufzeichnungslücken

Nach dem Ausfall muss die Frage „Was haben wir verloren?“ beantwortet werden. Methode:

  • Prüfen Sie in der Zeitleiste oder Aufzeichnungssuche der Plattform die Aufzeichnungskontinuität aller Kanäle vom Beginn der Störung bis zum Ende des Rebuilds.
  • Ermitteln Sie im Gerätelog den Zeitpunkt, an dem der Festplattenfehler zuerst auftrat. Das Problem beginnt meist vor dem Moment, in dem der Alarm bemerkt wurde.
  • Tragen Sie die Verlustzeiträume mit Kanal, Beginn und Ende in eine Tabelle ein. Kommt für diesen Zeitraum eine Ereignisprüfung, ist diese Tabelle der Nachweis, warum kein Bild geliefert werden konnte.
  • Lassen sich Aufzeichnungen im beschädigten Bereich nicht abspielen, dokumentieren Sie auch das.

Vorbeugende Kontrollen

  • Testen Sie, dass Festplatten- und RAID-Statuswarnungen per E-Mail, SNMP-Trap oder Überwachungssystem tatsächlich jemanden erreichen. Eine an ein konfiguriertes, aber ungelesenes Postfach gehende Warnung gilt nicht als Warnung.
  • Erfassen Sie SMART-Werte monatlich; achten Sie mehr auf steigende Tendenz als auf absolute Werte.
  • Bevorzugen Sie für die Videoüberwachung entwickelte Festplatten; Desktopfestplatten sind für Dauerschreiblast nicht geeignet (siehe Auswahl von Surveillance-Festplatten).
  • Halten Sie mindestens eine kompatible Ersatzfestplatte im Regal vor.
  • Überwachen Sie Schranktemperatur und USV-Zustand; plötzliche Stromausfälle schaden der Konsistenz von Festplatten und Array.
  • Prüfen Sie bei der regelmäßigen Wartung, dass die Aufzeichnungsdauer zum berechneten Wert passt; zur ausführlichen Routine siehe die Checkliste für die regelmäßige Kamerawartung.

Für Störungsbehebung und Kapazitätserweiterung siehe unsere Seite NVR-Festplattenausfall und Kapazitätserweiterung, für regelmäßige Kontrollen die Leistung regelmäßige Wartung und Support.

Häufig gestellte Fragen

Gehen Aufzeichnungen verloren, wenn eine NVR-Festplatte ausfällt?

Liegt die Festplatte in einem RAID-Array mit Redundanz, bleiben die Aufzeichnungen bei einem einzelnen Festplattenausfall erhalten; das Array läuft im Zustand degraded weiter. Bei NVR ohne RAID gehen Aufzeichnungen auf der defekten Festplatte meist verloren, und die Kanäle, die auf diese Festplatte schrieben, bleiben ohne Aufzeichnung.

Ist eine Festplatte intakt, wenn SMART PASSED meldet?

Nicht immer. Das allgemeine Gesundheitsergebnis schlägt nur fehl, wenn Schwellwerte überschritten sind. Steigen die Zähler Reallocated, Current Pending und Offline Uncorrectable, kommt die Festplatte in den Austauschplan, auch wenn sie PASSED meldet.

Läuft die Aufzeichnung während des Rebuilds weiter?

Bei den meisten NVR und RAID-Controllern ja; da sich die Rebuildlast die Festplatten teilt, können aber Bildverluste oder Aufzeichnungsverzögerungen auftreten. Lässt sich die Rebuildpriorität einstellen, wird zwischen Aufzeichnungskontinuität und Rebuilddauer abgewogen.

Kann statt der defekten Festplatte ein anderes Modell eingesetzt werden?

Verwendbar ist eine Festplatte der Überwachungsklasse mit mindestens der Kapazität der defekten, die auf der Kompatibilitätsliste des Geräteherstellers steht. Dasselbe Modell ist keine Pflicht, abweichende Leistungsmerkmale können aber die Gesamtleistung des Arrays beeinflussen.

Support

Kontaktieren Sie uns für Support oder eine Bestandsaufnahme zu diesem Thema.

Kontaktformular
[email protected]

Eretek Videoüberwachung

IP-Kameras, Aufzeichnung und zentrale Verwaltung. Tote Winkel, Aufbewahrungsdauer und Kameranetz planen wir nach dem Risiko des Standorts.

Wissenszentrum

Weitere Beiträge