Über welchen Weg der Aufzeichnungsserver an den Speicher angebunden ist, bestimmt die Kontinuität der Aufzeichnung ebenso wie das RAID-Layout. Direkt angeschlossene Festplatten (DAS), blockbasierter Netzwerkspeicher (iSCSI-SAN) und dateibasierter Netzwerkspeicher (NAS, SMB/NFS) haben unterschiedliche Risikoprofile bei Leistung, Skalierung, VMS-Unterstützung und Verhalten im Fehlerfall. Im Folgenden vergleichen wir die drei Optionen anhand der Dauerschreiblast der Videoaufzeichnung, beschreiben den Aufbau des Speichernetzes und wie die Leistung vor der Inbetriebnahme gemessen wird. Mit welchem RAID-Level das Array aufgebaut wird, ist eine eigene Entscheidung; sie behandeln wir im Beitrag RAID-Wahl für Videoaufzeichnung.
Optionen der Speicheranbindung bei der Videoaufzeichnung
In Unternehmens-Kamerasystemen gleicht Videoaufzeichnung nicht den üblichen IT-Workloads. Geschrieben wird viel und dauerhaft; gelesen wird unregelmäßig (Wiedergabe, Export, Archivierung). Auch wenn die Bitrate nachts sinkt, fällt die Last nicht auf null. Deshalb ist bei der Speicheranbindung nicht der IOPS-Spitzenwert das Kriterium, sondern dass die Dauerschreibbandbreite ohne Latenzanstieg getragen wird. Ein für einen Datenbankserver geschriebenes Speicherangebot beantwortet diese Frage meist nicht.
- DAS: Die Festplatten sitzen im Server oder in einem per SAS angebundenen JBOD-/RAID-Gehäuse. Dazwischen gibt es kein Netz.
- iSCSI-SAN: Das Speicherarray stellt dem Server über Ethernet ein Blockgerät (LUN) bereit. Der Server formatiert dieses Volume wie eine lokale Festplatte.
- NAS (SMB/NFS): Das Dateisystem verwaltet das Speichergerät; der Aufzeichnungsserver schreibt Dateien auf eine Netzwerkfreigabe.
DAS, iSCSI und NAS im Vergleich
| Kriterium | DAS | iSCSI-SAN | NAS (SMB/NFS) |
|---|---|---|---|
| Zugriffsebene | Block, lokal | Block, über das Netz | Datei, über das Netz |
| VMS-Unterstützung | Universell | Verbreitet (erscheint wie lokale Festplatte) | Je nach Hersteller |
| Netzabhängigkeit | Keine | Hoch; eigenes Netz nötig | Hoch |
| Skalierung | Begrenzt durch Servergehäuse/JBOD | Array-Erweiterung, mehrere Server | Einfaches Erweitern der Kapazität |
| Gemeinsame Nutzung beim Failover | Schwierig | Möglich (LUN wird neu zugewiesen) | Freigabe wird neu verbunden |
| Ausfallpunkt | Server und Controller | Netz, Array-Controller | Netz, NAS-Kopf |
| Geeignetes Szenario | Einzelserver, mittlere Größe | Mehrere Server, zentraler Speicher | Archivebene, kleine Installation |
DAS liefert mit den wenigsten Komponenten die vorhersehbarste Leistung. In Installationen mit festem Speicher pro Server ist es nach wie vor die robusteste Wahl. Die Schwäche liegt bei Kapazitäts- und Failover-Flexibilität: Fällt der Server aus, sind auch die Festplatten nicht mehr erreichbar. iSCSI ermöglicht, dass sich mehrere Aufzeichnungsserver ein zentrales Array teilen und Kapazität zwischen Servern neu verteilt wird; im Gegenzug wird das Netzdesign Teil des Speichers. Ein Netzfehler ist nun ein Speicherfehler. NAS ist am einfachsten einzurichten; doch über die Entscheidung bestimmen der Overhead des Dateiprotokolls, das Sperrverhalten und ob das VMS Live-Aufzeichnung auf eine Netzwerkfreigabe unterstützt.
VMS-Unterstützung und Dateisystem
Lesen Sie vor der Auswahl das Dokument des VMS-Herstellers zu unterstütztem Speicher. Situationen, denen wir vor Ort immer wieder begegnen:
- Trennung von Live-Aufzeichnung und Archiv: Manche VMS unterstützen für Live-Aufzeichnung nur lokalen oder Blockspeicher, erlauben in der Archivebene aber eine Netzwerkfreigabe (UNC-Pfad). In diesem Fall ist der natürliche Platz für NAS die Archivebene; die mehrstufige Struktur beschreibt der Beitrag Archivierung und Sicherung von Videoaufzeichnungen.
- Dienstkonto und Authentifizierung: Der VMS-Dienst, der auf eine SMB-Freigabe schreibt, muss nicht mit dem lokalen Systemkonto, sondern mit einem Dienstkonto laufen, das auf der Freigabe berechtigt ist. Ein Dienstkonto mit ablaufendem Passwort ist eine der häufigsten Ursachen dafür, dass die Aufzeichnung still stoppt. Niemand merkt es, bis Bilder angefordert werden.
- Dateisystem und Blockgröße: Eine iSCSI-LUN wird auf Serverseite formatiert. Prüfen Sie unter Windows für NTFS oder ReFS die vom VMS empfohlene Größe der Zuordnungseinheit (Allocation Unit Size). Bei großen Videodateien passt meist eine große Zuordnungseinheit, wählen Sie den Wert aber nach Herstellerempfehlung; eine Änderung nach der Formatierung erfordert das Verschieben der Daten.
- Regel des einzigen Schreibers: Binden Sie eine iSCSI-LUN ohne Cluster-Dateisystem gleichzeitig an zwei Server an, wird das Dateisystem beschädigt. Stellen Sie im Szenario VMS-Failover sicher, dass die LUN nur am aktiven Server angebunden ist.
Design des Speichernetzes
Bei iSCSI oder NAS wird der Speicherverkehr vom Kameraverkehr getrennt. Die typische Struktur am Aufzeichnungsserver: Die Schnittstellen zum Kameranetz und die Schnittstellen zum Speichernetz sind physisch getrennt. Der Kamerastream kommt über ein Netz in den Server, dieselben Daten gehen über ein zweites Netz zum Speicher hinaus. Auf einer Vollduplex-Verbindung nutzen eingehender Kameraverkehr und ausgehende Speicherschreibvorgänge unterschiedliche Richtungen; das eigentliche Problem ist, dass bei Wiedergabe und Archivierung aus dem Speicher gelesene Daten dieselbe Richtung wie der Kameraverkehr teilen, Switchpuffer gemeinsam genutzt werden und ein Broadcast-Sturm oder eine Schleife im Kameranetz auch den Speicherzugriff unterbricht. Eine Schleife legt auf einen Schlag zwei Systeme lahm.
- Eigenes VLAN und möglichst eigener Switch: Das Speichernetz sollte in einem nicht gerouteten VLAN ohne Gateway laufen. In großen Installationen wird für den Speicher ein eigenes Switchpaar genutzt.
- Verbindungsgeschwindigkeit: Berechnen Sie die Dauerschreibbandbreite je Aufzeichnungsserver und lassen Sie mindestens das Doppelte als Reserve; bei Archivierung, Wiedergabe und Rebuild nutzt auch Leseverkehr dieselbe Verbindung. Details der Rechnung im Beitrag Bandbreitenberechnung im Kameranetz.
- Switchpuffer: In Strukturen, in denen viele Server auf einen einzigen Speicherport schreiben, verwerfen Access-Switches mit flachem Puffer bei Lastspitzen Pakete. Wählen Sie für das Speichernetz Switches der Rechenzentrumsklasse mit dokumentierter Pufferkapazität. Steigende Output Drops in den Schnittstellenzählern sind der erste Hinweis.
- Jumbo Frame: Soll MTU 9000 genutzt werden, müssen Serverschnittstelle, Switchports und Speicherschnittstelle mit demselben Wert konfiguriert sein. Prüfen Sie den Pfad mit dem folgenden Test; 8972 Byte ergeben sich aus der MTU von 9000 Byte abzüglich IP- und ICMP-Header (28 Byte).
# Linux: Fragmentierung verboten, Pfadtest mit MTU 9000
ping -M do -s 8972 -c 4 10.20.0.10
# Windows: Fragmentierung verboten (-f), Datengroesse (-l)
ping -f -l 8972 10.20.0.10
Funktioniert ein Ping in Standardgröße, dieser aber nicht, gibt es auf dem Pfad eine MTU-Unstimmigkeit. Beheben Sie sie entweder Ende-zu-Ende oder verzichten Sie ganz auf Jumbo Frames. Eine halbe Konfiguration liefert schlechtere Ergebnisse als Standard-MTU: Kleine Pakete gehen durch, große Schreibvorgänge hängen, und der Fehler wirkt sporadisch. Sporadische Fehler sind die teuersten.
Multipath und Redundanz
Bei iSCSI ist Multipath I/O der richtige Weg für Redundanz und Bandbreite. Jede Serverschnittstelle erhält eine eigene IP-Adresse, jeder Controller des Speicherarrays hat eigene Zielportale, und das Betriebssystem fasst die Pfade zur selben LUN zusammen. Linkbündelung per LACP ist für iSCSI nicht die empfohlene Methode; eine einzelne iSCSI-Sitzung nutzt meist nur eine physische Verbindung, und die Erkennung von Pfadausfällen erfolgt kontrollierter in der MPIO-Schicht des Betriebssystems. Das Protokoll selbst ist in RFC 7143 definiert.
Die Grundkonfiguration auf einem Aufzeichnungsserver mit Windows Server sieht so aus (Adressen sind Beispiele):
# iSCSI-Initiatordienst automatisch starten
Set-Service -Name MSiSCSI -StartupType Automatic
Start-Service -Name MSiSCSI
# MPIO-Feature installieren (Neustart kann noetig sein)
Install-WindowsFeature -Name Multipath-IO
# iSCSI-Datentraeger automatisch in MPIO aufnehmen
Enable-MSDSMAutomaticClaim -BusType iSCSI
# Standard-Lastausgleichsrichtlinie: Round Robin
Set-MSDSMGlobalDefaultLoadBalancePolicy -Policy RR
# Zielportal beider Controller hinzufuegen und ueber zwei Pfade verbinden
New-IscsiTargetPortal -TargetPortalAddress 10.20.0.10 -InitiatorPortalAddress 10.20.0.21
New-IscsiTargetPortal -TargetPortalAddress 10.20.1.10 -InitiatorPortalAddress 10.20.1.21
# Bietet das Array mehrere Ziele an, das richtige Ziel waehlen
$t = Get-IscsiTarget | Select-Object -First 1
Connect-IscsiTarget -NodeAddress $t.NodeAddress -IsMultipathEnabled $true -IsPersistent $true `
-InitiatorPortalAddress 10.20.0.21 -TargetPortalAddress 10.20.0.10
Connect-IscsiTarget -NodeAddress $t.NodeAddress -IsMultipathEnabled $true -IsPersistent $true `
-InitiatorPortalAddress 10.20.1.21 -TargetPortalAddress 10.20.1.10
Auf Linux-basierten Aufzeichnungsservern werden open-iscsi und dm-multipath genutzt:
iscsiadm -m discovery -t sendtargets -p 10.20.0.10
iscsiadm -m discovery -t sendtargets -p 10.20.1.10
iscsiadm -m node --login
multipath -ll
Prüfen Sie in der Ausgabe von multipath -ll, dass für jede LUN die erwartete Zahl an Pfaden als „active“ erscheint. Schließen Sie diesen Schritt nach der Installation nicht ab, ohne ein Kabel gezogen und gesehen zu haben, dass der Pfad wegfällt und die Aufzeichnung weiterläuft. Empfiehlt der Speicherhersteller eine bestimmte Lastausgleichsrichtlinie (etwa den bevorzugten Controllerpfad bei ALUA-fähigen Arrays), wird diese Empfehlung umgesetzt.
Für vollständige Redundanz müssen die zwei Pfade über zwei verschiedene Switches laufen und das Speicherarray Doppelcontroller haben. Bei einem Array mit nur einem Controller schützt Multipath nur gegen Kabel- und Switchausfälle. Fällt der Controller, fällt alles. Zusammen mit dem Failover des Aufzeichnungsservers betrachtet, ist diese Struktur das Speicherstandbein des VMS-Hochverfügbarkeitsdesigns. Optionen für gemeinsamen Speicher in Hyper-V-Umgebungen vergleicht zusätzlich der Beitrag Gemeinsamer Speicher für Hyper-V.
Leistungsprüfung
Messen Sie die Dauerschreibkapazität vor der Inbetriebnahme mit einem Test, der die VMS-Last nachbildet. Da Videoaufzeichnung viele gleichzeitige sequenzielle Schreibströme erzeugt, wird auch der Test als paralleles sequenzielles Schreiben aufgebaut. Ein zufälliger 4K-Test ist dafür die falsche Frage.
# Linux (fio): 8 parallele sequenzielle Schreibvorgaenge, 1-MiB-Block, Cache umgangen
# (jeder Job nutzt eine 20-GiB-Datei; insgesamt 160 GiB freier Platz noetig)
fio --name=video --directory=/mnt/aufzeichnung --rw=write --bs=1M --size=20G \
--numjobs=8 --iodepth=4 --direct=1 --ioengine=libaio \
--time_based --runtime=600 --group_reporting
# Windows (DiskSpd): 100 % Schreiben, sequenziell, 8 Threads, ohne Cache
diskspd.exe -c20G -b1M -w100 -si -t8 -o4 -d600 -Sh -L E:\test.dat
Im Ergebnis zählen drei Werte: durchschnittliche Schreibbandbreite, Latenz (besonders in hohen Perzentilen) und Schwankung der Bandbreite über die Testdauer. Ziel ist, einen Wert deutlich über der berechneten Aufzeichnungslast ohne Schwankung zu halten. Lassen Sie sich nicht von hohen Werten in den ersten Minuten täuschen; bis der Controllercache voll ist, ist jedes Array schnell. Wiederholen Sie den Test auch im Degraded-Zustand, mit entfernter Festplatte oder während eines Rebuilds; das ist die Leistung am schlechtesten Tag. Im Live-System nehmen Sie Warnungen des Aufzeichnungsservers wie „Festplattenwarteschlange“, „Bildverlust“ oder „Aufzeichnungspuffer voll“ ins Überwachungssystem auf.
Checkliste für die Auswahl
- Die vom VMS-Hersteller für Live-Aufzeichnung und Archiv unterstützten Speichertypen sind dokumentiert.
- Die Dauerschreibbandbreite je Aufzeichnungsserver ist berechnet, in der Verbindungskapazität ist Reserve gelassen.
- Speicherverkehr läuft über ein eigenes VLAN und eigene physische Schnittstellen.
- Werden Jumbo Frames genutzt, sind sie Ende-zu-Ende geprüft; wenn nicht, ist das als bewusste Entscheidung vermerkt.
- Für iSCSI ist MPIO/dm-multipath konfiguriert, die zwei Pfade laufen über zwei verschiedene Switches.
- Das Speicherarray hat Doppelcontroller, oder das Risiko eines einzelnen Controllers ist akzeptiert und dokumentiert.
- Passwort- und Berechtigungsverwaltung des Dienstkontos für die SMB-Freigabe ist definiert.
- Ein Schreibtest mit fio oder DiskSpd wurde im Normal- und Degraded-Zustand durchgeführt, die Ergebnisse sind gespeichert.
- Speicherlatenz und Aufzeichnungswarnungen sind an das Überwachungssystem angebunden.
Um die Speicherarchitektur hinsichtlich Kapazität und Anbindung gemeinsam zu planen, sehen Sie sich die Leistungsseite Aufzeichnungsspeicher und Kapazitätsplanung an.
Häufig gestellte Fragen
Ist NAS für Videoaufzeichnung die richtige Wahl?
Wenn der VMS-Hersteller SMB- oder NFS-Freigaben als Ziel der Live-Aufzeichnung unterstützt und Netz und NAS die Dauerschreiblast tragen, ist es möglich. In vielen Installationen liegt der richtige Platz für NAS nicht bei der Live-Aufzeichnung, sondern in der Archivebene. Prüfen Sie vor der Entscheidung die Liste unterstützter Speicher des Herstellers.
Kann iSCSI-Verkehr im selben Netz wie das Kamera-VLAN laufen?
Technisch möglich, aber nicht empfohlen. Teilen sich Kamera- und Speicherverkehr dieselbe Verbindung, steigt in Spitzenzeiten die Speicherlatenz, und die Aufzeichnung kann abbrechen. Führen Sie Speicherverkehr in einem eigenen VLAN, möglichst über eigene physische Ports oder Switches.
Sind Jumbo Frames Pflicht?
Nein. Jumbo Frames können Paketzahl und CPU-Last senken, verursachen aber Verbindungsprobleme, wenn nicht auf dem gesamten Pfad dieselbe MTU gilt. Messen Sie zuerst mit Standard-MTU; nutzen Sie Jumbo Frames erst, nachdem Sie sie Ende-zu-Ende konfiguriert und getestet haben.
Sind LACP und iSCSI-Multipath dasselbe?
Nein. LACP bündelt mehrere Verbindungen zu einer logischen Verbindung, und eine einzelne iSCSI-Sitzung nutzt meist nur eine physische Verbindung. Für iSCSI ist der richtige Weg eine Struktur, in der jeder Pfad eine eigene IP-Adresse erhält und das Betriebssystem die Pfade mit MPIO oder dm-multipath verwaltet.