Über SAN (Storage Area Network) immer zur Hand. Redundanz und Fehlertoleranz. Entwicklung von Netzwerken und Switches

In Sachen Wissen stieß SAN auf ein gewisses Hindernis – die Unzugänglichkeit grundlegender Informationen. Wenn es darum geht, andere Infrastrukturprodukte zu studieren, auf die Sie gestoßen sind, ist es einfacher – das gibt es Testversionen Software, die Möglichkeit, sie auf einer virtuellen Maschine zu installieren, es gibt eine Reihe von Lehrbüchern, Referenzhandbüchern und Blogs zu diesem Thema. Cisco und Microsoft produzieren sehr hochwertige Lehrbücher, MS hat zumindest seinen höllischen Dachboden namens Technet aufgeräumt, es gibt sogar ein Buch über VMware, wenn auch nur eines (und sogar auf Russisch!), und das mit einer Effizienz von etwa 100 %. Bereits auf den Datenträgern selbst können Sie Informationen aus Seminaren, Marketingveranstaltungen und Dokumenten sowie Foren abrufen. Auf dem Speichernetz herrscht Stille und die Toten stehen mit Sensen da. Ich habe zwei Lehrbücher gefunden, mich aber nicht getraut, sie zu kaufen. Das sind „Storage Area Networks For Dummies“ (es gibt so etwas, wie sich herausstellt. Offenbar sind sehr neugierige englischsprachige „Dummies“ in der Zielgruppe) für eineinhalbtausend Rubel und „Distributed Storage Networks: Architecture, „Protokolle und Verwaltung“ – sieht zuverlässiger aus, kostet aber 8200 Rubel mit 40 % Rabatt. Zu diesem Buch empfiehlt Ozon auch das Buch „The Art of Bricklaying“.

Ich weiß nicht, was ich einer Person raten soll, die sich dazu entschließt, zumindest die Theorie der Organisation eines Datenspeichernetzwerks von Grund auf zu erlernen. Wie die Praxis gezeigt hat, können selbst teure Kurse zu null Ergebnissen führen. Menschen, die sich mit SAN befassen, werden in drei Kategorien eingeteilt: diejenigen, die nicht wissen, was es ist, diejenigen, die wissen, dass ein solches Phänomen einfach existiert, und diejenigen, die auf die Frage „Warum zwei oder mehr Fabriken in einem Speichernetzwerk bauen“ schauen mit einer solchen Verwirrung, als ob sie gefragt würden: „Warum braucht ein Quadrat vier Ecken?“

Ich werde versuchen, die Lücke zu schließen, die mir fehlte – beschreibe die Basis und beschreibe sie einfach. Ich werde ein SAN in Betracht ziehen, das auf seinem klassischen Protokoll – Fibre Channel – basiert.

Also, SAN – Speicherbereichsnetz- Entwickelt, um den Speicherplatz des Servers auf einem speziell dafür vorgesehenen Festplattenspeicher zu konsolidieren. Unterm Strich werden so die Festplattenressourcen sparsamer genutzt, die Verwaltung ist einfacher und die Leistung ist höher. Und wenn es um Virtualisierung und Clustering geht, wenn mehrere Server Zugriff auf einen Speicherplatz benötigen, sind solche Datenspeichersysteme in der Regel unersetzlich.

Übrigens kommt es aufgrund der Übersetzung ins Russische zu einer gewissen Verwirrung in der SAN-Terminologie. SAN bedeutet in der Übersetzung „Datenspeichernetzwerk“ – Speichersystem. In Russland bedeutet Speicher jedoch klassischerweise den Begriff „Datenspeichersystem“, also ein Festplatten-Array ( Speicherarray), der wiederum aus einem Steuerblock ( Speicherprozessor, Speichercontroller) und Festplattenregale ( Festplattengehäuse). Allerdings ist das Storage Array im Original nur ein Teil des SAN, wenn auch manchmal der bedeutendste. In Russland erhalten wir, dass das Speichersystem (Datenspeichersystem) Teil des Speichernetzwerks (Datenspeichernetzwerk) ist. Daher werden Speichergeräte normalerweise als Speichersysteme bezeichnet, und das Speichernetzwerk ist SAN (und wird mit „Sonne“ verwechselt, aber das sind Kleinigkeiten).

Komponenten und Begriffe

Technologisch besteht SAN aus folgenden Komponenten:

1. Knoten, Knoten

Disk-Arrays (Datenspeichersysteme) – Speicher (Ziele)
Server sind Verbraucher von Festplattenressourcen (Initiatoren).

2. Netzwerkinfrastruktur

Switches (und Router in komplexen und verteilten Systemen)
Kabel

Besonderheiten

Ohne zu sehr ins Detail zu gehen, ähnelt das FC-Protokoll dem Ethernet-Protokoll mit WWN-Adressen anstelle von MAC-Adressen. Nur hat Ethernet statt zwei Ebenen fünf (von denen die vierte noch nicht definiert wurde und die fünfte die Zuordnung zwischen dem FC-Transport und den High-Level-Protokollen ist, die über diese FC übertragen werden – SCSI-3, IP). Darüber hinaus nutzen FC-Switches spezielle Dienste, deren Analoga für IP-Netzwerke normalerweise auf Servern gehostet werden. Zum Beispiel: Domain Address Manager (zuständig für die Zuweisung von Domain-IDs zu Switches), Name Server (speichert Informationen über angeschlossene Geräte, eine Art Analogon von WINS innerhalb des Switches) usw.

Für ein SAN sind nicht nur die Leistung, sondern auch die Zuverlässigkeit die entscheidenden Parameter. Wenn der Datenbankserver für ein paar Sekunden (oder sogar Minuten) sein Netzwerk verliert, ist das zwar unangenehm, aber Sie können es überleben. Und wenn gleichzeitig die Festplatte mit der Datenbank oder dem Betriebssystem ausfällt, ist der Effekt noch viel gravierender. Daher sind normalerweise alle SAN-Komponenten dupliziert – Ports in Speichergeräten und Servern, Switches, Verbindungen zwischen Switches usw. Hauptmerkmal SAN ist im Vergleich zu LAN eine Duplizierung auf der Ebene der gesamten Infrastruktur von Netzwerkgeräten – Fabriken.

Fabrik (Stoff- was eigentlich aus dem Englischen als Stoff übersetzt wird, weil... der Begriff symbolisiert das ineinander verflochtene Verbindungsdiagramm von Netzwerk und Endgeräten, der Begriff wurde jedoch bereits etabliert) – eine Reihe von Switches, die durch Verbindungen zwischen Switches miteinander verbunden sind ( ISL – InterSwitch-Link).

Hochzuverlässige SANs umfassen zwangsläufig zwei (und manchmal mehr) Fabrics, da das Fabric selbst einen Single Point of Failure darstellt. Wer schon einmal die Folgen eines Klingelns im Netzwerk oder einer geschickten Bewegung der Tastatur beobachtet hat, die einen Kernel- oder Distributions-Switch mit erfolgloser Firmware oder fehlgeschlagenem Befehl ins Koma versetzt, versteht, wovon wir reden.

Fabriken können eine identische (Spiegel-)Topologie haben oder unterschiedlich sein. Beispielsweise kann eine Fabric aus vier Switches bestehen und eine andere aus einem, und es können nur äußerst kritische Knoten daran angeschlossen werden.

Topologie

Folgende Arten von Fabriktopologien werden unterschieden:

Kaskade- Schalter sind in Reihe geschaltet. Wenn es mehr als zwei sind, ist es unzuverlässig und unproduktiv.

Ring- geschlossene Kaskade. Sie ist zuverlässiger als eine einfache Kaskade, allerdings leidet die Leistung bei einer großen Teilnehmerzahl (mehr als 4). Und ein einzelner Ausfall des ISL oder eines der Schalter verwandelt den Stromkreis in eine Kaskade mit allen Konsequenzen.

Gittergewebe). Das passiert Vollmaschig- wenn jeder Schalter mit jedem verbunden ist. Zeichnet sich durch hohe Zuverlässigkeit, Leistung und Preis aus. Die Anzahl der für die Kommunikation zwischen Switches erforderlichen Ports wächst exponentiell mit jedem neuen Switch zur Schaltung. Bei einer bestimmten Konfiguration bleiben einfach keine Ports für Knoten mehr übrig – alle werden von ISL belegt. Teilweises Netz- jede chaotische Verbindung von Schaltern.

Mitte/Peripherie (Kern/Rand)- nah an der klassischen LAN-Topologie, jedoch ohne Verteilungsschicht. Oftmals ist Speicher mit Core-Switches verbunden und Server sind mit Edge verbunden. Allerdings kann eine zusätzliche Schicht (Tier) von Edge-Switches für die Speicherung zugewiesen werden. Außerdem können sowohl Speicher als auch Server mit einem Switch verbunden werden, um die Leistung zu verbessern und die Antwortzeit zu verkürzen (dies wird als Lokalisierung bezeichnet). Diese Topologie zeichnet sich durch gute Skalierbarkeit und Verwaltbarkeit aus.

Zoneneinteilung (Zoneneinteilung, Zoneneinteilung)

Eine weitere für SAN typische Technologie. Dies ist die Definition von Initiator-Ziel-Paaren. Das heißt, welche Server auf welche Festplattenressourcen zugreifen können, sodass es nicht dazu kommt, dass alle Server alle möglichen Festplatten sehen. Dies wird wie folgt erreicht:

die ausgewählten Paare werden den zuvor auf dem Switch erstellten Zonen hinzugefügt;
Zonen werden in dort erstellten Zonensätzen (Zonensatz, Zonenkonfiguration) platziert;
Zonensätze werden in der Fabric aktiviert.

Für einen ersten Beitrag zum Thema SAN halte ich das für ausreichend. Ich entschuldige mich für die abwechslungsreichen Bilder – ich habe bei der Arbeit noch keine Gelegenheit, sie selbst zu zeichnen, und zu Hause habe ich keine Zeit. Es gab die Idee, es auf Papier zu zeichnen und ein Foto zu machen, aber ich entschied, dass es so besser wäre.

Abschließend werde ich als Nachwort auflisten Grundlegende Richtlinien für das SAN-Fabric-Design.

Gestalten Sie den Aufbau so, dass sich zwischen zwei Endgeräten nicht mehr als drei Switches befinden.
Es ist wünschenswert, dass die Fabrik nicht mehr als 31 Schalter umfasst.
Es lohnt sich, die Domänen-ID manuell festzulegen, bevor ein neuer Switch in die Fabric eingeführt wird. Dies verbessert die Verwaltbarkeit und hilft, Probleme mit derselben Domänen-ID zu vermeiden, wenn beispielsweise ein Switch von einer Fabric mit einer anderen erneut verbunden wird.
Verfügen Sie über mehrere gleichwertige Routen zwischen jedem Speichergerät und dem Initiator.
Bei unsicheren Leistungsanforderungen gehen Sie von einem Verhältnis der Anzahl der Nx-Ports (für Endgeräte) zur Anzahl der ISL-Ports von 6:1 (EMC-Empfehlung) oder 7:1 (Brocade-Empfehlung) aus. Dieses Verhältnis wird als Überzeichnung bezeichnet.
Zoneneinteilungsempfehlungen:
- informative Namen von Zonen und Zonengruppen verwenden;
- Verwenden Sie WWPN-Zoning anstelle von Port-basiertem Zoning (basierend auf Geräteadressen, nicht auf physischen Ports eines bestimmten Switches);
- jede Zone - ein Initiator;
- Säubern Sie die Fabrik von „toten“ Zonen.
Halten Sie eine Reserve an freien Anschlüssen und Kabeln bereit.
Halten Sie eine Reserve an Ausrüstung (Schaltern) bereit. Auf Standortebene – notwendigerweise, vielleicht auf Fabrikebene.

SAN-Switches

SAN-Switches werden als zentrales Schaltgerät für SAN-Netzwerkknoten eingesetzt. Sie stecken ein Ende des optischen Kabels in einen Anschluss an Ihrem Serveradapter oder Disk-Array-Controller und das andere Ende in einen Anschluss am Switch. Ein Switch kann mit einer Reihe von Kabeln verglichen werden, die so gekreuzt sind, dass jedes Gerät im Netzwerk gleichzeitig über ein Kabel mit jedem anderen Gerät im Netzwerk „kommunizieren“ kann. Das heißt, alle Teilnehmer können gleichzeitig sprechen.
Ein oder mehrere miteinander verbundene Switches bilden eine Fabric. Eine einzelne Fabric kann aus einem oder mehreren Switches bestehen (derzeit bis zu 239). Daher kann eine Fabrik als ein Netzwerk definiert werden, das aus miteinander verbundenen Switches besteht. Ein SAN kann aus mehreren Fabrics bestehen. Die meisten SANs bestehen aus mindestens zwei Fabrics, von denen eines ein Backup-Fabric ist.
Sie können Server und Speicher über einen einzigen Switch mit einem SAN verbinden. Es empfiehlt sich jedoch, zwei Switches zu verwenden, um Datenverluste und Ausfallzeiten zu vermeiden, wenn einer von ihnen ausfällt. Abbildung 1 zeigt eine typische Fabric, die zwei Switches verwendet, um Server mit einem Festplatten-Array zu verbinden.

Abb. 1. Die einfachste Fabrik mit 2 Schaltern.

Wenn die Anzahl der Server und Speicher in Ihrem SAN zunimmt, fügen Sie einfach Switches hinzu.

Abbildung 2. SAN Fabric-Erweiterung

Modulare oder reguläre Schalter (modulare Schalter)

SAN-Switches gibt es in verschiedenen Größen von 8 bis Hunderten von Ports. Die meisten modularen Switches verfügen über 8 oder 16 Ports. Der neueste Trend ist die Möglichkeit, die Anzahl der Ports eines gekauften Switches in Schritten von 4 zu erhöhen. Ein typisches Beispiel für einen solchen Switch ist die Qlogic SANbox 5200 (Abb. 3). Sie können dieses Produkt mit 8 Ports in der Basis erwerben und es dann auf 16 in einem Modul und bis zu 64 Ports (!) in vier Modulen erweitern, verbunden durch 10-Gigabit-FC.

Abb. 3. Qlogic SANbox 5200 – Vier-Modul-Stack mit 64 Ports

Der Regisseur wechselt

Directors sind viel teurer als modulare Switches und enthalten typischerweise Hunderte von Ports (Abbildung 4). Directors können im Zentrum sehr großer Switched Fabrics als Kern des Netzwerks gesehen werden. Direktoren verfügen über eine außergewöhnliche Fehlertoleranz und sorgen dafür, dass die gesamte Infrastruktur 24 Stunden am Tag, 7 Tage die Woche läuft. Sie ermöglichen Ihnen die Durchführung routinemäßiger Wartungsarbeiten und den Austausch von Modulen im Handumdrehen.

Reis. 4. SilkWorm 1200 128-Port und McData InterPid 6140

Der Director besteht aus einer Plattform, Hot-Swap-Portmodulen (normalerweise 12 oder 16 Ports) und Hot-Swap-Prozessormodulen (normalerweise Dual-Prozessor). Der Director kann mit 32 Ports erworben werden und ist auf 128 - 140 Ports erweiterbar.
Unternehmens-SANs verwenden normalerweise Directors als Kern des Netzwerks. An sie werden modulare Schalter als Endschalter (Edge) angeschlossen. Diese wiederum sind mit Servern und Speicher verbunden. Diese Topologie wird als Core-to-Edge-Topologie bezeichnet und ermöglicht die Skalierung des Netzwerks auf Tausende von Ports (Abb. 5).

Reis. 5. Core-Edge-Topologie mit Directors.

SAN-Router oder Multiprotokoll-Switches

SAN-Router werden verwendet, um entfernte SAN-Inseln zu einem einzigen Netzwerk zu verbinden, um Probleme des Katastrophenschutzes, der Konsolidierung von Speicherressourcen, der Organisation von Verfahren zur Datensicherung von entfernten Abteilungen auf Band- und Festplattenressourcen des Hauptrechenzentrums usw. zu lösen. Abbildung 6.). Die Konsolidierung entfernter SAN-Netzwerke zu einer einzigen Ressource ist der nächste Schritt in der Entwicklung von Datenspeichernetzwerken nach der Einführung von SAN in der Zentrale und in den Abteilungen von Unternehmen (Abb. 7).

Reis. 6: McDATA Eclipse 1620, 3300 und 4300

Reis. 7: Konsolidierung von Remote-SANs in einer einzigen Ressource

SAN-Inseln können über das FC-Protokoll und herkömmliche modulare Switches oder Directors, über ein optisches Singlemode-Kabel (Singlemode-Kabel oder Dark Fiber) oder über Multiplex-Geräte (DWDM) verbunden werden. Mit dieser Methode können Sie jedoch nicht über die Stadtgrenzen hinausfahren (Radius 70 km). Für größere Entfernungen benötigen Sie das Fibre Channel over IP-Protokoll (FCIP, http://www.iscsistorage.com/ipstorage.htm), das in den Eclipse-Routern von McData implementiert ist (Abb. 6). FCIP verpackt jeden FC-Frame in ein IP-Paket für den Transport über das IP-Netzwerk. Die empfangende Seite entpackt das IP-Paket und entnimmt dort den ursprünglichen FC-Frame zur weiteren Übertragung über lokales Netzwerk F.C. Hier sind die Entfernungen nicht begrenzt. Es kommt auf die Geschwindigkeit Ihres IP-Kanals an.

FC-Kabeltypen

Als physikalisches Übertragungsmedium werden in FC-Netzwerken Glasfaser- oder Kupferkabel verwendet. Kupferkabel ist verdrilltes Paar in der Shell und wurde hauptsächlich für lokale Verbindungen in FC 1Gbit/s-Netzwerken verwendet. Moderne FC-2Gbit/s-Netzwerke nutzen hauptsächlich Glasfaserkabel.
Es gibt zwei Arten von Glasfaserkabeln: Singlemode und Multimode.

Singlemode-Kabel (Langwelle)

In einem Singlemode-Kabel (SM) gibt es nur einen Pfad für die Ausbreitung der Lichtwelle. Die Kerngröße beträgt normalerweise 8,3 Mikrometer. Singlemode-Kabel werden in Anwendungen eingesetzt, die einen geringen Signalverlust und hohe Datenraten erfordern, beispielsweise bei großen Entfernungen zwischen zwei Systemen oder Netzwerkgeräten. Beispielsweise zwischen einem Server und einem Speicher, dessen Entfernung mehrere Dutzend Kilometer beträgt.

Die maximale Entfernung zwischen zwei FC 2Gbit-Netzwerkknoten, die über ein Singlemode-Kabel verbunden sind, beträgt 80 km ohne Repeater.

Multimode-Kabel (Kurzwelle)

Multimode-Kabel (MM) sind in der Lage, Licht mehrerer Wellenlängen über eine einzige Faser zu übertragen, da die relativ große Kerngröße es dem Licht ermöglicht, sich in verschiedenen Winkeln auszubreiten (Brechung). Typische Kerngrößen für MM sind 50 µm und 62,5 µm. Multimode-Glasfaserverbindungen eignen sich am besten für Geräte, die darauf betrieben werden kurze Distanzen. In einem Büro, Gebäude.

Die maximale Entfernung, über die ein Multimode-Kabel eine Geschwindigkeit von 2 Gbit/s unterstützt, beträgt 300 (50 µm) und 150 m (62,5 µm).

Kabelsteckertypen

FC-Kabelanschlüsse sind:

Transceiver-Typen (GBIC-Typen)

Geräte zur Umwandlung von Licht in ein elektrisches Signal und umgekehrt werden Transceiver genannt. Sie werden auch GBIC (Gigabit Interface Connectors) genannt. Der Transceiver befindet sich auf der FC-Adapterplatine (FC HBA), normalerweise ist er darin eingelötet, im Switch – in Form eines abnehmbaren Moduls (siehe Abbildung) und auf einem Speichergerät in der einen oder anderen Form.

Transceiver sind:


SFP-LC	HSSDC2

Abnehmbare Transceiver-Module (SFP)

HSSDC2: für 1/2Gbit FC für Kupferkabel
SFP-LC: (Small Form Factor Pluggable LC) 1/2Gbit FC Kurz-/Langwelle für Glasfaserkabel mit LC-Stecker
SFP-SC: (Small Form Factor Pluggable SC) 1/2Gbit FC Kurz-/Langwelle für Glasfaserkabel mit SC-Anschluss

7 SAN-Bausteine

Die vorherigen Abschnitte bieten einen Überblick über Fibre-Channel-Topologien und -Protokolle. Schauen wir uns nun die verschiedenen Geräte und Komponenten an, die zum Aufbau von Fibre-Channel-Speichernetzwerken verwendet werden. Zu den wichtigsten Strukturelementen eines SAN gehören:

■ Busadapter;

■ Fibre-Channel-Kabel;

■ Steckverbinder;

■ Konnektivitätsgeräte, darunter Hubs, Switches und Fabric-Switches.

Beachten Sie, dass alle adressierbaren Komponenten innerhalb eines Fibre Channel SAN über eindeutige World Wide Names (WWNs) verfügen, die analog zu eindeutigen MAC-Adressen sind. Der WWN in der Fibre-Channel-Spezifikation ist eine 64-Bit-Zahl in der Form XX:XX:XX:XX:XX:XX:XX:XX. IEEE weist jedem Hersteller einen bestimmten Adressbereich zu. Für die eindeutige Zuordnung der zugewiesenen Adressen ist der Hersteller verantwortlich.

7.1 Busadapter

Busadapter (Host-Busadapter - NVA) stellt eine Verbindung zu einem Computer her und ermöglicht die Interaktion mit Speichergeräten. In der Welt persönliche Computer unter Windows-Steuerung Normalerweise werden Busadapter angeschlossen PCI-Bus und kann Konnektivität für bereitstellen IDE-Geräte, SCSI und Fibre Channel. Busadapter werden von einem Gerätetreiber gesteuert, d. h. SCSIPort- oder Storport-Miniport-Treiber.
Bei der Initialisierung registriert sich der HBA-Port beim Fabric-Switch (sofern verfügbar) und registriert die darauf gespeicherten Attribute. Die Attribute werden Anwendungen mithilfe von APIs des Switch- oder HBA-Herstellers zur Verfügung gestellt. Die SNIA (Storage Networking Industry Association) arbeitet an einer standardisierten API, die verschiedene Hersteller-APIs unterstützt.
Für Speichernetzwerke mit hohen Anforderungen an die Fehlertoleranz bieten einige HBA-Hersteller dies an Zusatzfunktionen, zum Beispiel automatisches Umschalten auf einen anderen Busadapter, wenn der Hauptbus ausfällt.
In einem gemeinsamen Ring können nur zwei Geräte gleichzeitig Daten empfangen und senden. Nehmen wir an, einer von ihnen ist ein HBA, der mit einem Host verbunden ist und Daten von einem Speichergerät empfängt. Wenn dieser Adapter jedoch mit einem Switch-Fabric-SAN verbunden ist, kann er mehrere Leseanforderungen gleichzeitig an mehrere Speichergeräte senden.

Antworten auf diese Anfragen können in beliebiger Reihenfolge erfolgen. Normalerweise stellt ein Fabric-Switch den Ports einen Round-Robin-Dienst zur Verfügung, was die Aufgabe des HBA weiter erschwert. In diesem Fall ist die Reihenfolge des Eintreffens der Pakete so, dass jedes nachfolgende Paket von einer anderen Quelle stammt.
Busadapter lösen dieses Problem auf zwei Arten. Die erste Strategie namens „Speichern und Sortieren“ umfasst das Speichern von Daten im Knotenspeicher und das anschließende Sortieren der Puffer zentraler Prozessor. Offensichtlich ist dies aus CPU-Sicht ein ineffizienter Ansatz und die Gesamtlast ist mit einem Kontextwechsel alle paar zehn Mikrosekunden verbunden. Eine andere Strategie ist im laufenden Betrieb- beinhaltet die Verwendung zusätzlicher Systemlogik und Chips auf dem Busadapter selbst, was einen Kontextwechsel ohne Verwendung von CPU-Zyklen ermöglicht. Normalerweise beträgt die Zeit zwischen Kontextwechseln bei Verwendung dieser Strategie mehrere Sekunden.
Eine Reservierung ermöglicht das Senden eines Fibre Channel-Frames. Vor dem Senden des nächsten Frames muss der Sender ein Signal empfangen Empfänger bereit. Um eine Fibre-Channel-Verbindung effektiv zu nutzen, müssen mehrere Frames gleichzeitig übertragen werden, was mehrere Reservierungen erfordert und daher mehr Speicher zum Empfangen von Frames erfordert. Einige HBAs verfügen über vier 1-KB-Puffer und zwei 2-KB-Puffer, obwohl einige High-End-Adapter über 128 KB und 256 KB für die Pufferreservierung verfügen. Beachten Sie, dass dieser Speicher normalerweise zwei Ports erfordert; diese. Wenn eine Speicherregion Daten vom Fibre Channel SAN empfängt, können die übrigen Speicherregionen Daten an den Host-PCI-Bus senden.
Darüber hinaus spielen HBAs eine Rolle in fehlertoleranten und fehlertoleranten Architekturen. Notfallwiederherstellung Datenpfad, der mehrere E/A-Pfade zu einem einzelnen Speichergerät bereitstellt.

7.1.1 Operationssystem Windows und HBAs

In Windows NT und Windows 2000 werden Fibre-Channel-Adapter als SCSI-Geräte behandelt und Treiber werden als Mini-SCSI-Port-Treiber erstellt. Das Problem besteht darin, dass der SCSIPort-Treiber veraltet ist und die Funktionen neuerer SCSI-Geräte, geschweige denn Fibre Channel-Geräte, nicht unterstützt. Daher führte Windows Server 2003 ein neues Storport-Treibermodell ein, um das SCSIPort-Modell zu ersetzen, insbesondere für SCSI-3- und Fibre-Channel-Geräte. Beachten Sie, dass Fibre-Channel-Laufwerke von Windows als DAS-Geräte verwendet werden, was durch die von den SCSIPort- und Storport-Treibern bereitgestellte Abstraktionsschicht ermöglicht wird.

7.1.2 Doppelrouten

Manchmal notwendig Gesteigerte produktivität und Zuverlässigkeit, auch wenn die Kosten für die fertige Lösung steigen. In solchen Fällen ist der Server über mehrere HBAs und mehrere unabhängige Fibre-Channel-SANs mit Dual-Port-Festplatten verbunden. Die Hauptidee besteht darin, einen einzelnen Fehlerpunkt im Netzwerk zu beseitigen. Darüber hinaus können in Zeiten, in denen das System normal arbeitet, mehrere Routen verwendet werden, um die Last auszugleichen und die Leistung zu verbessern.

7.2 Fibre-Channel-Kabeltypen

Es werden hauptsächlich zwei Arten von Kabeln verwendet: optische und Kupferkabel. Nachfolgend sind die wichtigsten Vor- und Nachteile von Kabeln aufgeführt.

■ Kupferkabel sind günstiger als optische Kabel.

■ Optische Kabel unterstützen höhere Datenübertragungsraten als Kupferkabel.

■ Kupferkabel können über kürzere Entfernungen bis zu 30 Metern verwendet werden. In diesem Fall kann das optische Kabel in einer Entfernung von bis zu 2 Kilometern (Multimode-Kabel) bzw. bis zu 10 Kilometern (Singlemode-Kabel) verwendet werden.

■ Kupferkabel sind anfälliger für elektromagnetische Störungen und Störungen durch andere Kabel.

■ Optische Daten müssen typischerweise zur Übertragung über einen Schalter in elektrische Signale und zur weiteren Übertragung wieder in optische Form umgewandelt werden.
Es gibt nur einen Typ von Kupferkabeln, im Gegensatz zu optischen Kabeln, die es in zwei Typen gibt: Multimode und Singlemode.
Für kurze Entfernungen werden Multimode-Kabel verwendet, die einen Kerndurchmesser von 50 oder 62,5 Mikrometern haben (ein Mikrometer ist ein Mikrometer oder ein Millionstel Meter). Die in Multimode-Kabeln verwendete Lichtwelle hat eine Länge von 780 Nanometern wird in Singlemode-Kabeln nicht unterstützt. Für große Entfernungen ist ein Singlemode-Kabel mit einem Kerndurchmesser von 9 Mikrometern ausgelegt. Ein Singlemode-Kabel nutzt einen Lichtstrahl mit einer Wellenlänge von 1300 Nanometern. Trotz des Themas dieses Kapitels (der Fibre-Channel-Schnittstelle) ist es erwähnenswert, dass solche Kabel zum Aufbau von Netzwerken verwendet werden können, die auf anderen Schnittstellen basieren, beispielsweise Gigabit-Ethernet.

7.3 Anschlüsse

Da Fibre Channel mehrere Kabeltypen (und Medientechnologien) unterstützt, sind Geräte (z. B. Busadapter, Schnittstellengeräte und Speichergeräte) mit Anschlüssen ausgestattet, die Medienverbindungen unterstützen, um die Gesamtkosten zu senken. Es gibt verschiedene Arten von Steckverbindern, die für unterschiedliche Übertragungsmedien und Schnittstellen konzipiert sind.

■ Gigabit-Schnittstellenkonverter (GBICs) unterstützen die serielle und parallele Übersetzung übertragener Daten. GBIC-Konverter bieten Hot-Plug-Fähigkeit, d. h. Das Aktivieren/Deaktivieren von GBIC hat keinen Einfluss auf den Betrieb anderer Ports. Die Konverter nutzen eine 20-Bit-Parallelschnittstelle.

■ Gigabit-Link-Module (GLMs) bieten eine ähnliche Funktionalität wie GBICs, erfordern jedoch, dass das Gerät für die Installation ausgeschaltet wird. Andererseits sind sie etwas günstiger als GBICs.

■ Medienschnittstellenadapter werden zum Konvertieren von Signalen zwischen Kupfer- und optischen Medien und umgekehrt verwendet. Medienschnittstellenadapter werden typischerweise in HBAs verwendet, können aber auch auf Switches und Hubs verwendet werden.

■ Mit Small Form Factor Adaptern (SFF) können Sie mehr Anschlüsse unterschiedlicher Schnittstellen auf einer Platine einer bestimmten Größe platzieren.

7.4 Schnittstellengeräte

Verbindungsgeräte verbinden die Komponenten von Speichernetzwerken. Diese Geräte reichen von kostengünstigen Fibre-Channel-Hubs bis hin zu teuren, leistungsstarken, verwalteten Fabric-Switches.

7.4.1 Fibre-Channel-Split-Ring-Hubs

FC-AL-Hubs sind eine kostengünstige Option zum Verbinden mehrerer Fibre-Channel-Knoten (Speichergeräte, Server, Computersysteme, andere Hubs und Switches) in eine Ringkonfiguration. Hubs bieten typischerweise zwischen 8 und 16 Ports. Der Hub kann verschiedene Übertragungsmedien unterstützen, beispielsweise Kupfer oder optisch.
Fibre-Channel-Hubs sind passive Geräte, d. h. Jedes andere Gerät im Ring kann ihre Anwesenheit nicht erkennen. Hubs bieten die folgenden Funktionen:

■ interne Verbindungen, die es jedem Port ermöglichen, eine Verbindung zu jedem anderen Port herzustellen;

■ die Möglichkeit, den Port zu umgehen, an den ein fehlerhaftes Gerät angeschlossen ist.
Das größte Problem bei Ports besteht darin, dass sie jeweils nur eine Fibre-Channel-Verbindung unterstützen können. Die Abbildung zeigt, dass, wenn Port 1 die Kontrolle zum Aufbau einer Sitzung mit Port 8 erhält, kein anderer Port Daten übertragen kann, bis die eingerichtete Sitzung endet.
Hubs können ohne Modifikation an Fibre-Channel-Switches angeschlossen werden. Sie können auch eine Kaskade von Hubs erstellen, indem Sie zwei Hubs mit einem Kabel verbinden.
FC-AL-Hubs dominieren den Fibre-Channel-Markt, aber Fibre-Channel-Fabric-Switches werden mit sinkenden Kosten immer beliebter.
FC-AL-Hubs werden von Unternehmen wie Gadzoox Networks, Emulex und Brocade erstellt.

7.4.2 Fibre-Channel-Split-Ring-Switches

Der größte Vorteil von FC-AL-Switches gegenüber Hubs besteht darin, dass sie mehrere Verbindungen gleichzeitig unterstützen, während Hubs jeweils nur eine Verbindung unterstützen.

Reis. Fibre-Channel-Hub

Die Fähigkeit, mehrere Verbindungen gleichzeitig zu unterstützen, bringt ihre eigenen Herausforderungen mit sich. An den Ringschalter angeschlossene Geräte sind sich ihrer Rolle nicht einmal „bewusst“. Ringschalter sind sowohl an der Datenübertragung als auch an der Ringadressierung beteiligt. Drunter ist Weitere Informationen zu diesem Thema und untersucht auch die Rolle von Switches in Speichernetzwerken und die Art und Weise, wie Anbieter ihren Produkten neue Funktionen hinzufügen.

Abb. Fibre-Channel-Switch

Ringschalter und Datenübertragung

Ein Server, der auf ein Speichergerät zugreifen möchte, muss eine Schlichtungsanfrage senden, um den Ring zu steuern. In einem normalen Hub-basierten FC-AL-Ring erhält jedes Gerät ein Arbitrierungspaket, bevor es an den Server-HBA zurückgegeben wird, wodurch der Server die Kontrolle über den Ring erhält. Der Ringschalter sendet sofort eine Erfolgsantwort, ohne Anfragen an andere Knoten zu senden. Zu diesem Zeitpunkt sendet der HBA ein einfaches Open-Paket für den Speichergeräte-Port, das vom Ring-Switch weitergeleitet wird. Wenn der Port zu diesem Zeitpunkt keine Daten überträgt, sollte es keine Probleme geben. Andernfalls kann es zu Konfliktsituationen kommen. Um dieses Problem zu lösen, muss der Ring-Switch Puffer bereitstellen, um für Port 7 bestimmte Frames vorübergehend zu speichern. Einige Switch-Anbieter stellen zu diesem Zweck 32 Puffer pro Port bereit.

Ringschalter und FC-AL-Adressierung

FC-AL-Hubs spielen bei der Adresszuweisung an Geräte keine Rolle und übertragen nur grundlegende Adressrahmen im Ring. Das Gleiche gilt für die meisten Schalter. Einige Geräte bestehen jedoch möglicherweise darauf, eine bestimmte Adresse zu erhalten. Einige Hubs verfügen über die Möglichkeit, die Reihenfolge der Portinitialisierung zu steuern, sodass ein bestimmter Port zuerst initialisiert wird und das Gerät anschließend mit dem erforderlichen Port verbunden wird.

Schalter und Ringinitialisierung

Das FC-AL-Protokoll erfordert eine Ring-Neuinitialisierung, wenn ein Gerät angeschlossen, getrennt oder neu initialisiert wird. Eine solche Initialisierung des Rings kann die bestehende Kommunikation zwischen den beiden anderen Geräten unterbrechen. Einige Switch-Hersteller bieten die Möglichkeit, LIP-Pakete (Loop Initialization Primitives) selektiv zu prüfen und weiterzuleiten. Dieser Vorgang soll Probleme minimieren, die Zeit für die Neuinitialisierung des Rings verkürzen und vorhandene Datensitzungen nach Möglichkeit beibehalten. Gleichzeitig muss die Eindeutigkeit der Geräteadressen sichergestellt werden.
Wenn alle Geräte an der Ringneuinitialisierung teilnehmen, kommt es nicht zu einer Adressduplizierung, da die Geräte ihre Adressen „schützen“. Wenn jedoch einige Geräte nicht an der Ring-Neuinitialisierung teilnehmen, muss die Zuweisung bereits zugewiesener Adressen an Geräte, die an der Ring-Neuinitialisierung teilnehmen, verhindert werden. Die Eindeutigkeit der Adresse wird durch eine zusätzliche Ring-Switch-Logik sichergestellt. Beim Hinzufügen eines Speichergeräts muss ein LIP-Paket an den Server gesendet werden, LIP muss jedoch nicht an Speichergeräte gesendet werden, die niemals mit anderen Speichergeräten kommunizieren.
Einige Speichergeräte können direkt mit anderen Speichergeräten kommunizieren, was üblich ist Exemplar reservieren Daten.

Ringschalter und Fabric-Architektur

Wenn alle Geräte im Ring die Fabric-Architektur „kennen“, überträgt der Ring-Switch die notwendigen Frames auf normale Weise, wie zum Beispiel Fabric-Login-Frames. Wenn die Geräte im Ring die Fabric-Architektur nicht unterstützen, muss der Ring-Switch dies selbst tun eine ausreichend große Leistung erbringen
Arbeitsbelastung.
Die Ring-Switches einiger Anbieter unterstützen keine Kaskadierung. Darüber hinaus erfordern einige Ring-Switches ein Firmware-Update, bevor eine Verbindung zu Fabric-Switches hergestellt werden kann. Einige Switches müssen aktualisiert werden, um die Fabric-Architektur vollständig zu unterstützen, bevor sie mit dem SAN verbunden werden.
FC-AL-Switches werden von Unternehmen wie Brocade, McDATA, Gadzoox Networks, Vixel und QLogic hergestellt.

7.4.3 Fibre-Channel-Switches

Fibre Channel Fabric Switches (FC-SW) ermöglichen mehrere Hochgeschwindigkeits-Kommunikationssitzungen gleichzeitig mit allen Geräten. Derzeit unterstützen die wichtigsten Switches Geschwindigkeiten von etwa 1 Gbit/s, auch Geschwindigkeiten von 2 Gbit/s sind kein Wunder mehr. Im Allgemeinen sind Switches mit Fabric-Architektur pro Port teurer als Hubs und FC-AL-Switches, bieten aber viel mehr Funktionalität.
Switches mit Fabric-Architektur sind effizienter als Hubs und FC-AL-Switches. Beispielsweise stellen Switches die oben beschriebenen speziellen Dienste bereit, bieten Flusskontrolle durch grundlegende Steuerpakete und, was noch wichtiger ist, einige Switches sind in der Lage, die FC-AL-Funktionalität zu emulieren, um Abwärtskompatibilität mit älteren Geräten zu gewährleisten.
Einige Fabric-Switches unterstützen ungepuffertes Routing. Die Idee besteht darin, dass der Switch beim Empfang eines Frame-Headers schnell den Ziel-Header findet, während der Frame noch empfangen wird. Der Vorteil dieses Ansatzes besteht darin, dass Verzögerungen bei der Frame-Übermittlung reduziert werden und der Inhalt des Frames nicht mehr im Pufferspeicher gespeichert werden muss. Der Nachteil ist die sofortige Übertragung aller Frames, auch beschädigter.
Fabric-Switches spielen eine wichtige Rolle für die Sicherheit von Fibre-Channel-Speichernetzwerken.

7.4.4 Vergleich dreier Anschlussgeräte

Die Tabelle zeigt Funktionalität und die Unterschiede zwischen den drei Arten von Fibre-Channel-Geräten.

7.4.5 Bridges und Router

In diesem Kapitel und im gesamten Artikel beziehen sich die Begriffe „Bridges“ und „Router“ nicht auf herkömmliche Ethernet-Bridges und IP-Router. In diesem Fall beziehen sich Bridges und Router auf Geräte für Fibre Channel, nicht auf Netzwerkprotokolle 2. und 3. Ebene.
Bridges sind Geräte, die Interoperabilität zwischen Fibre Channel und älteren Protokollen wie SCSI ermöglichen. Fibre Channel-zu-SCSI-Brücken tragen dazu bei, Ihre bestehende SCSI-Speicherinvestition zu schonen. Solche Bridges unterstützen SCSI- und Fibre-Channel-Schnittstellen und konvertieren Daten aus den beiden Protokollen. Auf diese Weise kann ein neuer Server mit installiertem Fibre-Channel-HBA auf vorhandene SCSI-Speichergeräte zugreifen. Bridges stellen eine Schnittstelle zwischen dem parallelen SCSI-Bus und der Fibre Channel-Schnittstelle bereit. Router verfügen über ähnliche Funktionen, jedoch für mehrere SCSI-Busse und Fibre-Channel-Schnittstellen. Speicherrouter oder Smart Bridges bieten zusätzliche Funktionen wie LUN-Maskierung und -Zuordnung und unterstützen SCSI Extended Copy-Befehle. Als Datenübertragungsgeräte verwenden Router Extended Copy-Befehle zur Verwendung durch Speicherbibliotheken, sodass Daten zwischen einem angegebenen Zielgerät und einer verbundenen Bibliothek kopiert werden können. Diese Funktion wird auch als unabhängige Sicherung (serverlos) bezeichnet.
Beispiele für Router- und Bridge-Hersteller sind Crossroads Systems, Chaparral Network Storage, Advanced Digital Information Corporation (ADIC nach der Übernahme von Path-light) und MTI.

In Sachen Wissen stieß SAN auf ein gewisses Hindernis – die Unzugänglichkeit grundlegender Informationen. Wenn es darum geht, andere Infrastrukturprodukte zu studieren, auf die Sie gestoßen sind, ist es einfacher – es gibt Testversionen der Software, die Möglichkeit, sie auf einer virtuellen Maschine zu installieren, und es gibt eine Reihe von Lehrbüchern, Referenzhandbüchern und Blogs zu diesem Thema. Cisco und Microsoft produzieren sehr hochwertige Lehrbücher, MS hat zumindest seinen höllischen Dachboden namens Technet aufgeräumt, es gibt sogar ein Buch über VMware, wenn auch nur eines (und sogar auf Russisch!), und das mit einer Effizienz von etwa 100 %. Bereits auf den Datenträgern selbst können Sie Informationen aus Seminaren, Marketingveranstaltungen und Dokumenten sowie Foren abrufen. Auf dem Speichernetz herrscht Stille und die Toten stehen mit Sensen da. Ich habe zwei Lehrbücher gefunden, mich aber nicht getraut, sie zu kaufen. Das sind „Storage Area Networks For Dummies“ (es gibt so etwas, wie sich herausstellt. Offenbar sind sehr neugierige englischsprachige „Dummies“ in der Zielgruppe) für eineinhalbtausend Rubel und „Distributed Storage Networks: Architecture, „Protokolle und Verwaltung“ – sieht zuverlässiger aus, kostet aber 8200 Rubel mit 40 % Rabatt. Zu diesem Buch empfiehlt Ozon auch das Buch „The Art of Bricklaying“.

Komponenten und Begriffe

Technologisch besteht SAN aus folgenden Komponenten:

1. Knoten, Knoten

Disk-Arrays (Datenspeichersysteme) – Speicher (Ziele)
Server sind Verbraucher von Festplattenressourcen (Initiatoren).

2. Netzwerkinfrastruktur

Switches (und Router in komplexen und verteilten Systemen)
Kabel

Besonderheiten

Für ein SAN sind nicht nur die Leistung, sondern auch die Zuverlässigkeit die entscheidenden Parameter. Wenn der Datenbankserver für ein paar Sekunden (oder sogar Minuten) sein Netzwerk verliert, ist das zwar unangenehm, aber Sie können es überleben. Und wenn gleichzeitig die Festplatte mit der Datenbank oder dem Betriebssystem ausfällt, ist der Effekt noch viel gravierender. Daher sind in der Regel alle Komponenten eines SAN dupliziert – Ports in Speichergeräten und Servern, Switches, Verbindungen zwischen Switches und – ein wesentliches Merkmal eines SAN im Vergleich zu einem LAN – die Duplizierung auf der Ebene der gesamten Infrastruktur von Netzwerkgeräten – die Stoff.

Topologie

Folgende Arten von Fabriktopologien werden unterschieden:

Kaskade- Schalter sind in Reihe geschaltet. Wenn es mehr als zwei sind, ist es unzuverlässig und unproduktiv.

Zoneneinteilung (Zoneneinteilung, Zoneneinteilung)

die ausgewählten Paare werden den zuvor auf dem Switch erstellten Zonen hinzugefügt;
Zonen werden in dort erstellten Zonensätzen (Zonensatz, Zonenkonfiguration) platziert;
Zonensätze werden in der Fabric aktiviert.

Abschließend werde ich als Nachwort auflisten Grundlegende Richtlinien für das SAN-Fabric-Design.

Gestalten Sie den Aufbau so, dass sich zwischen zwei Endgeräten nicht mehr als drei Switches befinden.
Es ist wünschenswert, dass die Fabrik nicht mehr als 31 Schalter umfasst.
Es lohnt sich, die Domänen-ID manuell festzulegen, bevor ein neuer Switch in die Fabric eingeführt wird. Dies verbessert die Verwaltbarkeit und hilft, Probleme mit derselben Domänen-ID zu vermeiden, wenn beispielsweise ein Switch von einer Fabric mit einer anderen erneut verbunden wird.
Verfügen Sie über mehrere gleichwertige Routen zwischen jedem Speichergerät und dem Initiator.
Bei unsicheren Leistungsanforderungen gehen Sie von einem Verhältnis der Anzahl der Nx-Ports (für Endgeräte) zur Anzahl der ISL-Ports von 6:1 (EMC-Empfehlung) oder 7:1 (Brocade-Empfehlung) aus. Dieses Verhältnis wird als Überzeichnung bezeichnet.
Zoneneinteilungsempfehlungen:
- informative Namen von Zonen und Zonengruppen verwenden;
- Verwenden Sie WWPN-Zoning anstelle von Port-basiertem Zoning (basierend auf Geräteadressen, nicht auf physischen Ports eines bestimmten Switches);
- jede Zone - ein Initiator;
- Säubern Sie die Fabrik von „toten“ Zonen.
Halten Sie eine Reserve an freien Anschlüssen und Kabeln bereit.
Halten Sie eine Reserve an Ausrüstung (Schaltern) bereit. Auf Standortebene – notwendigerweise, vielleicht auf Fabrikebene.

Computerportal Osblog

Komponenten und Begriffe

1. Knoten, Knoten

2. Netzwerkinfrastruktur

Besonderheiten

Topologie

Zoneneinteilung (Zoneneinteilung, Zoneneinteilung)

Modulare oder reguläre Schalter (modulare Schalter)

Der Regisseur wechselt

SAN-Router oder Multiprotokoll-Switches

FC-Kabeltypen

Singlemode-Kabel (Langwelle)

Multimode-Kabel (Kurzwelle)

Kabelsteckertypen

Transceiver-Typen (GBIC-Typen)

Komponenten und Begriffe

1. Knoten, Knoten

2. Netzwerkinfrastruktur

Besonderheiten

Topologie

Zoneneinteilung (Zoneneinteilung, Zoneneinteilung)

IN VERBINDUNG STEHENDE ARTIKEL