Про SAN (Storage Area Network) на пальцях. Резервування та відмовостійкість. Еволюція мереж та комутатори

У справі пізнання SAN зіткнувся з певною перешкодою – важкодоступністю базової інформації. У питанні вивчення інших інфраструктурних продуктів, з якими доводилося стикатися, простіше – є пробні версіїПЗ, можливість встановити їх на віртуальній машині, є купа підручників, референс гайдів та блогів на тему. Cisco і Microsoft клепають дуже якісні підручники, MS ще сяк-так причесал свою пекельну горищну комору під назвою technet, навіть по VMware є книга, нехай і одна (і навіть російською мовою!), причому з ККД близько 100%. Вже і за самими пристроями зберігання даних можна отримати інформацію з семінарів, маркетингових заходів та документів, форумів. По мережі ж зберігання – тиша та мертві з косами стояти. Я знайшов два підручники, але купити не наважився. Це "Storage Area Networks For Dummies" (є і таке, виявляється. Дуже допитливі англомовні "чайники" в цільовій аудиторії, мабуть) за півтори тисячі рублів і "Distributed Storage Networks: Architecture, Protocols and Management" - виглядає надійніше, але 8200р при знижці 40%. Разом із цією книгою Ozon рекомендує також книгу «Мистецтво цегляної кладки».

Що порадити людині, яка вирішить з нуля вивчити хоча б теорію організації мережі зберігання даних, я не знаю. Як показала практика, навіть дорогі курси можуть дати на виході нуль. Люди, що стосуються SAN поділяються на три категорії: ті, хто взагалі не знає що це, хто знає, що таке явище просто є і ті, хто на питання «навіщо в мережі зберігання робити дві і більше фабрики» дивляться з таким подивом, ніби їх запитали щось на кшталт «навіщо квадрату чотири кути?».

Спробую заповнити прогалину, якої не вистачало мені – описати базу та описати просто. Розглядатиму SAN на базі її класичного протоколу - Fibre Channel.

Отже, SAN - Storage Area Network- призначена для консолідації дискового простору серверів спеціально виділених дискових сховищах. Суть у тому, що так дискові ресурси економніше використовуються, легше керуються і мають більшу продуктивність. А в питаннях віртуалізації та кластеризації, коли кільком серверам потрібен доступ до одного дискового простору, подібні системи зберігання даних взагалі незамінна штука.

До речі, в термінологіях SAN завдяки перекладу російською виникає деяка плутанина. SAN у перекладі означає «мережа зберігання даних» - СГД. Проте класично у Росії під СХД розуміється термін «система зберігання даних», тобто саме дисковий масив ( Storage Array), який у свою чергу складається з Керуючого блоку ( Storage Processor, Storage Controller) та дискових полиць ( Disk Enclosure). Проте, в оригіналі Storage Array є лише частиною SAN, хоча часом найзначнішою. У Росії її отримуємо, що СХД (система зберігання даних) є частиною СХД (мережі зберігання даних). Тому пристрої зберігання зазвичай називають СГД, а мережа зберігання - SAN (і плутають із «Sun», але це вже дрібниці).

Компоненти та терміни

Технологічно SAN складається з наступних компонентів:
1. Вузли, ноди (nodes)
  • Дискові масиви (системи зберігання даних) - сховища (таргети)
  • Сервери - споживачі дискових ресурсів (ініціатори).
2. Мережева інфраструктура
  • Комутатори (і маршрутизатори у складних та розподілених системах)
  • Кабелі

Особливості

Якщо не вдаватися до деталей, протокол FC схожий на протокол Ethernet з WWN-адресами замість MAC-адрес. Тільки замість двох рівнів Ethernet має п'ять (з яких четвертий поки не визначений, а п'ятий - це мапінг між транспортом FC і високорівневими протоколами, які по цьому FC передаються - SCSI-3, IP). Крім того, в комутаторах FC використовують спеціалізовані сервіси, аналоги яких для IP мереж зазвичай розміщуються на серверах. Наприклад: Domain Address Manager (відповідає за призначення Domain ID комутаторам), Name Server (зберігає інформацію про підключені пристрої, такий собі аналог WINS в межах комутатора) і т.д.

Для SAN ключовими параметрами є як продуктивність, а й надійність. Адже якщо сервер БД пропаде мережу на пару секунд (або навіть хвилин) - ну неприємно буде, але пережити можна. А якщо на цей же час відвалиться жорсткий диск з базою або з ОС, ефект буде значно серйознішим. Тому всі компоненти SAN зазвичай дублюються - порти в пристроях зберігання та серверах, комутатори, лінки між комутаторами та, ключова особливість SAN, порівняно з LAN – дублювання на рівні всієї інфраструктури мережевих пристроїв – фабрики.

Фабрика (fabric- що взагалі у перекладі з англійської тканину, т.к. термін символізує переплетену схему підключення мережевих і кінцевих пристроїв, але термін вже устоявся) - сукупність комутаторів, з'єднаних між собою міжкомутаторними лінками ( ISL - InterSwitch Link).

Високонадійні SAN обов'язково включають дві (іноді й більше) фабрики, оскільки фабрика як така - єдина точка відмови. Ті, хто хоч раз спостерігав наслідки кільця в мережі або спритного руху клавіатури, що вводить в комусь комутатор рівня ядра або розподілу невдалою прошивкою або командою, розуміють про що йдеться.

Фабрики можуть мати ідентичну (дзеркальну) топологію чи відрізнятися. Наприклад, одна фабрика може складатися з чотирьох комутаторів, а інша - з одного, і до неї можуть бути підключені тільки висококритичні вузли.

Топологія

Розрізняють такі види топологій фабрики:

Каскад- Комутатори з'єднуються послідовно. Якщо їх більше двох, то ненадійно та непродуктивно.

Кільце- Замкнений каскад. Надійніше просто каскаду, хоча за великої кількості учасників (більше 4) продуктивність страждатиме. А одиничний збій ISL або одного з комутаторів перетворює схему на каскад з усіма.

Сітка (mesh). Буває Full Meshколи кожен комутатор з'єднується з кожним. Характерно високою надійністю, продуктивністю та ціною. Кількість портів, потрібне під міжкомутаторні зв'язки, з додаванням кожного нового комутатора до схеми зростає експоненційно. За певної конфігурації просто не залишиться портів під вузли - всі будуть зайняті під ISL. Partial Mesh- Будь-яке хаотичне об'єднання комутаторів.

Центр/периферія (Core/Edge)- близька до класичної топології LAN, але рівня розподілу. Нерідко сховища підключаються до Core-комутаторів, а сервери – до Edge. Хоча для сховищ може бути виділений додатковий шар (tier) Edge комутаторів. Також сховища і сервери можуть бути підключені в один комутатор для підвищення продуктивності і зниження часу відгуку (це називається локалізацією). Така топологія характеризується гарною масштабованістю та керованістю.

Зонінг (зонування, zoning)

Ще одна характерна для технологія SAN. Це визначення пар ініціатор-таргет. Тобто, яким серверам до яких дискових ресурсів можна мати доступ, щоб не вийшло, що всі сервери бачать усі можливі диски. Досягається це так:
  • вибрані пари додаються до попередньо створених на комутаторі зони (zones);
  • зони містяться в набори зон (zone set, zone config), створені там же;
  • набори зон активуються у фабриці.

Для початкового посту на тему SAN, думаю, достатньо. Перепрошую за різномасні картинки - самому намалювати на роботі поки немає можливості, а вдома ніколи. Була думка намалювати на папері та сфотографувати, але вирішив, що краще так.

Наостанок, як постскриптум, перерахую базові рекомендації щодо проектування фабрики SAN.

  • Проектувати структуру так, щоб між двома кінцевими пристроями було не більше трьох комутаторів.
  • Бажано, щоб фабрика складалася не більше ніж з 31 комутатора.
  • Варто задавати Domain ID вручну перед введенням нового комутатора у фабрику - покращує керованість та допомагає уникнути проблем однакових Domain ID, у випадках, наприклад, перепідключення комутатора з однієї фабрики до іншої.
  • Мати кілька рівноцінних маршрутів між кожним пристроєм зберігання та ініціатором.
  • У разі невизначених вимог до продуктивності виходити із співвідношення кількості Nx-портів (для кінцевих пристроїв) до кількості ISL-портів як 6:1 (рекомендація EMC) або 7:1 (рекомендація Brocade). Дане співвідношення називається перепідпискою (oversubscription).
  • Рекомендації щодо зонінгу:
    - використовувати інформативні імена зон та зон-сетів;
    - Використовувати WWPN-зонінг, а не Port-based (заснований на адресах пристроїв, а не фізичних портів конкретного комутатора);
    - Кожна зона – один ініціатор;
    - Чистити фабрику від «мертвих» зон.
  • Мати резерв вільних портів та кабелів.
  • Мати резерв обладнання (комутатори). На рівні сайту – обов'язково, можливо на рівні фабрики.

SAN Комутатори (SAN switches)

SAN комутатори використовуються як центральний пристрій комутації для вузлів мережі SAN. Ви вставляєте один кінець оптичного кабелю в роз'єм на адаптері сервера або контролері дискового масиву, а інший в порт на комутаторі. Комутатор можна порівняти з набором дротів, які скроссовані таким чином, щоб дозволити кожному пристрою мережі «говорити» по одному дроту з будь-яким іншим пристроєм мережі одночасно. Тобто, іншими словами, всі абоненти можуть розмовляти одночасно.
Один або кілька комутаторів, з'єднаних між собою, утворюють фабрику. Одна фабрика може складатися з одного або кількох комутаторів (до 239 зараз). Тому фабрику можна визначити як мережу, що складається зі з'єднаних між собою комутаторів. SAN може складатися з кількох фабрик. Більшість SAN складається з двох фабрик, одна з яких є резервною.
Ви можете підключити сервери та сховища до SAN використовуючи один комутатор, але правилом гарного тону є використання двох комутаторів, щоб уникнути втрату даних та простої при виході з ладу одного з них. На малюнку 1 показана звичайна фабрика, яка використовує два комутатори для з'єднання серверів з дисковим масивом.

Рис 1. Найпростіша фабрика з використанням 2-х комутаторів.

Зі збільшенням кількості серверів та сховищ у вашій SAN ви просто додаєте комутатори.

Рис 2. Розширення SAN Fabric

Модульні чи звичайні комутатори (modular switches)

SAN комутатори бувають на будь-який смак від 8 до сотень портів. Більшість модульних комутаторів поставляється із 8 або 16 портами. Останнім віянням є можливість нарощувати кількість портів на придбаному комутаторі з інкрементом 4. Типовим прикладом такого комутатора може бути Qlogic SANbox 5200 (рис. 3). Цей продукт ви можете придбати з 8 портами в базі, і нарощувати потім до 16 в одному модулі і до 64 портів (!) в чотирьох модулях, що з'єднуються між собою 10 гігабітним FC.

Рис 3. Qlogic SANbox 5200 - чотиримодульний стек з 64 портами

Директори чи комутатори класу підприємства (director switches)

Директори набагато дорожчі модульних комутаторів і зазвичай містять сотні портів (рис. 4). Директори можна побачити в центрі великих комутованих фабрик як ядро ​​мережі. Директори мають виняткову відмовостійкість і підтримують працездатність всієї інфраструктури 24 години на добу, 7 днів на тиждень. Вони дозволяють здійснювати регламентні роботи та заміну модулів «на льоту».

Мал. 4. SilkWorm 1200 128 port та McData InterPid 6140

Директор складається з платформи, модулів портів гарячої заміни (зазвичай 12 або 16 портів) та процесорних модулів гарячої заміни (зазвичай двопроцесорних). Директор можна придбати з 32 портами та нарощувати його до 128 – 140 портів.
У корпоративних мережах SAN зазвичай використовують директори як ядро ​​мережі. До них підключають модульні комутатори як кінцеві (граничні) комутатори. До тих, у свою чергу, підключають сервери та сховища. Така топологія називається ядро-кордон (core-to-edge topology) і дозволяє масштабувати мережу до тисяч портів (рис. 5).

Мал. 5. Топологія ядро-кордон із використанням директорів.


SAN маршрутизатори або мультипротокльні комутатори (multiprotocol switches)

SAN маршрутизатори служать для з'єднання віддалених острівців SAN у єдину мережу на вирішення завдань захисту від катастроф, консолідації ресурсів зберігання, організації процедур back-up даних віддалених підрозділів на стрічкові і дискові ресурси головного центру даних, і т.д (рис 6.). Об'єднання віддалених мереж SAN в єдиний ресурс це наступний крок в еволюції мереж зберігання даних після впровадження SAN у головній структурі та підрозділах підприємств (рис. 7).

Мал. 6: McDATA Eclipse 1620, 3300 та 4300

Мал. 7: Об'єднання віддалених мереж SAN у єдиний ресурс

Острівки SAN можна з'єднати, використовуючи протокол FC і звичайні модульні комутатори або директори, через одномодовий оптичний кабель (single mode cable або dark fiber) або використовуючи обладнання мультиплексування (DWDM). Однак такий метод не дозволить вам вийти за межі міста (радіус 70 км). Для більшого видалення знадобиться протокол Fiber Channel over IP (FCIP, http://www.iscsistorage.com/ipstorage.htm), реалізований у маршрутизаторах Eclipse компанії McData (рис. 6). FCIP «загортає» кожен кадр FC у пакет IP транспорту через мережу IP. Приймаюча сторона розпаковує пакет IP і дістає звідти оригінальний кадр FC для подальшої передачі вже по локальної мережі FC. Тут відстані не обмежені. Вся справа лише у швидкості вашого каналу IP.

Типи кабелів FC

Як фізичне середовище передачі в мережах FC використовують оптоволоконний чи мідний кабель. Мідний кабель є кручена парав оболонці та використовувався в основному для місцевих підключень у мережах FC 1Gbit/s. У сучасних мережах FC 2Gbit/s переважно використовується оптоволоконний кабель.
Існує два види оптоволоконного кабелю: одномодовий та багатомодовий.

Одномодовий кабель (long wave)

В одномодовом кабелі (SM) існує єдиний шлях поширення світлової хвилі. Розмір серцевини (core size) зазвичай становить 8.3 мк. Одномодові кабелі використовуються у пристроях, в яких потрібен низький рівень зникнення (втрати) сигналу та висока швидкість передачі даних, наприклад, на великих інтервалах між двома системами або мережевими пристроями. Наприклад, між сервером та сховищем, відстань між якими, кілька десятків кілометрів.

Максимальна відстань між двома вузлами мережі FC 2Gbit, з'єднаних кабелем одномодовим 80км без повторювачів.

Багатомодовий кабель (short wave)

Багатомодовий кабель (MM) здатний передавати по одному волокну кілька світлових хвиль, так як відносно великий розмір серцевини дозволяє світла поширюватися під різними кутами (рефракція). Типовими розмірами серцевини для MM є 50 мк та 62.5 мк. Багатомодові волоконні з'єднання найкраще підходять для пристроїв, що працюють на невеликих відстанях. Всередині офісу будівлі.

Максимальна відстань, на яку багатомодовий кабель підтримує швидкість 2 Gbit/s – 300 (50um) та 150м (62,5 um).

Типи роз'ємів FC кабелів (Cable connector types)

Роз'єми FC кабелів бувають:

Типи трансіверів (GBIC types)

Пристрої для перетворення світла на електричний сигнал і навпаки, називають трансіверами. Їх ще називають GBIC (Gigabit Interface Connectors). Трансівер знаходиться на платі FC адаптера (FC HBA), зазвичай він впаяний в неї, у світчі - у вигляді знімного модуля (див. рис.) і пристрої зберігання в тому чи іншому вигляді.

Трансівери бувають:
SFP-LC HSSDC2

Знімні модулі трансіверів (SFP)

HSSDC2: для 1/2Gbit FC для мідного кабелю
SFP-LC: (Small Form Factor Pluggable LC) 1/2Gbit FC Short/Long wave для оптоволоконного кабелю з LC конектором
SFP-SC: (Small Form Factor Pluggable SC) 1/2Gbit FC Short/Long wave для оптоволоконного кабелю з SC конектором

7 Структурні елементи SAN

У попередніх розділах наведено огляд топологій та протоколу Fibre Channel. Тепер розглянемо різні пристрої та компоненти, що використовуються для створення мереж зберігання даних Fibre Channel. До основних структурних елементів SAN відносяться:

■ адаптери шини;

■ кабелі Fibre Channel;

■ роз'єми;

■ пристрої підключення, до яких входять концентратори, комутатори та комутатори зв'язкової архітектури.

Зверніть увагу, що всі компоненти, що адресуються в межах мережі зберігання даних на основі Fibre Channel, мають унікальні імена WWN (World Wide Names), які являють собою аналоги унікальних адрес MAC. Ім'я WWN у специфікації Fibre Channel - це 64-розрядне число, що записується у вигляді XX: XX: XX: XX: XX: XX: XX: XX. Інститут IEEE призначає кожному виробнику певний діапазон адрес. Виробник відповідає за унікальне виділення призначених адрес.

7.1 Адаптери шини

Адаптер шини (host bus adapter) НВА) підключається до комп'ютера та забезпечує взаємодію з пристроями зберігання даних. В світі персональних комп'ютерівпід керуванням Windowsадаптери шини зазвичай підключаються до шині PCIі можуть надавати підключення для пристроїв IDE, SCSI та Fibre Channel. Адаптери шини працюють під керівництвом драйвера пристрою, тобто. драйвера міні-порту SCSIPort або Storport.
При ініціалізації порт адаптера шини реєструється на комутаторі зв'язкової архітектури (якщо такий доступний) і реєструє атрибути, що зберігаються на ньому. Атрибути доступні програмам за допомогою API від виробника комутатора або адаптера шини. Асоціація SNIA (Storage Networking Industry Association) pa6oтaeт над стандартизованим API, що підтримує різні API виробників.
Для мережі зберігання даних, до якої висуваються серйозні вимоги щодо стійкості до відмов, деякі виробники адаптерів шини надають додаткові можливості, наприклад, автоматичне перемикання на інший адаптер шини при відмові в роботі основного.
У кільці з поділом доступу лише два пристрої можуть одночасно здійснювати прийом та передачу даних. Припустимо, що один з них - це адаптер шини, підключений до вузла і отримує дані від пристрою зберігання. Але, якщо цей адаптер підключений до мережі зберігання даних на основі архітектури, що комутується, він може одночасно надсилати кілька запитів на читання декільком пристроям зберігання.

Відповіді на ці запити можуть надходити в будь-якому порядку. Зазвичай комутатор зв'язкової архітектури надає службу циклічного обслуговування портів, що ще більше ускладнює завдання адаптера шини; у цьому випадку порядок надходження пакетів виявиться таким, що кожен наступний пакет надходитиме від іншого джерела.
Адаптери шини дозволяють вирішити цю проблему одним із двох способів. Перша стратегія, яка називається зберегти та відсортувати, передбачає зберігання даних у пам'яті вузла з подальшим сортуванням буферів за рахунок центрального процесора. Вочевидь, що це неефективний підхід з погляду центрального процесора і загальне навантаження пов'язані з перемиканням контексту кожні кілька десятків мікросекунд. Інша стратегія - на льоту- передбачає використання додаткової системної логіки та мікросхем на самому адаптері шини, що дозволяє здійснювати перемикання контексту без використання циклів центрального процесора. Зазвичай час між перемиканнями контексту під час використання такої стратегії становить кілька секунд.
Одне резервування дозволяє надіслати один кадр Fibre Channel. Перед відправкою наступного кадру відправник повинен отримати сигнал Receiver Ready. Для ефективного використання каналу Fibre Channel необхідно одночасно передавати кілька кадрів, що вимагатиме кілька резервувань, отже знадобиться більший обсяг пам'яті для прийняття кадрів. Деякі адаптери шини мають чотири буфери розміром 1 Кбайт і два буфери по 2 Кбайт, хоча на деяких високорівневих адаптерах встановлюється 128 і 256 Кбайт для резервування буфера. Зверніть увагу, що для цієї пам'яті зазвичай потрібні два порти; тобто. коли одна область пам'яті приймає дані від SAN Fibre Channel, решта областей пам'яті можуть передавати дані шині PCI вузла.
Крім того, адаптери шини відіграють роль у забезпеченні-відмовостійкості та в архітектурі аварійним відновленнямданих, в якій надається кілька маршрутів введення-виводу до одного пристрою для зберігання даних.

7.1.1 Операційна система Windows та адаптери шини

У Windows NT і Windows 2000 адаптери Fibre Channel розглядаються як пристрої SCSI, а драйвери створюються як драйверів міні-портів SCSI. Проблема полягає в тому, що драйвер SCSIPort застарів і не підтримує можливості, що надаються новими пристроями SCSI, не кажучи вже про Fibre Channel. Тому в Windows Server 2003 було введено нову модель драйвера Storport, яка повинна замінити модель SCSIPort, особливо для пристроїв SCSI-3 та Fibre Channel. Зверніть увагу, що диски Fibre Channel використовуються Windows як DAS - пристроїв, що забезпечується рівнем абстракції драйверами SCSIPort і Storport.

7.1.2 Подвійні маршрути

Іноді необхідна підвищена продуктивністьта надійність, навіть за рахунок збільшення вартості готового рішення. У таких випадках сервер підключається до двопортових дисків через кілька адаптерів шини та кілька незалежних мереж зберігання даних Fibre Channel. Основна ідея – виключити єдину точку відмови у роботі мережі. Крім того, в ті моменти, коли система працює нормально, кілька маршрутів можуть використовуватися для балансування навантаження та підвищення продуктивності.

7.2 Типи кабелів Fibre Channel

В основному використовується два типи кабелів: оптичні та мідні. Нижче наведено основні переваги та недоліки кабелів.

■ Мідні кабелі дешевші за оптичні.

■ Оптичні кабелі підтримують вищі швидкості передачі даних, ніж мідні кабелі.

■ Мідний кабель можна використовувати на меншій відстані до 30 метрів. Оптичний кабель може використовуватися на відстані до 2 кілометрів (багатомодовий кабель) або до 10 кілометрів (одномодовий кабель).

■ Мідний кабель більш сприйнятливий до електромагнітних перешкод та взаємного впливу інших кабелів.

■ Оптичні дані зазвичай повинні бути перетворені на електричні сигнали для передачі через комутатор і назад в оптичну форму для подальшої передачі.
Існує лише один тип мідного кабелю, на відміну від оптичного, який представлений двома видами: багатомодовим та одномодовим.
На коротких дистанціях використовується багатомодовий кабель, який має серцевину діаметром 50 або 62,5 мікрона (мікрон - мікрометр, або одна мільйонна частина метра). Для великих відстаней призначений одномодовий кабель, діаметр серцевини якого становить 9 мікронів. В одномодовому кабелі використовується світловий промінь із довжиною хвилі 1300 нанометрів. Незважаючи на тему цього розділу (інтерфейс Fibre Channel), варто згадати, що такі кабелі можуть використовуватися для побудови мереж на основі інших інтерфейсів, наприклад Gigabit Ethernet.

7.3 Рознімання

Оскільки інтерфейс Fibre Channel підтримує декілька типів кабелів (і технологій передачі даних), пристрої (наприклад, адаптери шини, пристрої взаємодії та зберігання даних) випускаються з роз'ємами, які підтримують підключення до передавального середовища, що робиться для зниження загальних витрат. Існує кілька видів роз'ємів, призначених для різних середовищ, що передають, і інтерфейсів.

■ Конвертори інтерфейсу Gigabit (Gigabit interface converters - GBIC) підтримують послідовну і паралельну трансляцію даних, що передаються. Конвертори GBIC надають можливість гарячого підключення, тобто. увімкнення/вимкнення GBIC не впливає на роботу інших портів. Конверторами використовується 20-бітовий паралельний інтерфейс.

■ Модулі ліній Gigabit (Gigabit link modules - GLM) надають функції, аналогічні GBIC, але для своєї установки вимагають відключення пристрою. З іншого боку, вони дешевші, ніж GBIC.

■ Адаптери інтерфейсу носія (Media Interface Adapters) використовуються для перетворення сигналів між мідним та оптичним носієм і навпаки. Адаптери інтерфейсу носія зазвичай використовуються в адаптерах шини, але можуть застосовуватись і на комутаторах та концентраторах.

■ Адаптери малого формфактора (Small Form Factor Adapters - SFF) дозволяють розміщувати більше роз'ємів різних інтерфейсів на платі певного розміру.

7.4 Пристрої взаємодії

Пристрої взаємодії поєднують між собою компоненти мереж зберігання даних. До них відносяться різні пристрої, починаючи від дешевих концентраторів Fibre Channel і закінчуючи дорогими, високопродуктивними та керованими комутаторами зв'язкової архітектури.

7.4.1 Концентратори кільця Fibre Channel з розділенням доступу

Концентратори FC-AL є бюджетним варіантом для підключення декількох вузлів Fibre Channel (пристроїв зберігання даних, серверів, комп'ютерних систем, інших концентраторів та комутаторів) в кільцеву конфігурацію. Зазвичай у концентраторах надається від 8 до 16 портів. Концентратор може підтримувати різні середовища передачі, наприклад, мідні або оптичні.
Концентратори Fibre Channel – це пасивні пристрої, тобто. будь-який інший пристрій у кільці не може виявити їхньої присутності. Концентратори забезпечують такі можливості:

■ внутрішні з'єднання, які дозволяють будь-якому порту підключатися до будь-якого іншого порту;

■ можливість обходу порту, до якого підключено неправильно працюючий пристрій.
Найбільша проблема в роботі портів пов'язана з тим, що зараз вони можуть підтримувати тільки одне підключення Fibre Channel. На малюнку показано, що якщо порт 1 отримав керування для встановлення сеансу з портом 8, жоден інший порт не зможе передавати дані, доки встановлений сеанс не завершиться.
Концентратори можуть бути підключені до комутаторів архітектури Fibre Channel без модифікації. Крім того, можна створювати каскад концентраторів, з'єднавши два концентратори кабелем.
Концентратори FC-AL займають лідируючу позицію на ринку Fibre Channel, але в процесі зниження вартості комутатори зв'язкової архітектури Fibre Channel стають все більш популярними.
Концентратори FC-AL створюються такими компаніями, як Gadzoox Networks, Emulex та Brocade.

7.4.2 Комутатори кільця Fibre Channel з розділенням доступу

Найбільша перевага комутаторів FC-AL перед концентраторами полягає в одночасної підтримці кількох підключень, тоді як концентратори підтримують тільки одне підключення в даний час.

Мал. Концентратор Fibre Channel

Можливість одночасної підтримки кількох підключень пов'язані з певними труднощами. Пристрої, підключені до комутатора кільця, навіть не підозрюють про свою роль. Комутатори кільця беруть участь як у передачі даних, і у адресації кільця. Нижче наводиться додаткова інформаціяз цього питання, а також розглядається роль комутаторів у мережах зберігання даних та методи, за допомогою яких постачальники додають нові функції до своїх продуктів.

Рис.Коммутатор Fibre Channel

Комутатори кільця та передача даних

Сервер, який має намір отримати доступ до пристрою зберігання даних, повинен надіслати арбітражний запит на керування кільцем. У нормальному кільці FC-AL з ​​урахуванням концентратора кожен пристрій отримує арбітражний пакет до повернення адаптеру шини сервера, завдяки чому сервер отримує контроль над кільцем. Комутатор кільця надішле відповідь про успішне отримання керування негайно, не надсилаючи запити іншим вузлам. На цьому етапі адаптер шини відправить базовий пакет Open, призначений для порту пристрою зберігання, який буде переданий комутатором кільця. Якщо порт не виконує передачі даних, особливих проблем не повинно виникнути. В іншому випадку можлива поява конфліктних ситуацій. Для вирішення цієї проблеми комутатор кільця повинен надати буфера для тимчасового зберігання кадрів, призначених для порту 7. Деякі постачальники комутаторів надають для цих цілей 32 буфери на кожен порт.

Комутатори кільця та адресація FC-AL

Концентратори FC-AL не грають участі у призначенні адрес пристроям лише передають базові кадри адрес по кільцю. Те саме можна сказати і про більшість комутаторів. Однак деякі пристрої можуть наполягати на отриманні певної адреси. Деякі концентратори мають можливість керувати порядком ініціалізації портів, що дозволяє певному порту ініціалізуватися першому, після чого пристрій буде підключено до порту.

Комутатори та ініціалізація кільця

Протокол FC-AL вимагає повторної ініціалізації кільця під час підключення, вимкнення або повторної ініціалізації пристрою. Така ініціалізація кільця може призвести до порушення існуючого зв'язку між двома пристроями. Деякі виробники комутаторів надають можливість вибірково екранувати та передавати пакети LIP (Loop Initialization Primitives). Ця операція призначена для мінімізації проблем, скорочення часу повторної ініціалізації кільця та, по можливості, збереження існуючих сеансів передачі даних. У той же час необхідно забезпечити унікальність адрес пристроїв.
Якщо всі пристрої беруть участь у повторній ініціалізації кільця, дублювання адрес не відбувається, оскільки пристрої "захищають" свої адреси. Але, якщо деякі пристрої не беруть участі у повторній ініціалізації кільця, необхідно запобігти призначенню вже розподілених адрес пристроям, що беруть участь у повторній ініціалізації кільця. Унікальність адрес забезпечується додатковою логікою комутатора кільця. При додаванні пристрою зберігання пакет LIP повинен бути надісланий на сервер, однак LIP не потрібно передавати пристроям зберігання, які ніколи не встановлюють зв'язок з іншими пристроями зберігання даних.
Деякі пристрої зберігання можуть встановлювати зв'язок безпосередньо з іншими пристроями зберігання, що використовується для резервного копіюванняданих.

Комутатори кільця та зв'язкова архітектура

Якщо всі пристрої в кільці "знають" про зв'язкову архітектуру, комутатор кільця передає звичайним чином необхідні кадри, наприклад кадри Fabric Login Якщо пристрої в кільці не підтримують зв'язкову архітектуру, комутатор кільця повинен самостійно виконувати досить великий
обсяг роботи.
Комутатори кільця деяких постачальників не підтримують каскадування. Крім того, деяким комутаторам кільця потрібне оновлення прошивки перед підключенням до комутаторів зв'язкової архітектури. Ряд комутаторів слід модернізувати для повної підтримки зв'язкової архітектури перед підключенням до SAN.
Комутатори FC-AL виробляються такими компаніями як Brocade, McDATA, Gadzoox Networks, Vixel і QLogic.

7.4.3 Комутатори зв'язкової архітектури Fibre Channel

Комутатори зв'язкової архітектури Fibre Channel (Fibre Channel Fabric Switches - FC-SW) забезпечують кілька швидкісних сеансів зв'язку одночасно з усіма пристроями. На даний момент основні комутатори підтримують швидкодію порядку 1 Гбіт/с, тоді як швидкість 2 Гбіт/с також перестає бути дивиною. В основному комутатори зв'язкової архітектури в перерахунку на один порт коштують дорожче, ніж концентратори та комутатори FC-AL, але вони надають набагато більше функціональних можливостей.
Комутатори зв'язкової архітектури більш ефективні порівняно з концентраторами та комутаторами FC-AL. Наприклад, комутатори надають спеціальні служби, описані вище, забезпечують управління потоком за допомогою базових пакетів управління, а також, що набагато важливіше, деякі комутатори здатні емулювати функції FC-AL для забезпечення зворотної сумісності з старішими пристроями.
Деякі комутатори зв'язкової архітектури підтримують маршрутизацію без буферизації. Суть її в тому, що при отриманні заголовка кадру комутатор швидко знаходить заголовок трчки призначення, поки кадр все ще приймається. Перевага такого підходу – зниження затримок при доставці кадру та відсутність необхідності зберігання вмісту кадру у пам'яті буфера. А недолік полягає у негайній передачі всіх кадрів, включаючи пошкоджені.
Комутатори зв'язкової архітектури відіграють важливу роль у безпеці мереж зберігання даних на основі Fibre Channel.

7.4.4 Порівняння трьох пристроїв підключення

У таблиці. функціональні можливостіта відмінності між трьома типами пристроїв Fibre Channel.

7.4.5 Мости та маршрутизатори

Як у цьому розділі, так і у всій статті терміни мости (bridges) та маршрутизатори (routers) не належать до традиційних мостів Ethernet та маршрутизаторів IP. У цьому випадку під мостами та маршрутизаторами маються на увазі пристрої для Fibre Channel, а не для мережевих протоколів 2-го та 3-го рівнів.
Мости – це пристрої, що забезпечують взаємодію між Fibre Channel та застарілими протоколами, наприклад SCSI. Мости Fibre Channel-SCSI дозволяють зберегти існуючі інвестиції у пристрої зберігання SCSI. Такі мости підтримують інтерфейси SCSI та Fibre Channel та перетворюють дані двох протоколів. Таким чином, новий сервер з встановленим адаптером Fibre Channel може отримати доступ до існуючих пристроїв зберігання SCSI. Мости надають інтерфейс між паралельною шиною SCSI та інтерфейсом Fibre Channel. Маршрутизатори мають аналогічні можливості, але для декількох шин SCSI та інтерфейсів Fibre Channel. Маршрутизатори систем зберігання даних, або інтелектуальні мости, надають такі додаткові можливості, як маскування і відображення LUN, а також підтримують команди SCSI Extended Copy. Як пристрої, що передають дані, маршрутизатори застосовують команди Extended Copy для використання бібліотеками зберігання, що дозволяє копіювати дані між вказаним цільовим пристроєм та підключеною бібліотекою. Ця функція також називається незалежним резервним копіюванням (без сервера).
Як приклад виробників маршрутизаторів і мостів можна навести такі компанії, як Crossroads Systems, Chaparral Network Storage, Advanced Digital Information Corporation (ADIC після придбання Path-light) та MTI.

У справі пізнання SAN зіткнувся з певною перешкодою – важкодоступністю базової інформації. У питанні вивчення інших інфраструктурних продуктів, з якими доводилося зіштовхуватися, простіше – є пробні версії ПЗ, можливість встановити їх на віртуальній машині, є купа підручників, референс гайдів та блогів на тему. Cisco і Microsoft клепають дуже якісні підручники, MS ще сяк-так причесал свою пекельну горищну комору під назвою technet, навіть по VMware є книга, нехай і одна (і навіть російською мовою!), причому з ККД близько 100%. Вже і за самими пристроями зберігання даних можна отримати інформацію з семінарів, маркетингових заходів та документів, форумів. По мережі ж зберігання – тиша та мертві з косами стояти. Я знайшов два підручники, але купити не наважився. Це "Storage Area Networks For Dummies" (є і таке, виявляється. Дуже допитливі англомовні "чайники" в цільовій аудиторії, мабуть) за півтори тисячі рублів і "Distributed Storage Networks: Architecture, Protocols and Management" - виглядає надійніше, але 8200р при знижці 40%. Разом із цією книгою Ozon рекомендує також книгу «Мистецтво цегляної кладки».

Що порадити людині, яка вирішить з нуля вивчити хоча б теорію організації мережі зберігання даних, я не знаю. Як показала практика, навіть дорогі курси можуть дати на виході нуль. Люди, що стосуються SAN поділяються на три категорії: ті, хто взагалі не знає що це, хто знає, що таке явище просто є і ті, хто на питання «навіщо в мережі зберігання робити дві і більше фабрики» дивляться з таким подивом, ніби їх запитали щось на кшталт «навіщо квадрату чотири кути?».

Спробую заповнити прогалину, якої не вистачало мені – описати базу та описати просто. Розглядатиму SAN на базі її класичного протоколу - Fibre Channel.

Отже, SAN - Storage Area Network- призначена для консолідації дискового простору серверів спеціально виділених дискових сховищах. Суть у тому, що так дискові ресурси економніше використовуються, легше керуються і мають більшу продуктивність. А в питаннях віртуалізації та кластеризації, коли кільком серверам потрібен доступ до одного дискового простору, подібні системи зберігання даних взагалі незамінна штука.

До речі, в термінологіях SAN завдяки перекладу російською виникає деяка плутанина. SAN у перекладі означає «мережа зберігання даних» - СГД. Проте класично у Росії під СХД розуміється термін «система зберігання даних», тобто саме дисковий масив ( Storage Array), який у свою чергу складається з Керуючого блоку ( Storage Processor, Storage Controller) та дискових полиць ( Disk Enclosure). Проте, в оригіналі Storage Array є лише частиною SAN, хоча часом найзначнішою. У Росії її отримуємо, що СХД (система зберігання даних) є частиною СХД (мережі зберігання даних). Тому пристрої зберігання зазвичай називають СГД, а мережа зберігання - SAN (і плутають із «Sun», але це вже дрібниці).

Компоненти та терміни

Технологічно SAN складається з наступних компонентів:
1. Вузли, ноди (nodes)
  • Дискові масиви (системи зберігання даних) - сховища (таргети)
  • Сервери - споживачі дискових ресурсів (ініціатори).
2. Мережева інфраструктура
  • Комутатори (і маршрутизатори у складних та розподілених системах)
  • Кабелі

Особливості

Якщо не вдаватися до деталей, протокол FC схожий на протокол Ethernet з WWN-адресами замість MAC-адрес. Тільки замість двох рівнів Ethernet має п'ять (з яких четвертий поки не визначений, а п'ятий - це мапінг між транспортом FC і високорівневими протоколами, які по цьому FC передаються - SCSI-3, IP). Крім того, в комутаторах FC використовують спеціалізовані сервіси, аналоги яких для IP мереж зазвичай розміщуються на серверах. Наприклад: Domain Address Manager (відповідає за призначення Domain ID комутаторам), Name Server (зберігає інформацію про підключені пристрої, такий собі аналог WINS в межах комутатора) і т.д.

Для SAN ключовими параметрами є як продуктивність, а й надійність. Адже якщо сервер БД пропаде мережу на пару секунд (або навіть хвилин) - ну неприємно буде, але пережити можна. А якщо на цей же час відвалиться жорсткий диск з базою або з ОС, ефект буде значно серйознішим. Тому всі компоненти SAN зазвичай дублюються - порти в пристроях зберігання та серверах, комутатори, лінки між комутаторами та, ключова особливість SAN, у порівнянні з LAN - дублювання на рівні всієї інфраструктури мережевих пристроїв - фабрики.

Фабрика (fabric- що взагалі у перекладі з англійської тканину, т.к. термін символізує переплетену схему підключення мережевих і кінцевих пристроїв, але термін вже устоявся) - сукупність комутаторів, з'єднаних між собою міжкомутаторними лінками ( ISL - InterSwitch Link).

Високонадійні SAN обов'язково включають дві (іноді й більше) фабрики, оскільки фабрика як така - єдина точка відмови. Ті, хто хоч раз спостерігав наслідки кільця в мережі або спритного руху клавіатури, що вводить в комусь комутатор рівня ядра або розподілу невдалою прошивкою або командою, розуміють про що йдеться.

Фабрики можуть мати ідентичну (дзеркальну) топологію чи відрізнятися. Наприклад, одна фабрика може складатися з чотирьох комутаторів, а інша - з одного, і до неї можуть бути підключені тільки висококритичні вузли.

Топологія

Розрізняють такі види топологій фабрики:

Каскад- Комутатори з'єднуються послідовно. Якщо їх більше двох, то ненадійно та непродуктивно.

Кільце- Замкнений каскад. Надійніше просто каскаду, хоча за великої кількості учасників (більше 4) продуктивність страждатиме. А одиничний збій ISL або одного з комутаторів перетворює схему на каскад з усіма.

Сітка (mesh). Буває Full Meshколи кожен комутатор з'єднується з кожним. Характерно високою надійністю, продуктивністю та ціною. Кількість портів, потрібне під міжкомутаторні зв'язки, з додаванням кожного нового комутатора до схеми зростає експоненційно. За певної конфігурації просто не залишиться портів під вузли - всі будуть зайняті під ISL. Partial Mesh- Будь-яке хаотичне об'єднання комутаторів.

Центр/периферія (Core/Edge)- близька до класичної топології LAN, але рівня розподілу. Нерідко сховища підключаються до Core-комутаторів, а сервери – до Edge. Хоча для сховищ може бути виділений додатковий шар (tier) Edge комутаторів. Також сховища і сервери можуть бути підключені в один комутатор для підвищення продуктивності і зниження часу відгуку (це називається локалізацією). Така топологія характеризується гарною масштабованістю та керованістю.

Зонінг (зонування, zoning)

Ще одна характерна для технологія SAN. Це визначення пар ініціатор-таргет. Тобто, яким серверам до яких дискових ресурсів можна мати доступ, щоб не вийшло, що всі сервери бачать усі можливі диски. Досягається це так:
  • вибрані пари додаються до попередньо створених на комутаторі зони (zones);
  • зони містяться в набори зон (zone set, zone config), створені там же;
  • набори зон активуються у фабриці.

Для початкового посту на тему SAN, думаю, достатньо. Перепрошую за різномасні картинки - самому намалювати на роботі поки немає можливості, а вдома ніколи. Була думка намалювати на папері та сфотографувати, але вирішив, що краще так.

Наостанок, як постскриптум, перерахую базові рекомендації щодо проектування фабрики SAN.

  • Проектувати структуру так, щоб між двома кінцевими пристроями було не більше трьох комутаторів.
  • Бажано, щоб фабрика складалася не більше ніж з 31 комутатора.
  • Варто задавати Domain ID вручну перед введенням нового комутатора у фабрику - покращує керованість та допомагає уникнути проблем однакових Domain ID, у випадках, наприклад, перепідключення комутатора з однієї фабрики до іншої.
  • Мати кілька рівноцінних маршрутів між кожним пристроєм зберігання та ініціатором.
  • У разі невизначених вимог до продуктивності виходити із співвідношення кількості Nx-портів (для кінцевих пристроїв) до кількості ISL-портів як 6:1 (рекомендація EMC) або 7:1 (рекомендація Brocade). Дане співвідношення називається перепідпискою (oversubscription).
  • Рекомендації щодо зонінгу:
    - використовувати інформативні імена зон та зон-сетів;
    - Використовувати WWPN-зонінг, а не Port-based (заснований на адресах пристроїв, а не фізичних портів конкретного комутатора);
    - Кожна зона – один ініціатор;
    - Чистити фабрику від «мертвих» зон.
  • Мати резерв вільних портів та кабелів.
  • Мати резерв обладнання (комутатори). На рівні сайту – обов'язково, можливо на рівні фабрики.


ПОХОДЖЕННЯ СТАТТІ