SAS, NAS, SAN: шаг к сетям хранения данных. Мосты и маршрутизаторы

Если вы управляете своей собственной инфраструктурой в своем собственном центре обработки данных, вы должны пройти выбор различных предложений для хранения. Выбор решения для хранения данных в значительной степени зависит от вашего требования. Перед окончательной доработкой определенного варианта хранения для вашего случая использования немного полезно понимание технологии.

Я на самом деле собирался написать статью об хранении объектов (которая является самой актуальной опцией хранения в облаке). Но прежде чем идти и обсуждать эту часть арены хранения, я подумал, что лучше обсудить два основных метода хранения, которые совместно существуют вместе с очень долгое время, которые используются компаниями внутри страны для их нужд.

Решение вашего типа хранилища будет зависеть от многих факторов, таких как приведенные ниже.

Тип данных, которые вы хотите сохранить
Схема использования
Масштабирование
Наконец, ваш бюджет

Когда вы начинаете свою карьеру в качестве системного администратора, вы часто слышите, как ваши коллеги рассказывают о различных методах хранения, таких как SAN, NAS, DAS и т.д. И без небольшого рытья вы должны путаться с разными условиями хранения. Путаница возникает часто из-за сходства между различными подходами к хранению. Единственное твердое и быстрое правило оставаться в курсе технических терминов — продолжать читать материалы (особенно концепции, лежащие в основе определенной технологии).

Сегодня мы обсудим два разных метода, которые определяют структуру хранилища в вашей среде. Ваш выбор из двух в вашей архитектуре должен зависеть только от вашего варианта использования и типа данных, которые вы храните.

В конце этого урока я надеюсь, что у вас будет четкое представление о двух основных методах хранения и о том, что выбрать для ваших нужд.

SAN (сеть хранения данных) и NAS (сетевое хранилище)

Ниже приводятся основные отличия каждой из этих технологий.

Как хранилище подключено к системе. Короче, как делается соединение между системой доступа и компонентом хранения (напрямую подключенным или подключенным к сети)
Тип кабеля, используемый для подключения. Короче говоря, это тип кабелей для подключения системы к компоненту хранения (например, Ethernet и Fibre Channel)
Как выполняются запросы ввода и вывода. Короче говоря, это протокол, используемый для выполнения запросов ввода и вывода (например, SCSI, NFS, CIFS и т.д.)

Давайте обсудим SAN сначала, а затем NAS, и в конце давайте сравним каждую из этих технологий, чтобы очистить различия между ними.

SAN (сеть хранения)

Сегодняшние приложения очень ресурсоемкие, из-за запросов, которые необходимо обрабатывать одновременно в секунду. Возьмите пример веб-сайта электронной коммерции, где тысячи людей делают заказы в секунду, и все они должны быть правильно сохранены в базе данных для последующего поиска. Технология хранения, используемая для хранения таких баз данных с высоким трафиком, должна быть быстрой в обслуживании и ответе запросов (вкратце, это должно быть быстрым на входе и выходе).

В таких случаях (когда вам нужна высокая производительность и быстрый ввод-вывод), мы можем использовать SAN.

SAN — это не что иное, как высокоскоростная сеть, которая делает соединения между устройствами хранения и серверами.

Традиционно серверы приложений использовали свои собственные устройства хранения, прикрепленные к ним. Разговор с этими устройствами с помощью протокола, известного как SCSI (Small Computer System Interface). SCSI — это не что иное, как стандарт, используемый для связи между серверами и устройствами хранения. Все обычные жесткие диски, ленточные накопители и т.д. Используют SCSI. Вначале требования к хранилищу сервера выполнялись устройствами хранения, которые были включены внутри сервера (сервер, используемый для разговора с этим внутренним устройством хранения данных, используя SCSI. Это очень похоже на то, как обычный рабочий стол разговаривает с его внутренним жесткий диск.).

Такие устройства, как компакт-диски, подключаются к серверу (который является частью сервера) с использованием SCSI. Основным преимуществом SCSI для подключения устройств к серверу была его высокая пропускная способность. Хотя этой архитектуры достаточно для низких требований, существует несколько ограничений, таких как приведенные ниже.

Сервер может получать доступ только к данным на устройствах, которые непосредственно привязаны к нему.
Если что-то случится с сервером, доступ к данным завершится неудачно (поскольку устройство хранения является частью сервера и подключено к нему с использованием SCSI)
Ограничение количества устройств хранения, к которым может получить доступ сервер. В случае, если серверу требуется больше места для хранения, не будет больше места, которое можно подключить, поскольку шина SCSI может вместить только конечное число устройств.
Кроме того, сервер, использующий хранилище SCSI, должен находиться рядом с устройством хранения (поскольку параллельный SCSI, который является обычной реализацией на большинстве компьютеров и серверов, имеет некоторые ограничения на расстояние, он может работать до 25 метров).

Некоторые из этих ограничений можно преодолеть с помощью DAS (непосредственно привязанного хранилища). Смарт, используемый для прямого подключения хранилища к серверу, может быть любым из каналов SCSI, Ethernet, Fiber и т. Д.). Низкая сложность, низкие инвестиции, простота в развертывании привела к тому, что DAS были приняты многими для нормальных требований. Решение было хорошим даже с точки зрения производительности, если оно используется с более быстрыми средами, такими как волоконный канал.

Даже внешний USB-накопитель, подключенный к серверу, также является DAS (хорошо концептуально его DAS, так как он непосредственно подключен к USB-шине сервера). Но USB-накопители обычно не используются из-за ограничения скорости шины USB. Обычно для тяжелых и больших систем хранения данных DAS используется носитель SAS (последовательно подключенный SCSI). Внутренне устройство хранения данных может использовать RAID (что обычно имеет место) или что-либо, чтобы обеспечить объемы хранения на серверах. В настоящее время параметры хранения SAS обеспечивают скорость 6 Гбит / с.

Примером устройства хранения данных DAS является MD1220 от Dell.

На сервере хранилище DAS будет очень похоже на собственный накопитель или внешний накопитель, который вы подключили.

Хотя DAS хорош для нормальных потребностей и дает хорошую производительность, существуют такие ограничения, как количество серверов, которые могут получить к нему доступ. Храните устройство или скажем, что хранилище DAS должно находиться рядом с сервером (в той же стойке или в пределах допустимого расстояния используемого носителя).

Можно утверждать, что непосредственно прикрепленное хранилище (DAS) работает быстрее, чем любые другие методы хранения. Это связано с тем, что он не связан с некоторыми издержками передачи данных по сети (вся передача данных происходит на выделенном соединении между сервером и устройством хранения. В основном его последовательно подключен SCSI или SAS). Однако из-за последних улучшений в волоконном канале и других механизмах кэширования SAN также обеспечивает лучшую скорость, подобную DAS, и в некоторых случаях превосходит скорость, предоставляемую DAS.

Прежде чем войти в SAN, давайте разобраться в нескольких типах и методах мультимедиа, которые используются для соединения устройств хранения данных (когда я говорю о устройствах хранения данных, пожалуйста, не рассматривайте его как один жесткий диск. Возьмите его как массив дисков, возможно, на каком-то уровне RAID. Считайте это чем-то вроде Dell MD1200).

Что такое SAS (Serial Attached SCSI), FC (Fibre Channel) и iSCSI (Internet Small Computer System Interface)?

Традиционно устройства SCSI, такие как внутренний жесткий диск, подключаются к общей параллельной шине SCSI. Это означает, что все подключенные устройства будут использовать одну и ту же шину для отправки / получения данных. Но совместные параллельные соединения не очень хороши для высокой точности и создают проблемы при высокоскоростных передачах. Однако последовательное соединение между устройством и сервером может увеличить общую пропускную способность передачи данных. SAS между устройствами хранения и серверами использует выделенный 300 МБ / сек на диск. Подумайте о шине SCSI, которая имеет одинаковую скорость для всех подключенных устройств.

SAS использует одни и те же команды SCSI для отправки и приема данных с устройства. Также, пожалуйста, не думайте, что SCSI используется только для внутреннего хранилища. Он также используется для подключения внешнего устройства хранения к серверу.

Если производительность передачи данных и надежность являются выбором, то использование SAS — лучшее решение. С точки зрения надежности и частоты ошибок диски SAS намного лучше по сравнению со старыми дисками SATA. SAS был разработан с учетом производительности, благодаря которой он является полнодуплексным. Это означает, что данные могут быть отправлены и приняты одновременно с устройства, использующего SAS. Также один хост-порт SAS может подключаться к нескольким дискам SAS с использованием расширителей. SAS использует передачу данных точка-точка, используя последовательную связь между устройствами (устройствами хранения, такими как дисковые накопители и дисковые массивы) и хостами.

Первое поколение SAS обеспечило скорость 3Gb / s. Второе поколение SAS улучшило это до 6 Гбит / с. И третье поколение (которое в настоящее время используется многими организациями для экстремально высокой пропускной способности) улучшило это до 12 Гбит / с.

Протокол Fibre Channel

Fibre Channel — относительно новая технология межсоединений, используемая для быстрой передачи данных. Основная цель его конструкции — обеспечить передачу данных с более высокими скоростями с очень низкой / незначительной задержкой. Он может использоваться для соединения рабочих станций, периферийных устройств, массивов хранения и т. Д.

Основным фактором, который отличает оптоволоконный канал от другого метода соединения, является то, что он может управлять как сетью, так и связью ввода-вывода по одному каналу с использованием одних и тех же адаптеров.

ANSI (Американский национальный институт стандартов) стандартизовал канал Fiber в течение 1988 года. Когда мы говорим, что Fiber (в канале Fiber) не думает, что он поддерживает только среду оптического волокна. Fiber — термин, используемый для любого носителя, используемого для соединения по протоколу волоконного канала. Вы даже можете использовать медный провод для более низкой стоимости.

Обратите внимание на то, что стандарт волоконных каналов от ANSI поддерживает сетевое взаимодействие, хранение и передачу данных. Канал Fiber не знает тип данных, которые вы передаете. Он может отправлять команды SCSI, инкапсулированные в кадр волоконного канала (у него нет собственных команд ввода-вывода для отправки и получения памяти). Основное преимущество заключается в том, что он может включать широко распространенные протоколы, такие как SCSI и IP внутри.

Ниже перечислены компоненты соединения волоконного канала. Требование ниже минимально для достижения одноточечного соединения. Обычно это может использоваться для прямого соединения между массивом хранения и хостом.

HBA (адаптер основной шины) с портом Fibre Channel
Драйвер для карты HBA
Кабели для соединения устройств в канале волоконно-оптического канала HBA

Как упоминалось ранее, протокол SCSI инкапсулируется внутри волоконного канала. Таким образом, обычно данные SCSI должны быть изменены в другом формате, который волоконный канал может доставить в пункт назначения. И когда получатель получает данные, он передает его на SCSI.

Возможно, вы думаете, почему нам нужно это сопоставление и переназначение, почему мы не можем напрямую использовать SCSI для доставки данных. Это связано с тем, что SCSI не может доставлять данные на большие расстояния до большого количества устройств (или большого количества хостов).

Канал волокна можно использовать для соединения систем до 10 км (если они используются с оптическими волокнами, вы можете увеличить это расстояние за счет наличия повторителей между ними). И вы также можете передавать данные в размере 30 м с использованием медного провода для снижения стоимости в канале волокна.

С появлением коммутаторов оптоволоконных каналов от множества крупных поставщиков, подключение большого количества устройств хранения и серверов стало легкой задачей (при условии, что у вас есть бюджет для инвестиций). Сетевая способность волоконного канала привела к передовому внедрению SAN (Storage Area Networks) для быстрого, долгого и надежного доступа к данным. Большая часть вычислительной среды (которая требует быстрой передачи больших объемов данных) использует волоконно-оптический канал SAN с оптоволоконными кабелями.

Текущий стандарт волоконного канала (называемый 16GFC) может передавать данные со скоростью 1600 МБ / с (не забывайте, что этот стандарт был выпущен в 2011 году). Ожидается, что предстоящие стандарты в ближайшие годы обеспечат скорость 3200 Мбайт / с и 6400 Мбайт / с.

Интерфейс iSCSI (интерфейс для работы с малыми компьютерами)

iSCSI — это не что иное, как стандарт на основе IP для соединения массивов и узлов хранения. Он используется для переноса трафика SCSI через IP-сети. Это самое простое и дешевое решение (хотя и не лучшее) для подключения к запоминающему устройству.

Это отличная технология для хранения, не зависящего от местоположения. Поскольку он может установить соединение с устройством хранения данных с использованием локальных сетей, глобальной сети. Его стандарт межсетевого взаимодействия с сетью хранения. Он не требует специальных кабелей и оборудования, как в случае сети волоконных каналов.

Для системы, использующей массив хранения с iSCSI, хранилище отображается как локально подключенный диск. Эта технология появилась после волоконного канала и была широко принята благодаря низкой стоимости.

Это сетевой протокол, который выполняется поверх TCP / IP. Вы можете догадаться, что это не очень хорошая производительность по сравнению с оптоволоконным каналом (просто потому, что все работает по TCP без специального оборудования и изменений в вашей архитектуре).

iSCSI вводит немного нагрузки на процессор на сервере, потому что сервер должен выполнять дополнительную обработку для всех запросов на хранение по сети с помощью обычного TCP.

iSCSI имеет следующие недостатки, по сравнению с оптоволоконным каналом

iSCSI вводит немного больше латентности по сравнению с оптоволоконным каналом из-за накладных расходов на заголовки IP
Приложения базы данных имеют небольшие операции чтения и записи, которые, когда они выполняются на iSCSI,
iSCSI, когда выполняется в той же локальной сети, которая содержит другой обычный трафик (другой инфраструктурный трафик, отличный от iSCSI), приведет к задержке чтения / записи или низкой производительности.
Максимальная скорость / пропускная способность ограничена скоростью вашего Ethernet и сети. Даже если вы объединяете несколько ссылок, он не масштабируется до уровня волоконного канала.

NAS (сетевое хранилище)

Простейшим определением NAS является «Любой сервер, который имеет собственное хранилище с другими в сети и выступает в качестве файлового сервера, является самой простой формой NAS».

Пожалуйста, обратите внимание на то, что Network Attached Storage совместно использует файлы по сети. Не устройство хранения данных по сети.

NAS будет использовать Ethernet-соединение для обмена файлами по сети. Устройство NAS будет иметь IP-адрес, а затем будет доступно через сеть через этот IP-адрес. Когда вы получаете доступ к файлам на файловом сервере в вашей системе Windows, это в основном NAS.

Основное различие заключается в том, как ваш компьютер или сервер обрабатывает конкретное хранилище. Если компьютер рассматривает хранилище как часть себя (подобно тому, как вы присоединяете DAS к вашему серверу), другими словами, если процессор сервера отвечает за управление прикрепленным хранилищем, это будет своего рода DAS. И если компьютер / сервер рассматривает хранилище, прикрепленное как другой компьютер, который делится своими данными через сеть, то это NAS.

Прямо подключенное хранилище (DAS) можно рассматривать как любое другое периферийное устройство, такое как клавиатура мыши и т. Д. Так как сервер / компьютер — это прямое устройство хранения данных. Однако NAS — это еще один сервер или сказать, что оборудование имеет свои собственные вычислительные функции, которые могут совместно использовать собственное хранилище с другими.

Даже SAN-хранилище также можно рассматривать как оборудование, имеющее собственную вычислительную мощность. Таким образом, основное различие между NAS, SAN и DAS заключается в том, как видит сервер / компьютер. Устройство хранения данных DAS появляется на сервере как часть самого себя. Сервер видит его как свою физическую часть. Хотя хранилище DAS не может находиться внутри сервера (обычно это другое устройство со своим собственным массивом хранения), сервер видит его как свою внутреннюю часть (хранилище DAS появляется на сервере как собственное внутреннее хранилище)

Когда мы говорим о NAS, нам нужно назвать их акциями, а не устройствами хранения. Поскольку NAS появляется на сервере как общая папка вместо общего устройства по сети. Не забывайте, что NAS-устройства сами по себе являются компьютерами, которые могут делиться своим хранилищем с другими. Когда вы совместно используете папку с контролем доступа, используя SAMBA, ее NAS.

Хотя NAS — более дешевый вариант для ваших потребностей в хранении. Это действительно не подходит для высокопроизводительного приложения уровня предприятия. Никогда не думайте об использовании хранилища баз данных (которое должно быть высокопроизводительным) с NAS. Основным недостатком использования NAS является проблема с производительностью и зависимость от сети (в большинстве случаев LAN, которая используется для обычного трафика, также используется для совместного использования хранилища с NAS, что делает его более перегруженным).

Когда вы совместно экспортируете NFS по сети, это также форма NAS.

NAS — это не что иное, как устройство / equipmet / server, подключенное к сети TCP / IP, которое имеет собственное хранилище с другими. Если вы копаете немного глубже, когда запрос на чтение / запись файла отправляется на общий ресурс NAS, подключенный к серверу, запрос отправляется в виде систем CIFS (общая интернет-файловая система) или NFS (Network File System) сеть. Принимающая сторона (устройство NAS) при приеме запроса NFS, CIFS затем преобразует его в набор команд локального хранилища ввода-вывода. Именно по этой причине NAS-устройство имеет собственную вычислительную мощность.

Таким образом, NAS — это хранилище на уровне файлов (поскольку в основном это технология обмена файлами). Это связано с тем, что он скрывает фактическую файловую систему под капотом. Это дает пользователям интерфейс для доступа к его общей памяти с помощью NFS или CIFS.

Общее использование NAS, которое вы можете найти, — предоставить каждому пользователю домашний каталог. Эти домашние каталоги хранятся на устройстве NAS и монтируются на компьютер, где пользователь входит в систему. Поскольку домашний каталог доступен в сети, пользователь может входить в систему с любого компьютера в сети.

Преимущества NAS

NAS имеет менее сложную архитектуру по сравнению с SAN
Его дешевле развертывать в существующей архитектуре.
В вашей архитектуре не требуется никаких изменений, так как обычная сеть TCP / IP является единственным требованием

Недостатки NAS

NAS медленный
Низкая пропускная способность и высокая латентность, благодаря чему ее нельзя использовать для высокопроизводительных приложений

Возвращение в SAN

Теперь давайте вернемся к обсуждению SAN (сети хранения данных), которые мы начали ранее в начале.

Первой и самой важной задачей для понимания SAN (помимо того, что мы уже обсуждали в начале) является тот факт, что это решение для хранения на уровне блоков. И SAN оптимизирован для большого объема передачи данных уровня блока. SAN лучше всего работает при использовании со средой волоконного канала (оптические волокна и коммутатор волоконного канала).

Название «Сеть хранения данных» подразумевает, что хранилище находится в собственной выделенной сети. Хосты могут подключать устройство хранения к себе, используя либо Fibre Channel, сеть TCP / IP (SAN использует iSCSI при использовании по сети tcp / ip).

SAN можно рассматривать как технологию, которая сочетает в себе лучшие функции как DAS, так и NAS. Если вы помните, DAS появляется на компьютере как свое собственное устройство хранения данных и хорошо известно, DAS также является решением для хранения на уровне блоков (если вы помните, мы никогда не говорили о CIFS или NFS во время DAS). NAS известен своей гибкостью, основным доступом через сеть, контролем доступа и т.д. SAN сочетает в себе лучшие возможности обоих этих миров, потому что…

SAN-хранилище также появляется на сервере как свое собственное устройство хранения данных
Его решение для хранения на уровне блоков
Хорошая производительность / скорость
Сетевые функции с использованием iSCSI

SAN и NAS не являются конкурирующими технологиями, но предназначены для различных нужд и задач. Поскольку SAN представляет собой решение для хранения на уровне блоков, оно наилучшим образом подходит для хранения данных с высокой производительностью, хранения электронной почты и т. Д. Большинство современных решений SAN обеспечивают зеркалирование диска, архивирование функций резервного копирования и репликации.

SAN представляет собой выделенную сеть устройств хранения (может включать в себя накопители на магнитных лентах, массивы RAID-массивов и т. Д.), Которые работают вместе, чтобы обеспечить превосходное хранение на уровне блоков. В то время как NAS — это одно устройство / сервер / вычислительное устройство, он использует собственное хранилище по сети.

Основные отличия между SAN и NAS

SAN	NAS
Доступ к данным на уровне блоков	Доступ к данным уровня файла
Канал Fiber является основным носителем, используемым с SAN.	Ethernet — это основной носитель, используемый с NAS
SCSI является основным протоколом ввода-вывода	NFS / CIFS используется в качестве основного протокола ввода-вывода в NAS
Хранилище SAN отображается на компьютере как собственное хранилище	Загрузки NAS в качестве общей папки на компьютер
Он может иметь отличную скорость и производительность при использовании со световодами	Иногда это может ухудшить производительность, если сеть используется и для других вещей (что обычно имеет место)
Используется, главным образом, для хранения данных уровня более высокого уровня производительности	Используется для небольших операций чтения и записи на большие расстояния

Коммутаторы Ethernet разного класса - от предназначенных для домашних сетей и небольших рабочих групп до оборудования для распределенных сетей крупных компаний – используются в качестве основного «строительного блока» при создании корпоративных сетей передачи данных. Выбор тех или иных продуктов, их функциональности и вариантов построения сетевой инфраструктуры зависит от решаемой задачи и требований к пропускной способности, масштабу, надежности сети, мобильности пользователей, поддержке приложений.

Коммутатор (switch ) - устройство, предназначенное для соединения нескольких узлов компьютерной сети в пределах одного или нескольких ее сегментов.

Чтобы правильно выбрать коммутатор, нужно представлять топологию сети, знать примерное количество пользователей, скорость передачи данных для каждого участка сети, требования к безопасности и многое другое, а также разбираться в специфике работы этого сетевого оборудования.

Коммутаторы различаются числом и типом портов, архитектурой, конструктивным исполнением, функциональностью, надежностью, производительностью и ценой.

Введение в технологию коммутации

Что такое коммутатор и для чего он нужен

Коммутатор объединяет различные сетевые устройства, такие как ПК, серверы, подключенные к сети системы хранения данных, в единый сегмент сети, дает им возможность общаться между собой. Он определяет, какому именно получателю адресованы данные, и посылает их непосредственно адресату. Исключение составляет широковещательный трафик всем узлам сети и трафик устройств, для которых неизвестен исходящий порт коммутатора.

Это повышает производительность и безопасность сети, избавляя остальные сегменты сети от необходимости обрабатывать не предназначенные им данные.

Коммутатор передает информацию только адресату.

switch ) работает на канальном (втором, L 2) уровне модели OSI. В этом случае для соединения нескольких сетей на сетевом уровне (третий уровень OSI, L 3) служат маршрутизаторы (router ).

Принципы работы коммутатора

В памяти коммутатора хранится таблица коммутации, где фиксируются MAC-адреса подключенных к портам устройств, то есть указывается соответствие MAC-адреса узла сети порту коммутатора. При получении данных с одного из портов коммутатор анализирует их и определяет адрес назначения, по таблице выбирает порт, куда их следует передать.

При включении коммутатора таблица пуста, и он работает в режиме обучения: поступающие на любой порт данные передаются на все остальные порты. При этом коммутатор анализирует фреймы (кадры) и, определив MAC-адрес хоста-отправителя, заносит его в таблицу. Впоследствии, если на один из портов коммутатора поступит фрейм, предназначенный для хоста, MAC-адрес которого уже есть в таблице, то этот фрейм будет передан только через порт, указанный в таблице. Если MAC-адрес хоста-получателя не ассоциирован с каким-либо портом коммутатора, то фрейм отправляется на все порты, за исключением порта-источника.

Формирование таблицы коммутации. MAC-адреса сетевых устройств соотносятся с конкретными портами коммутатора.

Как происходит коммутация при формированной таблице? Например, абонент с адресом А отправляет фрейм получателю с адресом D. По таблице коммутатор определяет, что станция с адресом А подключена к порту 1, а станция с адресом D - к порту 4. На основании этих данных он устанавливает виртуальное соединение для передачи сообщения между портами 1 и 4. После передачи виртуальное соединение разрывается.

Режимы коммутации

При всем многообразии конструкции коммутаторов базовая архитектура этих устройств определяется четырьмя компонентами: портами, буферами, внутренней шиной и механизмом продвижения пакетов.

Механизм продвижения пакетов/фреймов может быть следующим. При коммутации с промежуточной буферизацией коммутатор, получая пакет, не передает его дальше, пока не прочтет полностью всю необходимую ему информацию. Он не только определяет адрес получателя, но и проверяет контрольную сумму, т. е. может отсекать дефектные пакеты. Это позволяет изолировать порождающий ошибки сегмент. Таким образом, данный режим ориентирован на надежность, а не на скорость. При сквозной коммутации коммутатор считывает только адрес поступающего пакета. Пакет передается далее вне зависимости от ошибок. Такой метод характеризуется малой задержкой.

Некоторые коммутаторы используют гибридный метод, называемый пороговой или адаптивной коммутацией. В обычных условиях они осуществляют сквозную коммутацию, проверяют контрольные суммы. Если число ошибок достигает заданного порогового значения, то они переходят в режим коммутации с промежуточной буферизацией, а при снижении числа ошибок возвращаются в режим сквозной коммутации.

Один из важных параметров коммутатора - его производительность. Ее определяют три основных показателя: скорость передачи данных между портами, общая пропускная способность (наибольшая скорость, с которой данные передаются адресатам) и задержка (время между получением пакета от отправителя и до передачи его получателю). Другая ключевая характеристика – возможности управления.

Виды и особенности коммутаторов

Управляемые и неуправляемые коммутаторы

Коммутаторы Ethernet принято делить на два основных вида – неуправляемые и управляемые. Неуправляемые коммутаторы не предусматривают изменения конфигурации или каких-либо других настроек. Это простые устройства, готовые к работе сразу после включения. Их достоинства – низкая цена и автономная работа, не требующая вмешательства. Минусы – отсутствие инструментов управления и малая производительность.

Простые неуправляемые коммутаторы получили наибольшее распространение в домашних сетях и на малых предприятиях.

Управляемые коммутаторы – это более продвинутые устройства, которые также работают в автоматическом режиме, но помимо этого имеют ручное управление. Оно позволяет настроить работу коммутатора, например, предоставляет возможность настройки сетевых политик, создания виртуальных сетей и полноценного управления ими. Цена зависит от функциональности коммутатора и его производительности.

Управлять коммутацией можно на канальном (втором) и сетевом (третьем) уровне модели OSI. Устройства именуют, соответственно, управляемыми коммутаторами L2 и L3. Управление может осуществляться через веб-интерфейс, интерфейс командной строки (CLl), Telnet, SSH, RMON, протокол управления сетью (SNMP) и т.п.

Управляемый коммутатор позволяет настраивать полосу пропускания, создавать виртуальные сети (V LAN ) и др.

Стоит обратить внимание на SSH-доступ и протокол SNMP. Веб-интерфейс облегчает первоначальную настройку коммутатора, но практически всегда имеет меньшее количество функций, чем командная строка, поэтому его наличие приветствуется, но не является обязательным. Многие модели поддерживают все популярные типы управления.

К управляемым относят и так называемые смарт-коммутаторы – устройства с ограниченным набором конфигурационных настроек

Неуправляемые, смарт-коммутаторы и полностью управляемые коммутаторы. Смарт-коммутаторы могут предусматривать возможность управления через веб-интерфейс и базовые настройки.

Сложные корпоративные коммутаторы имеют полный набор средств управления, в том числе CLI, SNMP, веб-интерфейс, иногда - дополнительные функции, например, резервное копирование и восстановление конфигураций.

Многие управляемые коммутаторы поддерживают дополнительные функции, например, QoS, агрегирование и/или зеркалирование портов, стекирование. Некоторые коммутаторы можно объединять в кластер, MLAG или создать виртуальный стек.

Стекируемые коммутаторы

Стекирование – это возможность объединения нескольких коммутаторов с помощью специальных (или стандартных) кабелей, чтобы получившаяся конструкция работала как единый коммутатор. Обычно стек используется для подключения большого число узлов в локальной сети. Если коммутаторы соединены кольцом, то в случае выхода из строя какого-нибудь коммутатора стек продолжает работать.

Для чего создается такой стек? Во-первых, это защита инвестиций. Если необходимо увеличить число пользователей/устройств в сети, а портов не хватает, то можно добавить коммутатор в стек. Во-вторых, стеком удобнее управлять. С точки зрения систем мониторинга и управления это одно устройство. В-третьих, коммутаторы стека имеют единую адресную таблицу, один IP- и MAC-адрес.

Стекируемый (или стековый) коммутатор имеет специальные порты (интерфейсы) для соединения в стек, часто при этом происходит физическое объединение внутренних шин. Как правило, у стекового соединения скорость передачи данных в разы больше, чем скорость передачи по другим портам коммутатора. А в коммутаторах с неблокирующей архитектурой отсутствует блокировка трафика при обмене между коммутаторами стека.

Стекируемые управляемые коммутаторы можно объединять в одно логическое устройство - стек, увеличив тем самым число портов.

Обычно используются фирменные технологии стекирования. Иногда применяются кабели с оконечными разъемами SFP, GBIC и пр. Как правило, в стек можно объединять до 4, 8, 16 или 32 коммутаторов. Многие современные коммутаторы отказоустойчивы, наряду со стекированием поддерживают все функции L2 и L3, множество специализированных протоколов.

Существуют также технологии «виртуализации» коммутаторов, например, Cisco Virtual Switching System (VSS) и HPE Intelligent Resilient Framework (IRF). Их также можно отнести к технологиям стекирования, но, в отличие от «классического» стекирования (StackWise, FlexStack и пр.), для связи коммутаторов используются Ethernet-порты. Таким образом, коммутаторы могут находиться на относительно большом удалении друг от друга.

Резервирование и отказоустойчивость

Современные архитектуры стека предусматривают резервирование по схеме N-1, поддерживают распределенную коммутацию L2/L3, агрегирование каналов по всему стеку, а также возможность переключения каналов в случае аварии и переключение активного устройства в стеке без отказа сервисов. Кроме традиционных протоколов STP, RSTP и MSTP коммутаторы могут поддерживать усовершенствованные технологии, например, Smart Link и RRPP, выполняют защитное переключение каналов на уровне миллисекунд, гарантируют надежную работу сети.

Некоторые модели поддерживают интеллектуальный протокол защиты SEP (Smart Ethernet Protection) – протокол кольцевой сети, обеспечивающий непрерывную доставку сервисов. Еще один протокол, ERPS (Ethernet Ring Protection Switching), использует функции Ethernet OAM и механизм автоматического защитного переключения кольца – также за миллисекунды.

Многие вендоры применяют собственные технологии кольцевого резервирования сети, обеспечивающие более быстрое восстановление, чем стандартные протоколы STP/RSTP. Один из примеров показан ниже.

Выбираются основной и резервный порты для передачи данных в кольце. Коммутатор блокирует резервный порт, и передача происходит по основному маршруту. Все коммутаторы в кольце обмениваются пакетами синхронизации. При обрыве соединения будет разблокирован резервный порт и задействован резервный маршрут.

Для повышения надежности может предусматриваться «горячая» замена и/или резервирование блоков питания и элементов охлаждения коммутатора. Благодаря имеющимся в некоторых моделях оптическим портам коммутатор можно подключить к коммутатору ядра на расстоянии до 80 км. Такое оборудование позволяет создать производительный отказоустойчивый коммутационный кластер или построить любую современную L2-топологию, разнесенную на несколько десятков километров, получить отказоустойчивый стек на сотни портов с единой точкой управления, что существенно облегчает администрирование.

Коммутаторы в сетевой архитектуре

Место и роль коммутатора в сети

Коммутаторы и маршрутизаторы играют критическую роль, особенно в среде предприятия. Коммутация – одна из самых распространенных сетевых технологий. Коммутаторы вытесняют маршрутизаторы на периферию локальных сетей, оставляя за ними роль организации связи через глобальную сеть.

За счет микросегментации они позволяют повысить производительность сети, дают возможность организовать подключенные устройства в логические сети и перегруппировывать их, когда это необходимо.

Традиционная архитектура корпоративной сети включает в себя три уровня: уровень доступа, агрегирования/распределения и ядра. На каждом из них коммутаторы выполняют специфические сетевые функции.

Коммутаторы могут играть роль основных коммутаторов в филиалах и организациях среднего размера, функционировать как локальные коммутаторы доступа в крупных организациях, применяться для объединения небольших групп в единую сеть второго уровня. Они широко используются в ЦОД и в ядре сети, в сетях провайдеров на уровне доступа и агрегирования, а с распространением технологии Ethernet - и в ряде вертикальных приложений, например, в промышленности, в системах автоматизации зданий. Несмотря на распространение беспроводных технологий, такое сетевое оборудование пользуется растущей популярностью также в сегментах SMB и SOHO.

Многие разработчики акцентируют внимание на совершенствовании механизмов защиты информации и управления трафиком, в частности, для передачи голоса или видео. Растущими объемами трафика диктуется внедрение 10-гигабитных и еще более высоких скоростей.

Современные коммутаторы могут поддерживать многочисленные протоколы безопасности, в том числе полный набор инструкций ARP для фильтрации пакетов данных на уровнях L2–L7, а также динамическую маршрутизацию, включающую все необходимые протоколы нахождения кратчайших путей. Высококонкурентный рынок дает широкие возможности выбора продуктов известных западных брендов, производителей из стран Азии и российских изделий.

Мировой рынок коммутаторов и ключевые вендоры

Основной вклад в 3% рост мирового рынка коммутаторов и маршрутизаторов в 2015 году внес сегмент корпоративного оборудования: на его долю пришлось почти 60% продаж. Крупнейшие мировые производители коммутаторов Ethernet L2/L3 – Cisco (свыше 62%), HPE, Juniper, Arista, Huawei. Растет спрос на оборудование для ЦОД, коммутаторы 10 и 40 Gigabit Ethernet, коммутаторы для крупных провайдеров.

Объем продаж пяти ведущих поставщиков коммутаторов Ethernet в мире за последние кварталы (по данным IDC ).

В регионе EMEA сегмент Ethernet-коммутаторов в первой половине 2016 года показал 6,7% спад. В отчете IDC говорится, что Cisco остается крупнейшим производителем коммутаторов на рынке EMEA. На долю Cisco и HPE пришлось более 68% продаж коммутационного оборудования в регионе. В число лидеров также вошли Arista и Huawei.

По прогнозам Dell"Oro Group, наиболее быстрыми темпами будет расти сегмент коммутаторов для ЦОД. Переход на облачную модель должен также способствовать внедрению SDN и продажам коммутаторов для облачных дата-центров при снижении спроса на коммутаторы корпоративного уровня.

Возможности и разновидности коммутаторов

Коммутаторы уровня ядра, распределения, доступа позволяют создавать сетевые архитектуры разной топологии, уровня сложности и производительности. Разнообразие этих платформ варьируется от простых коммутаторов с восемью фиксированными портами до модульных устройств, состоящих из более десятка «лезвий» и насчитывающих сотни портов.

Коммутаторы для рабочих групп обычно имеют небольшое число портов и поддерживаемых MAC-адресов.

Магистральные коммутаторы отличаются большим числом высокоскоростных портов, наличием дополнительных функций управления, расширенной фильтрации пакетов и т. п. В общем случае такой коммутатор намного дороже, функциональнее и производительнее, чем коммутаторы для рабочих групп. Он обеспечивает эффективное сегментирование сети.

Основные параметры коммутаторов: количество портов (при выборе коммутатора лучше предусмотреть запас для расширения сети), скорость коммутации (у устройств начального уровня она гораздо ниже, чем у коммутатора корпоративного класса), пропускная способность, автоматическое определение MDI/MDI-X (стандартов, по которым обжата витая пара), наличие слотов расширения (например, для подключения интерфейсов SFP), размер таблицы MAC-адресов (выбирается с учетом расширения сети), форм-фактор (настольный/стоечный).

По конструктивному исполнению выделяют коммутаторы с фиксированным числом портов; модульные на основе шасси; стековые (стекируемые); модульно-стековые. Коммутаторы для поставщиков услуг подразделяются на коммутаторы агрегирования и коммутаторы уровня доступа. Первые агрегируют трафик на границе сети, вторые включают такие функции как контроль данных на прикладном уровне, встроенную безопасность и упрощенное управление.

В ЦОД должны применяться коммутаторы, которые обеспечивают масштабируемость инфраструктуры, непрерывное функционирование и гибкость транспорта данных. В сетях Wi-Fi коммутатор может играть роль контроллера, управляющего точками доступа.

Коммутаторы и сети Wi-Fi

В зависимости от сценария проектирования и развертывания сети Wi-Fi (WLAN) меняется и роль коммутаторов в ней. Например, это может быть централизованная/управляемая архитектура или конвергентная архитектура (объединение проводного и беспроводного доступа). Большинство сетей Wi-Fi среднего и большого масштаба строятся на принципах централизованной архитектуры с коммутатором в роли контроллера Wi-Fi. Все основные производители решений Wi-Fi высокого уровня (Cisco, Aruba (HPE), Ruckus (Brocade), HPE, Huawei и т.д.) имеют такие предложения.

Простая сеть WLAN не нуждается в контроллере, и коммутатор выполняет свои базовые функции.

Контроллер управляет загрузкой/изменением ПО, изменением конфигурации, RRM (динамическое управление радиоресурсами), связью с внешними серверами (ААА, DHCP, LDAP и т.п.), аутентификацией пользователей, профилями QoS, специальными функциями и т.п. Контроллеры могут объединяться в группы для бесшовного роуминга клиентов между точками доступа в зоне покрытия.

Контроллер осуществляет централизованное управление устройствами в беспроводной сети и предназначен для сетей кампусов, филиалов и предприятий SMB. Централизованная архитектура сети Wi - Fi позволяет строить крупные сети и управлять ими из одной точки.

В небольшой корпоративной сети Wi-Fi, покрывающей часть этажа, этаж, небольшое здание и т.п., могут применяться коммутаторы-контроллеры, рассчитанные на небольшое количество точек доступа (до 10-20). Большие корпоративные сети Wi-Fi, охватывающие кампусы, заводские территории, порты и т.п., требуют мощных и функциональных контроллеров (например, Cisco 5508, Aruba A6000, Ruckus ZoneDirector 3000). Иногда предлагают решение на модулях для коммутаторов или маршрутизаторов, например, модуль Cisco WiSM2 в коммутатор семейства Cisco Catalyst 6500/6800, модуль Huawei ACU2 в коммутаторы Huawei S12700, S9700, S7700, модуль HPE JD442A в коммутатор HPE 9500.

В новой редакции «магического квадранта» Gartner (август 2016 г.) по поставщикам оборудования для инфраструктуры проводных и беспроводных локальных сетей в число лидеров кроме Cisco попала только HPE, поглотившая компанию Aruba.

Функции автоматического обнаружения точек доступа и централизованного управления избавят от затрат на настройку конфигураций. Контроллеры могут также обеспечивать защиту от потенциальных атак, а функции самостоятельной оптимизации и восстановления гарантируют бесперебойную работу беспроводной сети. Поддержка PoE упростит развертывание WLAN.

Функциональные и конструктивные особенности коммутаторов

Функции коммутаторов Ethernet и поддерживаемые протоколы

Функции для работы с трафиком могут включать в себя управление потоком (Flow Control, IEEE 802.3x), которое предусматривает согласование приема-отправки при высоких нагрузках во избежание потерь пакетов. Поддержка Jumbo Frame (увеличенных пакетов), повышает общую производительность сети. Приоритезация трафика (IEEE 802.1p) позволяет определять более важные пакеты (например, VoIP) и отправлять их в первую очередь. Стоит обратить внимание на эту функцию, если планируется передача трафика аудио или видео.

Поддержка VLAN (IEEE 802.1q) – удобное средство для разграничения сети предприятия для различных отделов и т.п. Функция Traffic Segmentation для разграничения доменов на канальном уровне позволяет настраивать порты или группы портов коммутатора, используемые для подключения серверов или магистрали сети.

Зеркалирование (дублирование) трафика (Port Mirroring) может использоваться для обеспечения безопасности внутри сети, контроля или проверки производительности сетевого оборудования. Функция LoopBack Detection автоматически блокирует порт при образовании петли (особенно важна при выборе неуправляемых коммутаторов).

Агрегирование каналов (IEEE 802.3ad) повышает пропускную способность канала, объединяя несколько физических портов в один логический. IGMP Snooping пригодится при вещании IPTV. Storm Control дает порту возможность продолжать работать для пересылки всего остального трафика при широковещательном/однонаправленном «шторме».

Коммутаторы могут поддерживать протоколы динамической маршрутизации (например, RIP v2, OSPF) и управления группами интернета (например, IGMP v3). При поддержке протоколов BGP и OSPF устройство можно использовать как коммутирующий маршрутизатор для доменов и субдоменов локальной сети. Некоторые модели поддерживают создание наложенных сетей (TRILL), посредством чего снижается нагрузка на таблицы MAC-адресов и обеспечивается равномерная загрузка каналов для одинаковых маршрутов, что значительно повышает скорость доступа к сетевым ресурсам. Различается это сетевое оборудование и по способам работы.

Коммутаторы L1-L4

Чем выше уровень, на котором коммутатор работает по сетевой модели OSI, тем сложнее и дороже устройство, более развита его функциональность.

Коммутаторы 1 уровня (хабы и повторители) функционируют на физическом уровне и обрабатывают не данные, а электрические сигналы. Такое оборудование сейчас практически не производится.

Коммутаторы 2 уровня работают на канальном уровне с кадрами (фреймами), могут выполнять их анализ, определять отправителя и получателя. Они оперируют только с MAC-адресами, а различать IP-адреса не умеют. К таким устройствам относятся все неуправляемые коммутаторы и некоторые модели управляемых

RMON (4 группы: Statistic, History, Alarm и Event)
Два уровня паролей - пароль пользователя и резервный пароль.
Профиль доступа и приоритезации трафика
Сегментация трафика
Контроль полосы пропускания
Функции Port Security (ограничение кол-ва MAC на заданном порту)
Контроль доступа IEEE 802.1x на основе портов / MAC-адресов
Журналирование событий при помощи Syslog
Поддержка TACACS, RADIUS, SSH
Обновление ПО и сохранение файла конфигурации на внешнем носителе
Поддержка IEEE 802.1Q VLAN (на основе меток)
Приоритезация пакетов IEEE 802.1p и 4 очереди
Spanning Tree protocol (IEEE 802.1D)
Rapid Spaning Tree protocol (IEEУ 802.1w)
Контроль широковещательных штормов
Поддержка объединения портов в транк - Link Aggregation (IEEE 802.3ad Static mode)
Зеркалирование портов (трафик множества портов, на один выбранный порт)
TFTP / BOOTP / DHCP клиент
Поддержка TELNET, встроенный WEB-сервер
CLI - интерфейс коммандной строки
IGMP для ограничения широковещательных доменов в VLAN
SNMP v1/v3

Общие функции коммутаторов L 2.

Коммутаторы L2 составляют коммутационные таблицы, поддерживают протокол IEEE 802.1p (приоритезацию трафика), протокол IEEE 802.1q (VLAN), IEEE 802.1d (Spanning Tree Protocol, STP), применяемый для повышения отказоустойчивости сети, IEEE 802.1w (Rapid Spanning Tree Protocol, RSTP) с более высокой устойчивостью и меньшим временем восстановления или более современный IEEE 802.1s (Multiple Spanning Tree Protocol, MSTP), IEEE 802.3ad (Link Aggregation) для объединения нескольких портов в один высокоскоростной порт.

Коммутаторы 3 уровня работают на сетевом уровне. К ним относится ряд моделей управляемых коммутаторов, маршрутизаторы. Они могут маршрутизировать сетевой трафик и перенаправлять его в другие сети, поддерживают работу с IP-адресами и установку сетевых соединений.

Таким образом, они фактически являются маршрутизаторами, которые реализуют механизмы логической адресации и выбора пути доставки данных (маршрута) с использованием протоколов маршрутизации (RIP v.1 и v.2, OSPF, BGP, проприетарные протоколы). Традиционно коммутаторы L3 используются в локальных и территориальных сетях для обеспечения передачи данных большого количества подключенных к ним устройств, в отличие от маршрутизаторов, осуществляющих доступ к распределенной сети (WAN).

Коммутаторы 4 уровня функционируют на транспортном уровне и поддерживают работу с приложениями, обладают некоторыми интеллектуальными функциями. Они могут определять порты TCP/UDP для идентификации приложений, биты SYN и FIN, обозначающие начало и конец сеансов, распознавать информацию в заголовках сообщений. Различается и конструкция коммутаторов.

Коммутаторы Ethernet c фиксированной конфигурацией и модульные коммутаторы

Модульные коммутаторы обеспечивают масштабируемую производительность, гибкость конфигураций и возможности поэтапного расширения. Коммутаторы с фиксированной конфигурацией позволяют строить сетевую инфраструктуру для решения широкого спектра задач, включая построение сетей комплексов зданий, филиалов крупных предприятий, организации среднего размера, а также предприятий SMB

Коммутаторы фиксированной конфигурации обычно поддерживают до 48 портов. Иногда есть возможность установить дополнительные порты SFP/ SFP +.

С помощью аплинков SFP+ многие коммутаторы можно подключать к верхнему уровню – ядру сети, обеспечивая высокую производительность и балансировку нагрузки по всем каналам. Высокая плотность портов позволяет эффективнее использовать ограниченное пространство и питание.

Модульные коммутаторы обычно представляют собой высокопроизводительные платформы, поддерживающие широкий спектр протоколов L3, гибкий набор интерфейсов, виртуализацию сервисов и оптимизацию приложений, сетевые кластеры (SMLT, SLT, RSMLT). Они могут использоваться в ядре крупных и средних сетей, в сетях ЦОД (ядро сети и концентрация подключений серверов).

Типовые функции модульного коммутатора.

Модульные коммутаторы могут иметь очень высокую плотность портов за счет добавления модулей расширения. Например, некоторые поддерживают более 1000 портов. В больших корпоративных сетях, к которым подключаются тысячи устройств, лучше использовать именно модульные коммутаторы. В противном случае потребуется множество коммутаторов с фиксированной конфигурацией.

Cisco Catalyst 6800 - модульные коммутаторы для кампусных сетей с поддержкой 10/40/100G. Расширяемая платформа высотой 4,5 RU содержит от 16 до 80 портов 1/10GE с поддержкой BGP и MPLS.

Характеристики коммутаторов Ethernet

Основными характеристиками коммутатора, измеряющими его производительность, являются скорость коммутации, пропускная способность и задержка передачи кадра. На эти показатели влияют размер буфера (буферов) кадров, производительность внутренней шины, производительность процессора, размер таблицы MAC-адресов.

Общие характеристики также включают возможность установки в стойку, емкость оперативной памяти, количество портов и аплинков/SFP-портов, скорость аплинков, поддержку работы в стеке, способы управления.

Некоторые вендоры предлагают на своих сайтах удобные конфигураторы для выбора коммутаторов по их характеристикам: числу и типу портов (1/10/40GbE, оптика/медь), виду коммутации/маршрутизации (L2/L3 – базовая или динамическая), скорости и типу аплинков, наличию PoE/PoE+, поддержке IPv6 и OpenFlow (SDN), FCoE, резервированию (питания/фабрики/вентиляторов), возможности стекирования. Энергоэффективный Ethernet (IEEE 802.3az, Energy Efficient Ethernet) уменьшает потребление энергии, автоматически регулируя ее в соответствии с фактическим сетевым трафиком коммутатора.

Менее дорогие и менее производительные коммутаторы могут использоваться на уровне доступа, а более дорогие высокопроизводительные лучше применять на уровнях распределения и ядра сети, где от скорости коммутации очень сильно зависит производительность всей системы.

Типы и плотность портов

Группа портов коммутатора для подключения конечных абонентов традиционно состоит из портов для кабеля «витая пара» с разъемами RJ-45. Дальность передачи сигнала при этом составляет до 100 метров общей длины линии, и для офисов этого, в большинстве случаев, достаточно.

Порты Etherhet 1/10 Гбит/ c для «медных» кабелей с разъемами RJ -45.

Более сложен выбор типа портов аплинка, предназначенные для связи с узлами сети более высокого уровня. Во многих случаях предпочтительнее оптические кабели связи, не имеющие таких ограничений по длине, как у «витой пары». В таких портах часто применяются сменные модули SFP (Small Form-factor Pluggable). Высота и ширина модуля SFP сравнима с высотой и шириной гнезда RJ-45.

Оптический модуль SFP .

Популярные интерфейсы SFP+ и XFP могут обеспечивать скорость передачи 10 Гбит/c и дальность до 20 км. Посадочное место для модулей SFP+ имеет те же габариты что и SFP, разница заключается в протоколах передачи информации между модулем и коммутатором. XFP имеет большие, чем SFP+ габариты. Коммутаторы с портами SFP и SFP+ часто используются в сети на уровне агрегирования. Между тем в ЦОД широко применяются не только коммутаторы Ethernet, но и другие виды коммутирующего оборудования.

В сети крупного предприятия или в крупном ЦОД, где портов тысячи, большее значение имеет плотность портов, то есть, сколько максимально портов на 1U (или на стойку) требуемой скорости передачи можно разместить с учетом слотов расширений и дополнительных модулей. Нужно помнить о росте потребности в передаче больших объемов данных и соответственно, учитывать плотность портов требуемой скорости в рассматриваемых коммутаторах.

Что касается офисных сетей, то полезным качеством коммутатора может стать поддержка PoE и EEE.

Питание по сети - PoE

Технология Power over Ethernet (PoE) позволяет коммутатору подавать питание на устройство по кабелю Ethernet. Эта функция обычно используется некоторыми IP-телефонами, беспроводными точками доступа, камерами видеонаблюдения и пр.

Технология подачи электропитания через Ethernet – удобный альтернативный способ электропитания сетевых устройств.

РоЕ предоставляет гибкость при монтаже такого рода оборудования: его можно установить везде, где есть Ethernet-кабель. Но РоЕ должна быть действительно необходима, т.к. поддерживающие ее коммутаторы стоят значительно дороже.

Согласно стандарту IEEE 802.3af (PoE), обеспечивается постоянный ток до 400 мА с номинальным напряжением 48 В через две пары проводников в четырехпарном кабеле при максимальной мощности 15,4 Вт.

Стандарт IEEE 802.3at (PoE+) предусматривает увеличение мощности (до 30 Вт) и новый механизм взаимного определения (классификации) устройств. Он позволяет устройствам взаимно определять друг друга при подключении.

Эволюция сетей и коммутаторы

Коммутаторы в ЦОД: Ethernet, Fibre Channel, InfiniBand

Для высокопроизводительной коммутации серверов и систем хранения сегодня используется большой спектр технологий и устройств – коммутаторы Ethernet, Fibre Channel, InfiniBand и др.

В виртуализированных и облачных ЦОД, где преобладает «горизонтальный» трафик между серверами и виртуальными машинами, на помощь приходит конфигурация «ствол и листья» (Spine-Leaf). Иногда такую конфигурацию называют «распределенным ядром». Часто также используют термин «Ethernet-фабрика».

Spine -коммутаторы можно рассматривать как распределенное ядро, только вместо одного-двух коммутаторов ядра оно сформировано из большого числа коммутаторов «ствола» с высокой плотностью портов.

Плюсы такой конфигурации следующие: горизонтальный трафик между «листьями» гарантированно идет с одним хопом, через «дерево», поэтому задержка предсказуема, при отказе оборудования меньше страдает производительность, да и масштабировать такую конфигурацию легче.

Растет потребность и в более высокой скорости передачи данных. За предыдущие годы создано шесть стандартов Ethernet: 10 Мбит/с, 100 Мбит/с, Гбит/с, 10 Гбит/с, 40 Гбит/с и 100 Гбит/с. В 2016 году Ethernet-сообщество усиленно работает над реализацией новых стандартов скоростей: 2,5 Гбит/с, 5 Гбит/с, 25 Гбит/с, 50 Гбит/с, 200 Гбит/с. Недавно принятые спецификации IEEE 802.3 (включая подгруппы) охватывают диапазон скоростей от 25 Гбит/с на порт до суммарной пропускной способности канала на уровне 400 Гбит/с. Завершить работу над стандартом 400GbE (802.3bs) планируется в марте 2017 года. В нем будут использоваться несколько линий по 50 или 100 Гбит/с.

На мировом рынке Ethernet -коммутаторов для ЦОД доминирует Cisco Systems (по данным IDC , 2015 г.).

Наряду с 40/100GbE все более широкое внедрение в ЦОД получает InfiniBand. Технология InfiniBand (IB) применяется в основном в высокопроизводительных вычислениях (HPC), многоузловых кластерах и вычислениях GRID. Ее используют во внутренних соединениях (backplane) и коммутаторах (crossbar switch) производители модульных серверов. В коммутаторах с поддержкой InfiniBand EDR (Enhanced Data Rate) 12x скорость порта достигает 300 Гбит/с.

Модульный сервер со встроенным коммутатором InfiniBand .

Сети хранения данных (SAN) традиционно строятся на базе протокола FC (Fibre Channel), который предоставляет быстрый и надежный транспорт для передачи данных между дисковыми массивами и серверами. FC обеспечивает гарантированно низкую задержку, высокую надежность и производительность работы дисковой подсистемы.

Коммутатор FC (резервируемая фабрика) – ключевой элемент SAN .

Трафик FC можно передавать и поверх Ethernet с сохранением предсказуемости и производительности Fibre Channel (FCoE). Для этого был разработан протокол Converged Enhanced Ethernet (CEE).

Считается, что совмещение трафика SAN и LAN в одном сегменте сети c помощью FCoE позволяет получить ряд преимуществ при построении дата-центров, включая снижение начальных затрат на оборудование и операционных издержек на поддержку, обслуживание, электропитание и кондиционирование оборудования. Однако такой подход так и получил широкого распространения.

Коммутатор FCoE обеспечивает конвергенцию SAN и LAN .

Выделенная сеть хранения SAN (на основе FC или iSCSI) остается оптимальным вариантом для высокоскоростного доступа к данным. Ее традиционный протокол Fibre Channel изначально рассчитан на быструю передачу больших блоков и низкие задержки. Важным фактором роста рынка SAN станет переход на оборудование нового поколения – коммутаторы и директоры Fibre Channel Gen 6 (32 Гбит/с). Он уже начался.

Изменение скорости передачи данных в развертываемых сетях FC , InfiniBand и Ethernet по данным Mellanox.

Важно выбирать подходящее для текущих требований сети оборудование, но с запасом производительности для дальнейшего роста.

Технология Ethernet-фабрики

Технология коммутирующей фабрики, созданная для Fibre Channel SAN, нашла применение и в сетях Ethernet. Наряду с платформами виртуальной маршрутизации и SDN-контроллерами, фабрики Ethernet открывают путь к внедрению SDN/NFV, предполагают использование открытых, автоматизированных, программно-конфигурируемых компонентов, что способствует гибкости и снижению затрат.

Ethernet-фабрики наряду с дополняющими их технологиями TRILL и Shortest Path Bridging (SPB – альтернатива сложным и неэффективным трехуровневым сетям и Spanning Tree.

Коммутирующие фабрики охватывают теперь сети хранения данных, кампусные сети и сети ЦОД. Они снижают операционные расходы, увеличивают эффективность использования сети, ускоряют развертывание приложений, поддерживает виртуализацию. Эволюция коммутирующих фабрик продолжается.

Коммутаторы White-box, Bare-metal и Open Networking

В последнее время получает распространение концепция Open Networking, цель которой «отделить» операционную систему коммутатора от аппаратной платформы и дать заказчикам возможность выбора комбинаций сетевых ОС и оборудования. В отличие от традиционных коммутаторов, которые поставляются с предустановленной ОС, можно приобрести коммутатор Bare-metal («голое железо») у одного производителя, а ПО – у другого.

Bare-metal означает, что в коммутаторе не установлено сетевой ОС, есть лишь загрузчик для ее установки.

Такое оборудование выпускается, например, тайваньскими и российскими производителями. Ряд вендоров предлагают также коммутаторы White-box – Bare-metal с предустановленной сетевой ОС. Такие коммутаторы предоставляют большую гибкость и определенную независимость заказчика от производителя оборудования. Цена их ниже по сравнению с продуктами крупных вендоров. По данным Dell’Oro Group, они на 30-40% дешевле традиционных брендовых моделей. Функции сетевой ОС обычно предусматривают поддержку всех стандартных протоколов L2/L3 и, в некоторых случаях - протокола OpenFlow.

Традиционные коммутаторы (слева) и коммутаторы White box (справа).

Основной целевой сегмент рынка коммутаторов White-box – ЦОД. Они позволяют доработать сетевую ОС для решения конкретных задач. Однако целесообразность их применения в кампусных или распределенных корпоративных сетях зависит от того, сколько коммутаторов в сети и как часто меняется конфигурация, есть ли в компании специалисты, способные поддерживать сетевую ОС с открытым исходным кодом. В небольших кампусных сетях выгода сомнительна.

По прогнозу Infonetics Research, в 2019 году на долю «голого железа» будет приходиться почти 25% всего количества портов в коммутаторах, поставленных в ЦОД во всем мире.

Виртуальные коммутаторы

С увеличением вычислительной мощности процессоров х86 с ролью коммутатора вполне может справиться программный, виртуальный коммутатор. Его удобно использовать, например, для предоставления сетевого уровня доступа виртуальным машинам, запущенным на физическом сервере. На виртуальных машинах (или в контейнерах, например, Docker) создаются логические (виртуальные) порты Ethernet. ВМ подключаются к виртуальному коммутатору посредством этих портов.

Три наиболее популярных виртуальных коммутатора – VMware Virtual Switch, Cisco Nexus 1000v и Open vSwitch. Последний – это виртуальный коммутатор с открытым исходным кодом, распространяемый по лицензии Apache 2.0 и предназначенный для работы в гипервизорах на основе Linux, таких как, KVM и Xen.

Open vSwitch – программный многоуровневый коммутатор Open Source, предназначенный для работы в гипервизорах и на компьютерах с виртуальными машинами. Поддерживает протокол OpenFlow для управления логикой коммутации.

Open vSwitch (OVS) поддерживает широкий набор технологий, включая NetFlow, sFlow, Port Mirroring, VLAN, LACP. Он может работать как в виртуальных средах, так и использоваться в качестве Control Plane для аппаратных коммутаторов. Созданные на базе OVS сетевые ОС широко применяются на коммутаторах White-box и Bare-metal. Множество сфер применения у OVS – в SDN-сетях, при коммутации трафика между виртуальными сетевыми функциями (NFV).

Коммутаторы в архитектуре SDN/NFV

С расширением функциональности оборудования сети станут более высокоскоростными и интеллектуальными. Производительность современных моделей коммутаторов ядра сети составляет до 1,5 Тбит/с и выше, и традиционный путь развития предполагает дальнейшее наращивание их мощности. Расширение функциональности сопровождается все большей специализацией устройств ядра сети и ее периферии. У корпоративных заказчиков появляются новые требования в таких областях, как информационная безопасность, гибкость, надежность и экономичность.

Сейчас широко обсуждается концепция SDN (Software Defined Networking). Основная суть SDN состоит в физическом разделении уровня управления сетью (Control Plane) и уровня передачи данных (Forwarding) за счет переноса функций управления коммутаторами в ПО, работающее на отдельном сервере (контроллере).

Цель SDN– гибкая, управляемая, адаптивная и экономичная архитектура, которая способна эффективно адаптироваться под передачу больших потоков разнородного трафика.

SDN-коммутаторы, как правило, используют протокол управления OpenFlow. Большинство коммутаторов SDN поддерживают одновременно и стандартные сетевые протоколы. В настоящее время область применения SDN – в основном серверные фермы ЦОД и нишевые решения, где SDN удачно дополняет другие технологии. На российском рынке технология SDN наиболее востребована операторами публичных облаков.

Network Functions Virtualization (NFV), виртуализация сетевых функций, нацелена на оптимизацию сетевых сервисов за счет отделения сетевых функций (например, DNS, кэширование и пр.) от реализации аппаратного обеспечения. Считается, что NFV позволяет универсализировать программное обеспечение, ускорить внедрение новых функций сети и служб, и при этом не требует отказа от уже развернутой сетевой инфраструктуры.

По данным опроса CNews Analytics (2015 год), российские заказчики в целом оптимистично оценивают перспективы технологий SDN и NFV, позволяющих сократить капитальные затраты и ускорить ввод новых сервисов.

Прогнозы SDN и NFV в России носят пока разноречивый характер. По оценкам J’son & Partners, объем российского сегмента SDN в 2017 году составит 25–30 млн. долл. Основными пользователями SDN и NFV станут владельцы крупных ЦОД и федеральные операторы связи.

Тем временем производители коммутаторов для корпоративного сегмента рынка предлагают высокоскоростное оборудование с более низкой стоимостью владения, возможностями гибкого построения сетей, функциями поддержки различных классов приложений и расширенными средствами безопасности.

В деле познания SAN столкнулся с определённым препятствием - труднодоступностью базовой информации. В вопросе изучения прочих инфраструктурных продуктов, с которыми доводилось сталкиваться, проще - есть пробные версии ПО, возможность установить их на вирутальной машине, есть куча учебников, референс гайдов и блогов по теме. Cisco и Microsoft клепают очень качественные учебники, MS вдобавок худо-бедно причесал свою адскую чердачную кладовку под названием technet, даже по VMware есть книга, пусть и одна (и даже на русском языке!), причём с КПД около 100%. Уже и по самим устройствам хранения данных можно получить информацию с семинаров, маркетинговых мероприятий и документов, форумов. По сети же хранения - тишина и мёртвые с косами стоять. Я нашёл два учебника, но купить не решился. Это "Storage Area Networks For Dummies " (есть и такое, оказывается. Очень любознательные англоговорящие «чайники» в целевой аудитории, видимо) за полторы тысячи рублей и "Distributed Storage Networks: Architecture, Protocols and Management " - выглядит более надёжно, но 8200р при скидке 40%. Вместе с этой книгой Ozon рекомендует также книгу «Искусство кирпичной кладки».

Что посоветовать человеку, который решит с нуля изучить хотя бы теорию организации сети хранения данных, я не знаю. Как показала практика, даже дорогостоящие курсы могут дать на выходе ноль. Люди, применительно к SAN делятся на три категории: те, кто вообще не знает что это, кто знает, что такое явление просто есть и те, кто на вопрос «зачем в сети хранения делать две и более фабрики» смотрят с таким недоумением, будто их спросили что-то вроде «зачем квадрату четыре угла?».

Попробую восполнить пробел, которого не хватало мне - описать базу и описать просто. Рассматривать буду SAN на базе её классического протокола - Fibre Channel.

Итак, SAN - Storage Area Network - предназначена для консолидации дискового пространства серверов на специально выделенных дисковых хранилищах. Суть в том, что так дисковые ресурсы экономнее используются, легче управляются и имеют большую производительность. А в вопросах виртуализации и кластеризации, когда нескольким серверам нужен доступ к одному дисковому пространству, подобные системы хранения данных вообще незаменимая штука.

Кстати, в терминологиях SAN, благодаря переводу на русский, возникает некоторая путаница. SAN в переводе означает «сеть хранения данных» - СХД. Однако классически в России под СХД понимается термин «система хранения данных», то есть именно дисковый массив (Storage Array ), который в свою очередь состоит из Управляющего блока (Storage Processor, Storage Controller ) и дисковых полок (Disk Enclosure ). Однако, в оригинале Storage Array является лишь частью SAN, хотя порой и самой значимой. В России получаем, что СХД (система хранения данных) является частью СХД (сети хранения данных). Поэтому устройства хранения обычно называют СХД, а сеть хранения - SAN (и путают с «Sun», но это уже мелочи).

Компоненты и термины

Технологически SAN состоит из следующих компонентов:

1. Узлы, ноды (nodes)

Дисковые массивы (системы хранения данных) - хранилища (таргеты )
Серверы - потребители дисковых ресурсов (инициаторы ).

2. Сетевая инфраструктура

Коммутаторы (и маршрутизаторы в сложных и распределённых системах)
Кабели

Особенности

Если не вдаваться в детали, протокол FC похож на протокол Ethernet с WWN-адресами вместо MAC-адресов. Только, вместо двух уровней Ethernet имеет пять (из которых четвёртый пока не определён, а пятый - это маппинг между транспортом FC и высокоуровневыми протоколами, которые по этому FC передаются - SCSI-3, IP). Кроме того, в коммутаторах FC используются специализированные сервисы, аналоги которых для IP сетей обычно размещаются на серверах. Например: Domain Address Manager (отвечает за назначение Domain ID коммутаторам), Name Server (хранит информацию о подключенных устройствах, эдакий аналог WINS в пределах коммутатора) и т.д.

Для SAN ключевыми параметрами являются не только производительность, но и надёжность. Ведь если у сервера БД пропадёт сеть на пару секунд (или даже минут) - ну неприятно будет, но пережить можно. А если на это же время отвалится жёсткий диск с базой или с ОС, эффект будет куда более серьёзным. Поэтому все компоненты SAN обычно дублируются - порты в устройствах хранения и серверах, коммутаторы, линки между коммутаторами и, ключевая особенность SAN, по сравнению с LAN - дублирование на уровне всей инфраструктуры сетевых устройств - фабрики.

Фабрика (fabric - что вообще-то в переводе с английского ткань, т.к. термин символизирует переплетённую схему подключения сетевых и конечных устройств, но термин уже устоялся) - совокупность коммутаторов, соединённых между собой межкоммутаторными линками (ISL - InterSwitch Link ).

Высоконадёжные SAN обязательно включают две (а иногда и более) фабрики, поскольку фабрика сама по себе - единая точка отказа. Те, кто хоть раз наблюдал последствия кольца в сети или ловкого движения клавиатуры, вводящего в кому коммутатор уровня ядра или распределения неудачной прошивкой или командой, понимают о чём речь.

Фабрики могут иметь идентичную (зеркальную) топологию или различаться. Например одна фабрика может состоять из четырёх коммутаторов, а другая - из одного, и к ней могут быть подключены только высококритичные узлы.

Топология

Различают следующие виды топологий фабрики:

Каскад - коммутаторы соединяются последовательно. Если их больше двух, то ненадёжно и непроизводительно.

Кольцо - замкнутый каскад. Надёжнее просто каскада, хотя при большом количестве участников (больше 4) производительность будет страдать. А единичный сбой ISL или одного из коммутаторов превращает схему в каскад со всеми вытекающими.

Сетка (mesh ). Бывает Full Mesh - когда каждый коммутатор соединяется с каждым. Характерно высокой надёжностью, производительностью и ценой. Количество портов, требуемое под межкоммутаторные связи, с добавлением каждого нового коммутатора в схему растёт экспоненциально. При определённой конфигурации просто не останется портов под узлы - все будут заняты под ISL. Partial Mesh - любое хаотическое объединение коммутаторов.

Центр/периферия (Core/Edge) - близкая к классической топологии LAN, но без уровня распределения. Нередко хранилища подключаются к Core-коммутаторам, а серверы - к Edge. Хотя для хранилищ может быть выделен дополнительный слой (tier) Edge-коммутаторов. Также и хранилища и серверы могут быть подключены в один коммутатор для повышения производительности и снижения времени отклика (это называется локализацией). Такая топология характеризуется хорошей масштабируемостью и управляемостью.

Зонинг (зонирование, zoning)

Ещё одна характерная для SAN технология. Это определение пар инициатор-таргет. То есть каким серверам к каким дисковым ресурсам можно иметь доступ, дабы не получилось, что все серверы видят все возможные диски. Достигается это следующим образом:

выбранные пары добавляются в предварительно созданные на коммутаторе зоны (zones);
зоны помещаются в наборы зон (zone set, zone config), созданные там же;
наборы зон активируются в фабрике.

Для первоначального поста по теме SAN, думаю, достаточно. Прошу прощения за разномастные картинки - самому нарисовать на работе пока нет возможности, а дома некогда. Была мысль нарисовать на бумаге и сфотографировать, но решил, что лучше так.

Напоследок, в качестве постскриптума, перечислю базовые рекомендации по проектированию фабрики SAN .

Проектировать структуру так, чтобы между двумя конечными устройствами было не более трёх коммутаторов.
Желательно чтобы фабрика состояла не более чем из 31 коммутатора.
Стоит задавать Domain ID вручную перед вводом нового коммутатора в фабрику - улучшает управляемость и помогает избежать проблем одинаковых Domain ID, в случаях, например, переподключения коммутатора из одной фабрики в другую.
Иметь несколько равноценных маршрутов между каждым устройством хранения и инициатором.
В случаях неопределённых требований к производительности исходить из соотношения количества Nx-портов (для конечных устройств) к количеству ISL-портов как 6:1 (рекомендация EMC) или 7:1 (рекомендация Brocade). Данное соотношение называется переподпиской (oversubscription).
Рекомендации по зонингу:
- использовать информативные имена зон и зон-сетов;
- использовать WWPN-зонинг, а не Port-based (основанный на адресах устройств, а не физических портов конкретного коммутатора);
- каждая зона - один инициатор;
- чистить фабрику от «мёртвых» зон.
Иметь резерв свободных портов и кабелей.
Иметь резерв оборудования (коммутаторы). На уровне сайта - обязательно, возможно на уровне фабрики.