Интерфейсы корпоративных систем хранения данных

Андрей Борзенко

По сведениям IDC, объем информации, хранимой на одном новом накопителе на жестком диске, ежегодно удваивается, в то время как его стоимость уменьшается почти наполовину. Каждый год проданные жесткие диски добавляют емкость для хранения данных приблизительно в 1,75 млн. терабайт, причем по прогнозам IDC к 2004 г. эта цифра достигнет 26,3 млн. терабайт. Такой рост хранилищ информации накладывает определенные требования на ее передачу. Когда перед менеджером информационной службы встает задача по созданию новой или расширению имеющейся системы обработки данных, одним из важнейших вопросов для него является выбор технологии их передачи. При этом выбирать приходится не только сетевую технологию, но и протокол соединения различных периферийных устройств.

Интерфейс SCSI

По данным IDC, более 90% high-end-накопителей в корпоративном секторе используют интерфейс SCSI (Small Computer System Interface). А вот аналитики из Gartner Group Dataquest полагают, что количество контроллеров SCSI RAID с 1999 по 2003 г. удвоится. Данный интерфейс был разработан еще в конце 70-х годов и первоначально предложен организацией Shugart Associates под названием SASI (Shugart Associates System Interface). После его стандартизации в американском национальном институте стандартов ANSI (American National Standard Institute) в 1986 г., уже под именем SCSI, он стал одним из важнейших промышленных стандартов для подключения периферийных устройств - винчестеров, стримеров, сменных жестких и оптических дисков и т. п.

Стандарт SCSI определяет два способа передачи сигналов - синфазный и дифференциальный. В первом случае сигналы на восьми информационных линиях имели ТТЛ-уровни (транзисторно-транзисторной логики), причем длина кабеля в этом случае ограничивалась шестью метрами. Версия шины SCSI с дифференциальной передачей сигнала давала возможность увеличения ее длины до 25 м. Магистраль SCSI обеспечивала подключение до семи устройств. Скорость передачи информации по шине не превышала 5 Мб/с.

Дальнейшим развитием спецификации SCSI стал стандарт SCSI-2. В нее были включены дополнительные команды, поддерживающие такие устройства, как приводы CD-ROM, сканеры, коммуникационные устройства, оптические накопители. Для повышения производительности в спецификацию SCSI-2 был введен так называемый "широкий" (Wide) вариант шины данных, предусматривающий наличие дополнительных 24 информационных линий. Данные стало возможно передавать не только байтами, но и 16- и 32-разрядными словами. Для повышения пропускной способности магистрали SCSI было предложено увеличить тактовую частоту обмена примерно в два раза за счет сокращения критических временных параметров шины, применения новейших микросхем, высококачественных кабелей и активного согласования линий. Реализуемый таким образом скоростной вариант Fast SCSI-2 повысил производительность магистрали до 10 Мб/с. Совместное использование Fast и Wide (32 разряда) SCSI-2 теоретически позволяло достичь быстродействия в 40 Мб/с.

Двухканальный адаптер
Adaptec SCSI Ultra160 Card 39160

Параллельно с внедрением SCSI-2 комитет Т10 ANSI (http://www.t10.org) предложил целый набор стандартов - SCSI Architecture Model (SAM), получивших название SCSI-3. Здесь были регламентированы не только первичные и расширенные наборы команд для различной аппаратуры, но и ряд протоколов, предусматривающих как параллельную, так и последовательную передачу данных. Кроме того, появилась возможность увеличения количества устройств, подключаемых к магистрали.

Благодаря использованию ряда схемотехнических приемов, в частности низкоуровневых дифференциальных сигналов, вариант интерфейса Ultra SCSI для 8-разрядной передачи обеспечивает скорость 20 Мб/с, а для 16-разрядной - 40 Мб/с. Для интерфейса Ultra2 SCSI частота синхронизации шины данных составляет 40 МГц, что позволяет обмениваться 16-разрядными словами со скоростью 80 Мб/с. Отметим, что речь идет только о параллельных интерфейсах SCSI, которые в терминах Т10 определяются как SPI (SCSI Parallel Interface).

Большую роль в продвижении и развитии стандартов SCSI сегодня играет ассоциация STA (SCSI Trade Association, http://www.scsita.org), которая была сформирована в 1995 г. Именно она осенью 1998-го ратифицировала спецификацию Ultra3 SCSI, обещавшую увеличение эффективности, надежности и управляемости для новой версии интерфейса. Суть нововведений состояла в удвоении скорости передачи с 80 до 160 Мб/с, улучшении управляемости, автоматической проверке степени эффективности интерфейса и повышении надежности за счет использования циклического кода для обнаружения и исправления ошибок (CRC). В спецификации допускается применение кабелей до 12 м и обеспечивается полная совместимость сверху вниз.

Для увеличения скорости передачи данных до 160 Мб/с в интерфейсе Ultra 3 SCSI используются оба фронта сигнала (передний и задний) "запрос - подтверждение" с синхронизацией данных. Скорость передачи может быть увеличена вдвое соответствующим повышением частоты на линиях передачи данных. Например, сигнал "запрос - подтверждение" в интерфейсе Ultra2 SCSI выполняется на частоте 80 МГц, в то время как данные передаются только с частотой 40 МГц, или 80 Мб/с на 16-разрядной шине. При использовании обоих фронтов одного и того же сигнала скорость передачи данных может быть увеличена до 80 МГц, или до 160 Мб/с на шине той же разрядности.

Кодирование CRC повышает уровень надежности при передаче данных, гарантируя их полную целостность. В частности, благодаря этому коду обнаруживаются одиночные и двойные ошибки в разрядах, нечетное количество ошибок при передаче и ошибки в пакетах длиной до 32 разрядов.

Технология Domain Validation состоит в проверке подсистемы хранения данных, включая соединительные кабели, объединительные платы, терминаторы и т. д. Она гарантирует, что все параметры системы находятся в требуемых границах. Если возникает опасность потери данных, обмен переходит на более низкие скорости (т. е. автоматически снижается частота). Напомним, что подобный метод широко используется в модемах и факсимильных аппаратах. Кроме того, данная технология должна увеличить производительность системы за счет уменьшения количества повторных запросов.

Две последних нововведения - пакетизация (Packetization) и технология QAS (Quick Arbitrate and Select) - являются обязательными для устройств соответствующих Ultra3 SCSI, но опциональными для устройств, выполненных по спецификации Ultra160 SCSI. Пакетизация, в частности, предполагает обмен командами, сообщениями, информацией о статусе и данными между SCSI-устройствами (периферийными и накопителями) на самой большой возможной скорости. Технология QAS позволяет уменьшить время подсоединения устройства к шине SCSI и отключения от нее.

Поскольку Ultra2 и Ultra3 SCSI реализованы на одинаковом электрическом интерфейсе - LVD (Low Voltage Differential), оба протокола полностью совместимы друг с другом. Отметим, что низкоуровневая дифференциальная шина SCSI является базовой электрической платформой для современных протоколов этого интерфейса. При использовании платформы LVD протоколы Ultra2 и Ultra3 достигают более широкой полосы пропускания, невозможной для предыдущих спецификаций, основанных на обычном дифференциальном или синфазном методе передачи сигнала. Устройства Ultra2 и Ultra3 могут совместно работать на одной и той же SCSI-шине в сервере или дисковом массиве. Однако следует иметь в виду, что при их размещении на одной шине устройства Ultra3 обеспечивать скорость передачи данных до 160 Мб/с, а Ultra2 - до 80 Мб/с. Если же шина SCSI может поддерживать только протокол Ultra2, то все LVD-устройства (включая Ultra3), расположенные на шине, будут гарантировать скорость передачи не более 80 Мб/с.

На сегодняшний день обычно выделяют шесть поколений технологии SCSI, на подходе - еще несколько. Выпуск устройств, соответствующих стандарту Ultra4 (Ultra320) SCSI и обеспечивающих пиковую скорость передачи данных 320 Мб/с, ожидается уже в следующем году. К 2003-му появятся устройства Ultra5 (Ultra640) SCSI с пиковой скоростью 640 Мб/с. Все они будут совместимы с предыдущими поколениями SCSI. В планах ассоциации STA - включение в стандарт требований к соединителям сверхвысокой плотности VHDCI (Very High Density Cable Interconnect), мостам логических номеров устройств LUN (Logical Unit Number) и коммутаторам SCSI. Благодаря этому общее количество устройств возрастет до 960, а длина кабеля увеличится до 75 м. Кроме того, многоточечная (multidrop) конфигурация, при которой несколько SCSI-устройств разделяют общий канал передачи (хотя в каждый момент времени передачу может вести только одно из них), обеспечит поддержку различных скоростей на одной и той же шине. Напомним, что одноточечное соединение уже сегодня гарантирует передачу данных на расстояние до 25 м, а многоточечное - до 12 м.

SCSI-технология продолжает развиваться, успешно реагируя на увеличивающиеся потребности в пропускной способности канала ввода-вывода. Интерфейс SCSI легок в подключении, имеет обширную базу установленных систем и многолетний стаж эксплуатации, при этом новые его версии обеспечивают полную совместимость устройств сверху вниз. По отзывам многих экспертов, в области подключения устройств на небольших расстояниях (for inside the box connectivity) этот интерфейс пока не имеет альтернатив.

Интерфейс Fibre Channel

Кроме параллельных интерфейсов SPI, в стандарте SCSI-3 описаны еще и два последовательных интерфейса - Fibre Channel и SSA (Serial Storage Architecture), различающиеся лишь реализацией архитектурных моделей. Кстати, если вспомнить о мэйнфреймах, то там практически с момента их появления использовался разработанный корпорацией IBM (http://www.ibm.com) стандарт на последовательную передачу данных под названием ESCON (Enterprise Systems Connection). А вот для суперкомпьютеров Cray первоначально был разработан параллельный интерфейс HIPPI (High Performance Parallel Interface). Тем не менее большинство экспертов в настоящее время сходятся во мнении, что для передачи данных на большие расстояния преимущества последовательного интерфейса, к тому же работающего на высокой скорости, просто очевидны.

Корпорация IDC оценивает рынок Fibre Channel к 2002 г. в 15 млрд. долл., причем использовать эту технологию будет половина внешних систем хранения данных. Дело в том, что она идеально подходит для стратегии централизованной системы хранения данных SAN (Storage Area Network), когда дисковые и ленточные накопители находятся в своей отдельной сети, которая территориально может быть довольно далеко удалена от основных серверов компании.

Гигагерцевый адаптер
Adaptec Fibre Card 9119G

Когда появились первые сети, призванные объединить компьютеры для совместной работы, оказалось, что лучше всего приблизить ресурсы к рабочим группам. Таким образом, в попытке свести к минимуму сетевую нагрузку накопители информации были равномерно разделены между множеством серверов и настольных компьютеров. В сети одновременно существуют два канала передачи данных: сама сеть, по которой идет обмен между клиентами и серверами, и канал, обеспечивающий обмен данными между системной шиной компьютера и собственно устройством хранения. Это может быть канал между контроллером и жестким диском или между RAID-контроллером и внешним дисковым массивом.

Такое разделение каналов во многом объясняется различными требованиями к пересылке данных. В сети на первое место встает доставка нужной информации одному клиенту из множества возможных, для чего необходимо создать определенные и весьма сложные механизмы адресации. Кроме того, сетевой канал предполагает значительные расстояния, поэтому здесь предпочтительна передача данных по последовательному соединению. А вот канал хранения выполняет весьма простую задачу, предоставляя возможность обмена с заранее известным накопителем данных. Единственное, что от него требуется, - делать это максимально быстро. Расстояния здесь, как правило, небольшие.

Однако современные сети сталкиваются с необходимостью обработки все больших и больших объемов данных. Высокоскоростные мультимедиа-приложения, обработка изображений нуждаются в более быстром вводе-выводе, чем когда-либо раньше. Организации вынуждены хранить все большие объемы данных в режиме online, что требует большей емкости внешней памяти. Ввиду необходимости страхового копирования больших объемов данных устройства вторичной памяти приходится относить на все большие расстояния от серверов обработки. В ряде случаев оказывается, что объединить ресурсы серверов и накопителей в единый пул для центра обработки информации с помощью Fibre Channel можно гораздо эффективнее, чем при использовании стандартного набора - сеть Ethernet плюс интерфейс SCSI.

Институт ANSI зарегистрировал рабочую группу по разработке метода для высокоскоростного обмена данными между ЭВМ, суперкомпьютерами, рабочими станциями, персональными компьютерами, накопителями и устройствами отображения еще в 1988 г. В 1992-м три крупнейшие компьютерные компании - IBM, Sun (http://www.sun.com) и Hewlett-Packard (http://www.hp.com) организовали инициативную группу FCSI (Fibre Channel Sytems Initiative), перед которой была поставлена задача разработки метода быстрой передачи цифровых данных. Группой был создан ряд предварительных спецификаций - профилей. Поскольку физической средой для обмена информацией должны были стать волоконно-оптические кабели, то и в названии технологии фигурировало слово fiber. Однако несколько лет спустя в соответствующие рекомендации была добавлена возможность использовать и медные провода. Тогда комитет ISO (International Standard Organization) предложил заменить английское написание fiber французским fibre, чтобы как-то уменьшить ассоциацию с волоконно-оптической средой, при этом практически сохранив первоначальный вариант. Когда предварительная работа по профилям была завершена, дальнейший труд по поддержке и развитию новой технологии взяла на себя ассоциация разработчиков волоконно-оптического канала FCA (Fibre Channel Association), вошедшая в комитет ANSI. Помимо FCA была создана также независимая рабочая группа FCLC (Fibre Channel Loop Community), которая начала заниматься продвижением одного из вариантов технологии Fibre Channel - FC-AL (Fibre Channel Arbitrated Loop). В настоящее время всю координационную работу по продвижению технологии Fibre Channel взяла на себя ассоциация FCIA (Fibre Channel Industry Association, http://www.fibrechannel.org). В 1994 г. стандарт FC-PH (физическое соединение и протокол передачи данных) был одобрен комитетом T11 ANSI и получил обозначение X3.203-1994.

Технология Fibre Channel обладает рядом преимуществ, которые делают этот стандарт удобным при организации обмена данными в группах компьютеров, а также при использовании в качестве интерфейса устройств массовой памяти, в локальных сетях и при выборе средств доступа к глобальным сетям. Одно из основных ее достоинств состоит в высокой скорости передачи данных.

FC-AL - это лишь одна из трех возможных топологий Fibre Channel, которая, в частности, используется для систем хранения данных. Кроме нее возможны топологии "точка - точка" (point-to-point) и звездообразная, построенная на основе коммутаторов и концентраторов (crosspoint switched). Сеть на базе коммутаторов, соединяющих множество узлов, в терминологии Fibre Channel называется fabric.

В "петлю" FC-AL можно включить до 126 устройств с возможностью "горячей" замены. При использовании коаксиального кабеля расстояние между ними достигает 30 м, в случае же волоконно-оптического оно увеличивается до 10 км. В основу технологии положена методика простого перемещения данных из буфера передатчика в буфер приемника с полным контролем этой и только этой операции. Для FC-AL совершенно неважно, как обрабатываются данные индивидуальными протоколами до и после помещения в буфер, вследствие чего тип передаваемых данных (команды, пакеты или кадры) не играет никакой роли.

Архитектурная модель Fibre Channel в деталях описывает параметры соединений и протоколы обмена между отдельными узлами. Эта модель может быть представлена в виде пяти функциональных уровней, которые определяют физический интерфейс, протокол передачи, сигнальный протокол, общие процедуры и протокол отображения. Нумерация идет от самого низкого аппаратного уровня FC-0, отвечающего за параметры физического соединения, до верхнего программного FC-4, взаимодействующего с приложениями более высокого уровня. Протокол отображения обеспечивает связь с интерфейсами ввода-вывода (SCSI, IPI, HIPPI, ESCON) и сетевыми протоколами (802.2, IP). Все поддерживаемые протоколы в данном случае могут быть использованы одновременно. Например, интерфейс FC-AL, работающий с IP- и SCSI-протоколами пригоден как для обмена "система - система", так и для обмена "система - периферия". Это исключает потребность в дополнительных контроллерах ввода-вывода, существенно уменьшает сложность кабельной системы, ну и, разумеется, общую стоимость.

Поскольку Fibre Channel - низкоуровневый протокол, не содержащий в своем составе команд ввода-вывода, то связь с внешними устройствами и компьютерами обеспечивается протоколами более высокого уровня, такими, как SCSI и IP (Internet Protocol), для которых FC-PH является транспортом. Сетевые протоколы и протоколы ввода-вывода (например, команды SCSI) преобразуются в кадры протокола FC-PH и доставляются адресату. Любое устройство (компьютер, сервер, принтер, накопитель и т. д.), имеющее возможность обмена данными по технологии Fibre Channel, называется N-портом (Node port) или просто узлом. Таким образом, основное назначение Fibre Channel состоит в манипуляции различными протоколами высокого уровня с использованием различных сред передачи и уже существующих кабельных систем.

Высокая надежность обмена посредством Fibre Channel обусловлена двухпортовой архитектурой дисковых устройств, циклическим контролем передаваемой информации и заменой устройств в "горячем" режиме. Протокол поддерживает практически любые применяемые сегодня кабельные системы. Однако наибольшее распространение получили только два носителя - оптика и витая пара. Оптические каналы используются для соединения устройств сети Fibre Channel, а витая пара - для соединения отдельных компонентов в устройстве (например, отдельных дисков в дисковой подсистеме).

Стандарт предусматривает несколько полос пропускания и поддерживает скорость обмена при односторонней передаче 200 Мб/с. Стоит отметить, что рабочая группа 10 GFC (10 Gigabit Fibre Channel) ассоциации FCIA уже завершила работу над одноименным стандартом, которая была начата летом 1999 г. под руководством комитета T11 ANSI. По мнению экспертов, новая спецификация обеспечит увеличение скорости передачи почти в 12 раз. Появление новых устройств планируется на 2002 г. Отметим, что оборудование для Fibre Channel может быть условно разбито на четыре основные категории: адаптеры, концентраторы, коммутаторы и маршрутизаторы, - причем последние широкого распространения пока не получили.

Решения на базе Fibre Channel обычно предназначены для организаций, которым необходимо поддерживать большие объемы информации в режиме online, ускорить операции обмена с первичной (жесткие диски) и вторичной (стримеры) внешней памятью для сетей с интенсивным обменом данных, удаление внешней памяти от серверов на большие расстояния, чем это допускается в стандарте SCSI. Типичными областями применения решений Fibre Channel являются базы и банки данных, системы анализа и поддержки принятия решений, основанные на больших объемах данных, системы хранения и обработки мультимедийной информации для телевидения, киностудий, а также системы, где диски из соображений безопасности должны быть удалены на значительные расстояния от серверов.

Статья опубликована в PC Week/RE № (270)48 и № (271)1 2001 г.
Перепечатывается с разрешения автора.