Системы сетевого хранения данных

Андрей Борзенко

Последние годы мир информационных технологий стоит перед проблемой лавинообразного роста объемов хранимых данных, и решается она, как правило, путем наращивания числа и мощности файловых серверов. Одна из важнейших современных тенденций развития корпоративных распределенных сетей — увеличение количества как внутрисерверных, так и автономных внешних устройств хранения данных. Соответственно растет и потребность в надежных и быстрых устройствах хранения. Современные системы хранения информации должны быть универсальными и масштабируемыми, что означает возможность без труда заменять и добавлять как устройства хранения информации, так и серверы в неоднородных корпоративных сетях, в которых могут сосуществовать серверы и рабочие станции на различных ОС и даже аппаратных платформах.

Для решения этой проблемы была предложена технология сетевой присоединяемой памяти NAS (Network Attached Storage), которая предусматривает подключение накопителей информации непосредственно к локальной или распределенной компьютерной сети, использующей технологию Ethernet и протокол TCP/IP. Причем располагаться накопители должны именно там, где находятся потребители информации, что позволяет уменьшить перегрузку сети, характерную для систем централизованного хранения.

Рис. 1. Архитектура NAS.

Развитие современных систем хранения идет в сторону все большей централизации хранения данных. Примерами приложений, требующих централизованного хранилища, могут служить, например, корпоративные базы данных, системы планирования ресурсов предприятий (Enterprise Resource Planning, ERP), почтовые системы, системы поддержки принятия решений (Decision Support Systems, DSS) и управления отношениями с клиентами (Customer Relationship Management, CRM).

Отметим, что концепция подключаемых к сети устройств хранения далеко не нова. В частности, она основана на таких разработках, как сетевая файловая система NFS (Network File System) компании Sun Microsystems (http://www.sun.com). NFS позволяет объединенным в сеть компьютерам более эффективно использовать системные ресурсы.

Архитектура NAS (рис. 1, 2) оптимизирована таким образом, чтобы основанные на ней системы имели преимущество перед серверами общего назначения — как по цене, так и по производительности. По сути, эти системы представляют собой серверы, которые выполняют только одну функцию — файлового сервиса, но выполняют ее очень хорошо. Подобные «тонкие» файл-серверы иначе называются файлерами (filers). NAS — это высокопроизводительная платформно-независимая технология хранения данных. Файлеры просты в администрировании и легко подсоединяются прямо к сети, обеспечивая клиентам непосредственный доступ к их ресурсам. Они особенно полезны в сложной гетерогенной среде, где и клиенты, и серверы работают под управлением разных ОС.

Рис. 2. Типичная топология NAS.

Ключевая особенность файлеров — мультипротокольный механизм разделения файлов. Они используют стандартные коммуникационные протоколы и сетевые интерфейсы, которые позволяют передавать данные как в LAN-, так и в WAN-среде. Обычно поддерживаются:

• Common Internet File System (CIFS) — для клиентов Microsoft Windows 9x/NT;
• NCP — для Novell NetWare;
• NFS — для клиентов UNIX;
• HTTP — для Web-браузера;
• DHCP — для автоматической IP-адресации;
• SNMP — для управления и мониторинга.

Некоторые файлеры используют также Network Data Management Protocol (NDMP), который позволяет удаленно запускать резервное копирование с диска на магнитную ленту. Из сетевых технологий в основном применяются Fast/Gigabit Ethernet, FDDI и АТМ.

От серверов общего назначения файлеры отличаются упрощенной ОС и оптимизированной по скорости доступа файловой системой. ОС файлеров, которая обычно располагается во флэш-памяти и предустанавливается фирмой-производителем, освобождена от всех функций, не связанных с обслуживанием файловой системы, таких, как графический интерфейс и выполнение прикладных вычислений. Простая архитектура обеспечивает быстрый ответ и очень высокую скорость передачи данных, без какой-либо сложной конфигурации аппаратных средств или ручной настройки производительности. Файлеры проектируются так, чтобы вся их вычислительная мощность фокусировалась исключительно на операциях обслуживания и хранения файлов.

Чтобы подсоединить NAS-устройство к сети, не нужно модифицировать эту сеть или устанавливать какую-либо специальную аппаратуру. Благодаря этому легко расширить емкость массовой памяти в корпоративной сети, не останавливая ее работу. Как только NAS-устройство подключается к сети, его ресурсы становятся доступными для пользователей. Нет необходимости в загрузке дополнительного ПО или конфигурации рабочей станции: устройства интегрируются с сетью автоматически. У пользователя просто появляются дополнительные диски, к которым он получает прямой доступ, не нагружая излишне серверы приложений.

Из преимуществ централизованных хранилищ данных стоит отметить высокую надежность, практически неограниченную масштабируемость, высокую скорость доступа к данным, а также операций архивирования-восстановления, возможность создания локальных и удаленных копий данных, централизованное управление.

Файлеры NetApp

Компания Network Appliance ( http://www.netapp.com ) первой начала выпуск специализированных устройств сетевого хранения данных NAS и до сих пор остается признанным лидером в этой области. По данным IDC, на ее долю приходится почти половина рынка подобных устройств.

Выпускаемые Network Appliance продукты позволяют создавать системы хранения объемом от 50 Гбайт до 18 Тбайт. Все серверы используют ОС Data ONTAP. Они различаются аппаратными характеристиками — типом и количеством процессоров, объемом памяти и т. п. (таблица) и соответственно производительностью. Серверы семейства F8xx (F810, F820, F840 и F880) могут использоваться как для организации центрального хранилища данных, так и для хранения данных в удаленных филиалах компаний или на площадках Интернет-провайдеров, в зависимости от размера филиала и самой компании.

Характеристики серверов NetApp Filer

Для доступа к дискам серверы семейства F8xx используют технологию Fibre Channel. Подключение к ленточной библиотеке и резервное копирование осуществляется либо по интерфейсу SCSI, либо по Fibre Channel.

Флагманский сервер Network Appliance — F880 вобрал в себя последние разработки компании в области NAS. Он поддерживает технологии Virtual Interface (VI) и DAFS (Direct Access File System), которые существенно повышают производительность сетей NAS.

Сервер NetApp Filer F840

Младшая модель NetApp Filer F87 предназначена для использования в небольших организациях или отделах. От других моделей этот сервер отличается тем, что не поддерживает кластерную конфигурацию и использует только SCSI-интерфейс для доступа к дискам и ленточной библиотеке.

Надо отметить, что все серверы NetApp Filer, за исключением младшей модели F87, конструктивно состоят из управляющего модуля и дисковых полок, подключаемых к управляющему модулю по одной или нескольким петлям Fibre Channel. Именно управляющий модуль обеспечивает взаимодействие с локальной сетью и поддерживает подключение к внешней ленточной библиотеке. В управляющем модуле работает специализированная ОС Data ONTAP. В ее задачи входит управление дисковым пространством, организацией томов, поддержкой прав доступа и т. д.

Для повышения производительности операций чтения-записи и обеспечения надежности хранения данных в серверах NetApp используется оперативная и энергонезависимая память большого объема (до 3 Гбайт). Около 75% оперативной памяти используется в качестве кэша при операциях чтения. ОС сервера сохраняет в кэш-памяти данные, полученные при опережающем (read-ahead) считывании запрашиваемого файла, что позволяет достичь максимальной скорости при операциях чтения и минимизировать задержки.

Во всех серверах Network Appliance (за исключением F87) установлено по 128 Мбайт энергонезависимой памяти (NVRAM). Все запросы на запись изначально сохраняются в NVRAM, после чего выполняется запись на диск. В энергонезависимой памяти информация сохраняется при отключенном электропитании в течение длительного времени (около недели). Это позволяет гарантировать, что вся информация, переданная серверу, в итоге будет сохранена на диске даже в случае пропадания питания или неожиданного отключения устройства.

Как уже отмечалось, основное отличие приведенной схемы от используемой в традиционных системах хранения — это работа на уровне файловой структуры и файловых запросов (NFS, CIFS), а не дисковых блоков данных. Такая технология повышает как производительность, так и эффективность использования памяти. По существу в памяти ведется транзакционный журнал файловых операций, которые в определенный момент времени фиксируются на диске.

Чтобы повысить надежность системы и увеличить ее емкость, на базе NetApp Filer можно строить кластерные конфигурации. Конфигурация «активный-активный» позволяет почти удвоить производительность кластера по сравнению с отдельным устройством. В случае выхода из строя одного из серверов другой автоматически берет на себя его функции.

Подключение к локальной сети осуществляется через сетевые адаптеры. Разные модели серверов допускают использование от 2 до 6 адаптеров, подключающихся к 64-разрядным шинам PCI. Поддерживаются все распространенные в ЛВС стандарты: Fast/Gigabit Ethernet, ATM, FDDI[1].

Особенности Data ONTAP

Встроенная в файлеры ОС Data ONTAP реализована на основе микроядра и оптимизирована для работы с файлами, в частности, операций доступа к файлам, защиты информации, управления правами доступа и т. п. Рассмотрим наиболее интересные функции Data ONTAP, обеспечивающие надежность хранения данных и простоту управления устройствами.

WAFL — Write Anywhere File Layout

Специализированная журналируемая файловая система обеспечивает эффективную поддержку работы RAID, позволяет динамически расширять размеры томов, добавлять новые диски и т. д. Серверы NetApp поддерживают спецификацию RAID 4. Этот уровень RAID позволяет «прозрачно» расширять размеры логических томов. По мнению разработчиков, оптимизация аппаратной архитектуры и ПО в файлерах позволила свести к минимуму падение производительности на операциях записи, характерное для RAID уровней 3-5.

Поддержка Snapshots

Мгновенное получение «снимка» данных выбранного тома используется в основном для последующего архивирования или обработки внештатных ситуаций. Эта технология, основанная на возможностях файловой системы WAFL, позволяет за доли секунды создать копию файловой системы. При этом реального перемещения данных не происходит. При создании «мгновенной» копии фиксируется образ файловой системы, а все последующие изменения записываются в другую область диска. Это позволяет создавать и поддерживать несколько десятков таких копий при существенной экономии дискового пространства.

SnapRestore

Данная функция обеспечивает мгновенный (в течение нескольких секунд) возврат к снимку тома, сохраненному с помощью функции Snapshot, т. е. к сохраненному ранее образу данных. Эта технология дает возможность кардинально уменьшить время восстановления данных в случае их повреждений, связанных с ошибками пользователей или с программными ошибками.

SnapMirror

Эта функция зеркалирования позволяет создавать удаленные копии данных и в дальнейшем поддерживать синхронность этих удаленных копий. Разработчики считают SnapMirror идеальным решением для обеспечения сохранности данных. Удаленная копия поддерживается в асинхронном режиме, что позволяет применять для репликации пакетные среды передачи с невысоким гарантированным качеством сервиса.

FilerView

Данная функция выполняет удаленное конфигурирование устройства по протоколу HTTP с помощью любого Web-браузера. Все операции по установке, настройке и мониторингу оборудования можно осуществлять через Интернет.

ОС Data ONTAP поддерживает сетевые файловые системы NFS для UNIX и CIFS для Windows NT. При этом Data ONTAP обеспечивает пофайловый контроль доступа и контроль блокировок вне зависимости от используемой сетевой файловой системы. В домене Windows сервер Network Appliance может функционировать как входящий в домен сервер, который обращается к контроллерам домена за подтверждением авторизации пользователей. Работая в среде UNIX, сервер может получать информацию для авторизации пользователей по протоколу NIS. Система поддерживает управление по протоколам SNMP и HTTP.

Отказоустойчивость

Обеспечение непрерывного доступа к данным — это ключевая задача, которую решает централизованная система хранения, и компания Network Appliance уделяет ей повышенное внимание. Для обеспечения надежности используются следующие средства, стандартные для оборудования корпоративного класса:

• поддержка RAID;
• возможность горячей замены дисков;
• поддержка дисков горячего резерва;
• дублированные источники питания с возможностью горячей замены;
• возможность подключения к двум независимым линиям электропитания;
• подключение к локальной сети по нескольким каналам с организацией транковых и резервных соединений;
• поддержка кластерных систем.

Стоит особо остановиться на способах подключения к ЛВС и кластерных системах. NetApp Filer позволяет организовать подключение к ЛВС по нескольким каналам связи двумя различными способами. Во-первых, при подключении нескольких каналов связи к одному и тому же коммутатору сети их можно объединить в один логический транковый канал для повышения производительности. При этом коммутатор должен со своей стороны предоставить такую возможность. Все Ethernet-коммутаторы серии Cisco Catalyst поддерживают технологию EtherChannel, позволяющую объединить в один канал до четырех линий Fast или Gigabit Ethernet.

Во-вторых, при подключении каналов связи к разным коммутаторам сети можно повысить надежность системы, сделав один из каналов основным, а другой — резервным. При обрыве основного канала резервный автоматически берет на себя его функции.

Выбор между этими двумя вариантами зависит от того, что важнее — надежность или производительность. Можно создать и комбинированную систему, подключив сервер двумя двойными каналами Fast/Gigabit Ethernet к двум разным коммутаторам локальной сети. Наиболее высокую степень надежности можно достичь, используя кластерную конфигурацию. Объединившись в кластер, два сервера в нормальном режиме работают совершенно автономно, а в случае выхода из строя одного из серверов другой берет на себя его функции. При этом сохраняется доступ ко всем данным, но возможно некоторое падение производительности.

Резервное копирование

Система резервного копирования — неотъемлемая часть любого решения для хранилища данных. Network Appliance предлагает использовать стандартизованный способ построения системы резервного копирования. Для минимизации кода в ОС Data ONTAP не включены функции поддержки сложных систем типа ленточных или магнитооптических библиотек. Вместо этого предлагается использовать стандартный способ управления этими устройствами из любого ПО резервного копирования, например, Legato Networker, Veritas NetBackup, HP OmniBack и т. п. Чтобы исключить передачу архивируемых данных по сети, серверы NetApp используют отдельное подключение архивных устройств по каналам SCSI (прямое подключение) или Fibre Channel (возможно подключение к сети хранения данных — SAN).

ПО резервного копирования может управлять библиотекой, подключенной к NetApp Filer напрямую или через сеть хранения, используя стандартный протокол NDMP (Network Data Management Protocol). Он позволяет серверу резервного копирования по IP-сети управлять как NAS-сервером, так и подключенной к нему библиотекой. При этом по локальной сети осуществляется только управление, данные же по ней не передаются[2].

Примечания

1. Что такое DAFS
Одна из самых перспективных технологий, существенно повышающая привлекательность систем NAS, — файловая система DAFS (Direct Access File System). Ее применение позволяет резко увеличить скорость передачи данных, а также избавиться от основного недостатка технологии NAS — высокой загрузки процессоров прикладных серверов обработкой стека TCP/IP.

Для интерфейса к приложениям DAFS применяет семантику NFS4, а в качестве транспорта для пересылки данных между серверами использует технологию Virtual Interface (VI), основанную на протоколе Remote DMA. Прямой доступ к памяти дает возможность пересылать данные, не задействуя центральный процессор.

Теоретически VI может передавать данные поверх любого транспорта. На сегодняшний день существуют реализации VI поверх TCP/IP (IETF), Fibre Channel (ANSI FC-VI draft std) и InfiniBand (VIPL 2.0).

Новейшие серверы верхнего уровня NetApp Filer 880 поддерживают DAFS. Уже существуют протестированные решения DAFS поверх Fibre Channel на базе NetApp Filer 880, коммутатора FC Brocade и адаптера Troika VI/FC, а также DAFS поверх Gigabit Ethernet — с использованием адаптера Emulex GN9000/VI VI/IP. Более подробную информацию о DAFS можно получить по адресу http://www.dafscollaborative.org .

2. Network Appliance в России
Примером решения на базе NetApp Filer может служить система хранения данных суперкомпьютера МВС 1000М, установленного в Межведомственном суперкомпьютерном центре (МСЦ) РАН. Пиковая производительность суперкомпьютера МВС 1000М достигает 1 терафлопса. Он состоит из шести базовых блоков, в каждый из которых входит 64 двухпроцессорных модуля. Модули собраны на базе процессоров Alpha 21264A (667 МГц) и объединены высокоскоростной сетью Myrinet (2 Гбит/с), используемой только для межпроцессорных коммуникаций во время параллельных вычислений. Для обмена информацией с внешними подсистемами в каждом вычислительном модуле предусмотрен порт Fast Ethernet.

При построении систем распределенных вычислений очень важно обеспечить равноправный доступ всех вычислительных модулей к общим данным. В МВС 1000М с одними и теми же данными одновременно должны работать 384 высокопроизводительных компьютера — без снижения производительности. Это требование наложило жесткие ограничения на выбор и конфигурацию системы хранения. Естественным решением этой проблемы было использование специализированного файлового сервера NAS, который обеспечивал бы доступ к данным по локальной сети. При проектировании системы хранения для суперкомпьютера МВС 1000М выбор пал на сервер NetApp Filer 840 производства компании Network Appliance.

В разработке и внедрении интеллектуальной системы хранения информации для МВС 1000М принимала активное участие компания S&T International ( http://www.snt.com.ru ) — авторизованный дистрибьютор Network Appliance и единственная в России и СНГ организация, обеспечивающая техническую поддержку оборудования Network Appliance в режиме 24в7 в 365.

Статья опубликована в журнале BYTE № 5 (46), май 2002 г.
Перепечатывается с разрешения автора.
Статья помещена в музей 28.02.2009