Тестируемая СХД является флагманом линейки QSAN TrioNas LX и представляет из себя Unified Storage – т.е. и NAS, и ISCSI хранилище в одном. Отличительной особенностью подобных СХД является их универсальность применения, так как, в зависимости от настройки, они могут использоваться как полноценные NAS системы (т.к. поддерживают протоколы файлового доступа CIFS, NFS), так и в сетях SAN, благодаря поддержке протокола блочного доступа iSCSI.
Технические характеристики: подробное описание можно посмотреть на сайте производителя
I. Общее описание
Внешний вид: СХД упакована в обычную картонную коробку без паллеты, внутри которой сверху в защитном материале лежат корзины для жестких дисков, а под ними, с упорами из пенопласта, само хранилище, рядом с которым разместилась коробка с рельсами, крепежом, ключами и пр. Что примечательно, вообще все дополнительно упаковано в полиэтиленовые пакеты, даже корзины для HDD. Достаем все привезенное, осматриваем. Каждая корзина позволяет закрепить в ней как жесткие диски формата 3.5”, так и 2.5”. Разница лишь в том, что отверстия под винты для 3.5” находятся в боках корзины, а для 2.5” – снизу. У нас были жесткие диски 3.5” и после установки всех 12 штук стало понятно, что возможность вкручивать винты снизу корзины, а не сбоку, сильно облегчило бы задачу и уменьшило временные затраты (так сделано в корзинах Maxtronic, например). Далее сама СХД. Представляет собой стандартную платформу 3U, рассчитанную на 16 жестких дисков. На лицевой стороне находится откидная крышка, открывающая доступ к слотам для HDD (нужно быть осторожным, так как после открывания крышка радостно падает на ноги, потому что легкосъемная), и маленькую поворотную панель с дисплеем и кнопками для первоначальной настройки и управления. Удобно, что панель крепится на шарнире и легко убирается в сторону, не мешая установке корзин. С обратной стороны дисплея расположена наклейка с номерами слотов. Сзади СХД расположен контроллер с портами для подключения, который может быть только один, и 2 блока питания (закреплены в корпусе винтами, так что просто так вынуть/вырвать не получится) со специальными хомутами для кабеля питания, которые предотвращают возможные вылетания/выдергивания.
Порты и разъемы: непосредственно на контроллере находятся Management порт для управления и настройки СХД, еще 2 порта 1GbE для передачи данных, ну и основная фишка конкретно этой модели – это 2 порта 10GbE под трансиверы SFP+ (можно использовать как SR/LR, так и Copper, в этом случае используются так называемые Passive Copper Hybrid Cable с уже закрепленными на них трансиверами SFP+). Помимо перечисленных жизненно необходимых разъемов и портов, есть еще порт для подключения UPC и консольный порт (оба в виде разъема jack 3.5), а также 2 порта USB для скачивания dump файлов и логов с хранилища. Порт для подключения UPC позволяет получать сигнал на отключения СХД в случае аварийного отключения электропитания и корректно завершить работу хранилища, не повреждая и не теряя информацию, которая может находиться в cache памяти контроллера. Описания консольного порта в User Manual отсутствует, т.к., скорее всего, он используется только в случае неполадок в работе СХД для доступа непосредственно к OS.
Поворотная панель вмещает на себе 5 кнопок управления (вверх/вниз, ENT, ESC, MUTE), дисплей, который в обычное время показывает текущий IP адрес СХД и ее модель, а во время использования кнопок позволяет видеть меню первичной настройки, и 3 индикатора работы (Power, Status, Access).
Меню имеет следующие разделы:
Достоинства:
Недостатки:
II. Настройка
Настройка СХД делится на 2 этапа:
1) Настройка IP для доступа через Management порт (с помощью экрана спереди СХД).
2) Последующее конфигурирования уровней RAID и пр. (с помощью утилиты QCentral).
Для первого пункта нам необходимо задать нужный IP адрес нашей СХД, чтобы можно было подключиться к хранилищу через Management порт с компьютера с помощью витой пары. Для этого используем кнопки на поворотной панели, расположенной на лицевой стороне хранилища. Находим пункт Change IP Configuration и там можем выбрать один из 3 способов получения IP адреса: DHCP, BOOTP и Static IP. DHCP удобен, когда есть роутер, либо на компьютере, через который хотим настроить нашу СХД, поднят DHCP сервер. Мне ближе был Static IP, но при попытке задать IP адрес, маску и шлюз постоянна появлялись ошибки «Invalid IP. Failure» и «Invalid Gateway. Failure». После 10 неудачных попыток со сменами подсетей, маски и пр., было принято решение подключить компьютер и СХД к простому роутеру через DHCP. Спустя секунды после подключения к роутеру, хранилище получило IP адрес и дало зайти в WebUI уже с компьютера. Что интересно, после того, как через DHCP QSAN получил IP адрес, он дал изменить его и через лицевую панель. С чем это связано – мне непонятно, надеюсь, что это проблема конкретно данного экземпляра.
Переходим ко второму пункту. Заходим в WebUI, перед глазами появляется страничка с объяснением, что хранилище настраивается через специальную утилиту QCentral, которую можно скачать по указанным ссылкам. Ссылок всего 2 – для Windows и Linux. Доступ в интернет не нужен, утилита находится в памяти самого хранилища и после нажатия на нужную ссылку сразу же начинается загрузка. Запускаем установку утилиты и видим 2 варианта использования программы: Standalone и Client-Server. Мы будем использовать конфигурацию Standalone, потому как хранилище всего одно. Конфигурация Client-Server позволяет управлять уже несколькими хранилищами, подключенными к одной сети. Топология такая: есть n-хранилищ QSAN, один сервер с серверной частью программы (java приложение, требует наличие установленного jre) и сколько нужно компьютеров с клиентской частью программы (Windows приложение), с которых необходимо управлять хранилищами. Итак, QCentral установили, запускаем программу, после чего она автоматически начинает сканировать сеть в поисках доступных хранилищ QSAN. После того, как наше хранилище найдено, жмем по нему ПКМ и жмем Log On, используя данные для входа admin/1234. После этого все функции для настройки становятся доступны (см. скриншот ниже).
Далее можем пойти двумя путями: запустить Quick Setup, либо самим пройти все этапы настройки, переходя от вкладки к вкладке. Первый вариант слишком простой и неинтересный, поэтому будем поэтапно исследовать вкладки программы.
Вкладки, позволяющие настроить те или иные функции, видны на скриншоте выше. Это:
1) Summary, информационная вкладка, содержащая в себе 2 раздела: Overview и Utilization. Раздел Overview содержит в себе общую информацию о системе, такую как версию firmware, тип процессора, количество оперативной памяти и пр. Раздел Utilization позволяет в режиме реального времени следить за нагрузкой на процессор, сетевые интерфейсы, жесткие диски СХД, а также за использованием оперативной памяти. Информация отображается в виде диаграмм и графиков и позволяет оперативно реагировать на те или иные ситуации.
2) Configuration, на данной вкладке осуществляется создание уровней RAID из имеющихся жестких дисков и создание из них file system/volume, в зависимости от типа доступа (подробнее чуть ниже). Включает в себя следующие разделы: Physical disk, S.M.A.R.T., Pool, ZFS, Snapshot, LUN.
a) В разделе Physical disk перечислены все установленные жесткие диски с указанием номера слота, объема диска, пула, в котором он состоит, статуса, состояния, использования в RAID и т.д., т.е. полная информация обо всех HDD в системе.
b) Далее идет раздел S.M.A.R.T., где можно узнать состояние жестких дисков.
c) Pool – раздел, где можно создать из жестких дисков RAID. Поддерживаются все популярные уровни: 0, 1, 5, 6, 10, 50, 60. Что интересно, кроме выбора уровня RAID, включения/выключения Write Cache и Read Ahead, особенно ничего нам настроить не дадут, т.е. поиграть с Stripe Size нам никто не даст. Как выяснилось, это было сделано специально из соображений безопасности (мало ли что вредные русские наизменяют).
d) На следующей вкладке ZFS как раз и определяется, каким образом будет работать наша СХД – как NAS или используя протокол iSCSI. Если хотим NAS, то жмем Create, в появившемся окне пишем название нашей файловой системы и выбираем ранее созданный Pool, после чего выбираем опцию File System, определяющую принцип работы хранилища как NAS. Из настроек можно включить дедупликацию, компрессию, thin provision, синхронизацию и количество дубликатов наших данных для увеличения надежности хранения (подробнее о перечисленных функциях можно прочитать в User Manual). Если хотим подключить по iSCSI – нажимаем Create, пишем желаемое имя, выбираем Pool и опцию Volume, означающую, что мы будем работать через протокол iSCSI.
e) На вкладке LUN создается логический том на нашем Volume. Вкладка доступна только в случае, если создан хотя бы один Volume на вкладке ZFS. Соответственно, после создания LUN средствами Windows iSCSI Initiator можно настроить доступ к хранилищу. Если IP адреса Management Port и 10GbE находятся в одной подсети, то обязательно сделать следующее: при добавлении объекта нужно использовать не быстрое подключение, а зайти в меню «Подключить», ввести имя объекта, после зайти в «Дополнительно» и указать IP адрес порта 10GbE. Если этого не сделать, то вполне вероятно, что хост с хранилищем будет работать через Management Port, что при наличии портов 10GbE очень неприятно.
f) На вкладке Snapshot останавливаться на будем, здесь все стандартно. Выбираем либо все имеющиеся файловые системы, либо какую-то определенную, и нажимаем Take Snapshot.
g) Также есть вкладка Snapshot Schedule, позволяющая создавать snapshot по расписанию.
3) Data Services, вкладка, позволяющая включать/отключать службы передачи данные. Включается в себя вкладки CIFS, NFS, AFP, FTP, WebDAV, iSCSI, Connections. В рамках тестирования будем использовать только CIFS и iSCSI, так как все наши системы Windows based (следовательно, NFS не требуется) и используются как файловое хранилище для цифровых архивов, монтажных комплексов и пр.
4) Directory Services, позволяет определить метод аутентификации. Доступные варианты: Standalone, Active Directory и LDAP. Рассмотрим 2 основных режима – Standalone и Active Directory.
a) Standalone. Если хранилище нужно использовать как простое файловое хранилище для каких-либо данных пользователей в небольшой организации, где нет домена, можно использовать режим Standalone. Для того, чтобы пользователи смогли работать с хранилищем, во вкладке Account (см. далее) необходимо завести учетные записи пользователей, обязательно указав пароль (причем от 12 до 16 символов). Также можно задать квоту, email, описание и пр.
b) Active Directory. Благодаря этому способу аутентификации решения, подобные данному QSAN, очень выгодно выделяются. Плюс состоит в том, что при выборе данного режима не придется заводить учетные записи пользователей на хранилище (что не очень-то удобно, если людей достаточно много + требуется длинный пароль), а пользователям не нужно каждый раз вводить логин/пароль для доступа к хранилищу. В данном режиме хранилище синхронизируется с контроллером домена, где находится Active Directory, и «подтягивает» всех пользователей, благодаря чему происходит заметная экономия времени и динамическое расширение списка пользователей в случае добавления новых учетных записей в AD. При этом администратору системы не нужно ничего обновлять, все происходит в автоматическом режиме. Теперь о том, как это настроить. Выбираем режим Active Directory, открывается окно с настройками, где надо указать IP адрес контроллера домена, логин/пароль учетной записи администратора, имеющего доступ в AD, название домена и период синхронизации хранилища и контроллера домена. Прежде, чем производить настройку, нужно соблюсти 2 условия: хранилище и контроллер домена должны быть синхронизированы по времени и разбегание не должно превышать 1 минуту (в этом может помочь общий NTP сервер, для хранилища его можно задать в настройках системы); адрес DNS у хранилища и контроллера домена должен совпадать. Теперь тонкость – прежде, чем настраивать синхронизацию с AD, заходим на контроллер домена в настройки DNS и вручную заводим запись с именем и IP адресом нашего хранилища, иначе при проверке настроек постоянно будет появляться ошибка. Также лучше задавать не имя контроллера домена, а его IP адрес. После того, как ввели все необходимые данные, жмем ОК и ждем, пока завершится синхронизация. После этого получаем «NAS в коробке», неотличимый для пользователей от конфигурации «дисковый массив + сервер».
Достоинства:
Недостатки:
- не очень удобная настройка такой «интеграции», например, ввести машину под управлением Windows в домен гораздо проще.
5) Backup, позволяет производить репликацию данных, причем как локально, так и на стороннюю машину. Нажимаем Add, появляется окно с настройками, где можно ввести имя задания и выбрать нужную файловую систему. Далее выбираем путь – локально или на другую машину. Если выбираем второй вариант, вводим IP адрес, логин/пароль пользователя, имеющего доступ к компьютеру, на который будет производиться репликация.
6) Antivirus, интересная функция, позволяющая проверять хранилище на наличие вирусов извне. То есть, если у нас в сети есть т.н. Antivirus Server, мы можем задать его IP адрес и порт, указать папки, которые следует проверять, таким образом повышая безопасность хранения данных. Особенно актуально, если в сети есть компьютеры, имеющие непосредственный доступ в Интернет, либо пользователи, которые часто используют личные USB-накопители. В любом случае, функция хоть и полезная, но, все же, «пожар легче предупредить, чем потушить».
7) Account, та самая вкладка, на которой можно добавлять пользователей. Иерархия стандартная – группы пользователей и сами пользователи. Новую учетную запись можно создать только при условии, что задана домашняя директория (home directory). Задать ее можно, зайдя во вкладку Configuration -> Pool, выбрав нужный pool -> Set home directory. Настроек здесь минимум, основные – это распределение пользователей по группам и задание квот для каждого из них. На этой же вкладке можно выбрать, просматривать локальных пользователей (собственные каталог хранилища), либо доменных (если включен режим Active Directory).
8) Sharing, вкладка позволяет открывать общий доступ к нашей файловой системе, причем сразу можно определить, через какой протокол эта сетевая папка будет работать, а также права доступа к ней пользователей и групп (Read only или Read/Write).
9) Event log, последняя вкладка, представляющая собой журнал событий хранилища, где отображаются все сделанные корректировки настроек произошедшие ошибки с указанием даты и времени события. Удобно, что этот журнал можно сохранить в файл на компьютере, а также настроить фильтры, по которым ведется журнал. Фильтров всего 3: Information, сюда входят события, сообщающие об изменения настроек, Warning, то есть различные предупреждения, и Error, то есть любые ошибки, такие как неполадки одного из блоков питания и пр.
Достоинства:
Недостатки:
Особенности:
III. Тестирование
Так как наше хранилище может работать по 2 протоколам – iSCSI и CIFS – для тестирования скорости будем использовать различные утилиты, которые позволят нам оценить производительность системы в обоих режимах работы с разными способами подключения.
Утилиты следующие: IOMeter, NASPT, BMD Disk Speed Test и AJA System Test. Из всех перечисленных утилит только 1 может работать с сетевыми хранилищами – это NASPT. Остальные требуют подключения СХД в виде локального диска, поэтому для их использования СХД будет подключена по iSCSI.
Настройки СХД для обоих вариантов подключения:
RAID 5, Write Cache Enabled, Read Ahead Disabled. Все дополнительные функции, такие как дедупликация, создание дополнительных копий данных и пр. отключены.
Ниже привожу результаты тестов в виде скриншотов и графиков.
Тест проводился для 2 качеств видео – SD (PAL DV25) и HD (DVCProHD 1080i50). Так как хранилище предполагается использовать для записи/воспроизведения медиа контента, размер тестового был выбран 2Гб и 4Гб.
PAL DV25; File size 2Gb
PAL DV25; File size 4Gb
DVCProHD 1080i50; File size 2Gb
DVCProHD 1080i50; File size 4Gb
При дальнейшем увеличении размера тестового файла скорость записи для обоих кодеков продолжала падать и при размере 16Гб упала до значения 1-2Мб/сек. Была замечена нестабильность скорости, которая проявлялась следующим образом: запускаем тест, видим скорость 30-50Мб/сек. Останавливаем тест, ждем около 10 сек. Вновь запускаем тест, скорость становится 90-100Мб/сек, при том что подключенный к хранилищу хост 1, никаких других обращений к СХД нет. Это явление повторялось и для BMD Disk Speed Test (см. ниже).
Удобная утилита, имеющая минимум настроек (размер тестового файла, выбран равным 5Гб). Что интересно, утилита проводит одно единственное измерение скоростей записи и чтения, на основании которого рассчитывает пригодность использования хранилища для различных качеств видео. Вспоминая неравномерность измерений в AJA System Test, было проведено 10 измерений.
Пример теста в BMD Disk Speed Test
Чтобы не приводить все 10 скриншотов, результаты измерений сведены в одну диаграмму.
Результаты тестов BMD Disk Speed Test
Упомянутая выше неравномерность отлично видна на представленной диаграмме. Хотя, измерения скорости чтения более постоянны, нежели скорости записи.
Любимая утилита специалистов по СХД, имеющая огромное количество различных настроек. После изучения вопроса, каким же образом нужно тестировать хранилище для медиа контента, было установлено, что оптимальными и необходимыми являются следующие настройки: «block size» (размер блока данных), равный 1-1,5Мб, и «# of Outstanding IOps» (количество нагрузочных потоков), равное 8-16. Результаты так же сведены в диаграммы.
Результаты тестов скорости чтения IOMeter
Единственная из всех используемых в тестировании утилит, позволяющая оценить производительность именно NAS хранилищ. Имеет набор различных тестов, таких как копирование на/с NAS, офисные операции, воспроизведение и запись HD видео. Удобно, что результаты тестов автоматически сводятся в итоговую таблицу.
Данная утилита показала самые оптимистичные показания скорости записи и чтения QSAN U600, хотя, глядя на показание 201Мб/сек на воспроизведении HD видео, задумываешься… О чем именно – ниже, в итогах тестирования.
После проведение настройки и различных тестов QSAN U600 пришло время подвести итоги этого небольшого исследования. Все достоинства и недостатки, которые были мной замечены, перечислены в соответствующих разделах. Единственное, что не попало ни в один раздел – это проблема с питанием. Видимо, она связана еще и с охлаждением системы, так как после продолжительной работы в серверном шкафу периодически включался сигнал тревоги у СХД, и на дисплее появлялось сообщение о неисправности одного из блоков питания, причем после перезагрузки все приходило в норму и хранилище могло еще день нормально проработать. Найти причину проблемы так и не удалось.
Общий итог таков, что даже пиковая скорость в тестах была около 300Мб/сек, что несколько странно для хранилища с интерфейсов 10GbE. Покупая СХД с таким интерфейсом, думаешь, что это позволит наконец-то перестать упираться в 1GbE и получить огромный прирост производительности, однако уже при первых же измерениях становится ясно – появился новый враг скорости. Ясно, что 10GbE пропускает явно больше, чем 300Мб/сек, а уж 12 HDD 15K7 тем более не могут быть причиной столь низкой производительности, даже будучи в RAID5. В поисках диверсанта нам поможет вкладка Utilization, которая особенно для нас полезна во время тестов. Привожу один из скриншотов, сделанных как раз во время проведения теста скорости.
Видно, что процессор загружен на 92%, а скорость записи при этом всего 266,6Мб/сек. Я больше чем на эти 92% уверен, что причина низкой производительности кроется в контроллере с ZFS. Может, дело в жертве скоростью в пользу надежности, может, есть другая причина. Ясно только, что скорость 300Мб/сек в пике и 100Мб/сек средней скорости вряд ли стоит того, чтобы переплачивать за 10Gb интерфейс. Надеюсь, что все же скорость в 300Мб/сек достижима и в качестве «крейсерской», но на других экземплярах, а нам на тест попал не самый удачный из U600. Тем не менее, мое мнение таково, что даже в этом случае U600 – не самый оптимальный вариант, и куда правильнее будет приобрести U400 (напомню, U400 имеет 7 портов 1GbE), в котором, в случае необходимости, легко можно настроить ling aggregation и получить 2, 3, 4 и т.д. Гб/сек. А разница в цене между U600 и U400 плюс экономия на коммутации для 10GbE позволит приобрести более емкую модель U400 (доступно так же 3 вариант – на 12, 16 и 24 диска).
Тем не менее, несмотря на довольно неприятные недостатки, стоит отметить, что данный QSAN можно с успехом использовать в качестве «файловой помойки» в компаниях среднего масштаба для обмена файлами между пользователями домена (рабочей группы), где универсальность работы интерфейсов очень кстати.
Из-за замеченных провалов скорости (нестабильности) я бы не рекомендовал использовать это хранилище в составе важного блока, например, вещательного комплекса, где такой изъян грозит срывом эфира. То же самое касается и узлов видеозахвата, где осуществляется потоковая запись материала, особенно в HD формате.
Пока что, на мой взгляд, ситуация не в пользу QSAN U600. Возможно, не повезло с экземпляром, возможно, прошивка еще сырая. Тестировался все один U600 и говорить о том, что все такие СХД «плохие» - нельзя, требуется более обширное изучение вопроса. По мере поступления и тестирования U400 и U600 буду стараться дополнять данное исследование и, возможно, какие-то из недостатков будут опровергнуты.
Мы в Telegram
Назад в раздел