Блейд-серверы как основа динамичных центров обработки данных. Блейд-серверы и шасси HPE для развертывания конвергентной инфраструктурой архитектуры

Серверы HP и блейд серверы HP - системообразующие продукты Hewlett -Packard . Компания вполне заслуженно занимает треть рынка серверов на архитектуре x86:

• в рейтинге суперкомпьютеров мира TOP500, HP уже третий год подряд прочно удерживает высокие позиции - 208 (42%) самых высокопроизводительных систем, упомянутых в рейтинге, построены на базе blade сервер HP ProLiant BladeSystem c-Class .
• еще в 2008 году корпорация HP первой объявила о том, что был отгружен миллионный блейд сервер .

Чем же отличается блейд сервер от своих собратьев? При сравнимой производительности b lade серверы занимают в два раза меньше места, потребляют в три раза меньше энергии и обходятся в четыре раза дешевле. На данный момент времени серверы HP bl460c и компоненты блейд системы HP c-Class стали в достаточной степени доступными на вторичном рынке, и мы можем предложить вам купить блейд-сервер б.у. или blade систему б.у. по доступным ценам.

В нашем магазине вы сможет выбрать и купить HP ProLiant BL2x220c , BL280с , BL460c , BL465c , BL490c , BL620c , BL680c , BL685c . Блейд-системы хранения данных HP StorageWorks SB40c , D2200sb , блейд-накопители ленточные HP StorageWorks SB3000c , SB1760c , SB920c , SB448c . Блейд шасcи HP c3000 и HP c7000 , оптимизированные для небольших предприятий и для монтажа в стойке соответственно. Всевозможные mezzanine адаптеры для блейд-серверов, позволяющие добавить необходимые сетевые и HBA интерфейсы, и не только, наряду с коммутационными модулями для блейд-систем создают законченную инфраструктуру, готовую обеспечить поддержку целей бизнеса и его развитие на современном уровне.

Мы предлагаем вам купить HP blade серверы и компоненты блейд системы HP c-Class в нашем магазине. Мы готовы сконфигурировать сервер под любые ваши потребности. При необходимости возможно обеспечить приобретённый блейд-сервер , блейд-систему или компоненты дополнительной гарантией на один, два или три года.

Не секрет, что сегодня наблюдается устойчивый рост мощностей серверных систем. Выпускаются новые процессоры, развиваются подсистемы памяти, коммуникационные шины, системы хранения. Однако исследования показывают, что подавляющее большинство серверов реально не загружено даже наполовину. Кроме того, по разным данным до 75% современных администраторов занимаются исключительно поддержкой функционирования установленных систем. Таким образом, возникает потребность в повышении эффективности использования существующих систем.

Простое увеличение количества серверов в стойках приводит и к пропорциональному увеличению выделяемого тепла, коммуникационных кабелей, потребляемой электроэнергии и, конечно, занимает больше физического места. С одной стороны, это логично и закономерно, однако всегда хочется повысить эффективность. Блейд-серверы как раз и предлагают такую возможность. Конечно, это решение нельзя назвать кардинальным (как, например, шествие Wi-Fi за рубежом или ADSL в Москве:)), однако с указанными выше проблемами они справляются достаточно неплохо.

Итак, что представляет собой блейд-сервер? Эволюцию из набора обычных рековых серверов в блейд-сервер можно представить так: выносим в общее пользование блоки питания, систему охлаждения, добавляем коммутатор и KVM-переключатель, упрощаем возможности по установке дисков, убираем большинство разъемов расширения, значительно уменьшаем материнскую плату. В итоге мы получаем систему аналогичной мощности в заметно меньшем объеме с дополнительным бонусом в виде горячей замены всего блока.

Указанные выше действия приводят к следующим плюсам:

• уменьшение стоимости и повышение надежности системы питания и охлаждения;
• сокращение количества коммутационных проводов;
• повышение удобства управления системой;
• уменьшение занимаемого объема;
• уменьшение энергопотребления и выделяемого тепла;
• высокая масштабируемость;
• гибкость.

Конечно, как и у любого решения, здесь есть и своя цена таких переделок. Основным минусом является значительное сокращение возможностей по расширению. Например, может не получится поставить пару Ultra320 SCSI RAID-контроллеров или специальную коммуникационную плату. С другой стороны, есть большое количество задач, которые от такой потери не проиграют. Например, что касается системы хранения, то большинство дорогих решений используют внешние специализированные серверы и системы NAS/SAN. Если говорить о коммуникациях, то даже после «ужимки» остается возможность использования пары гигабитных сетевых интерфейсов и пары каналов Fibre Channel, чего более чем достаточно для большинства не специализированных применений. А на всякий случай в некоторых моделях предусмотрен один слот PCI. Стоит также отметить и ограниченность по мощности одного «лезвия» - установить более четырех процессоров в него будет сложно.

Данные плюсы и минусы позволяют определить область, в которой применение блейд-серверов будет экономически выгодно - много однотипных или похожих серверов, работа с задачами, которые допускают распараллеливание. Примерами таких областей являются: хостинг, терминальные решения, вычислительные кластеры, дата-центры.

Уже сейчас в крупных дата-центрах начинается переход от выдачи в аренду клиентам непосредственно оборудования к предоставлению определенных сервисов. Например, институтам или научным организациям часто бывает удобнее использовать для вычислений кластеры, установленные в дата-центрах. При этом может использоваться виртуализация сервисов и автоматическое переназначение роли отдельных серверов, что повысит надежность и эффективность использования оборудования. Кроме того, использование вычислительных мощностей «на стороне» позволит компаниям сократить затраты на IT-администраторов и заняться непосредственно производственной деятельностью.

Несомненно, не менее важной, чем железо, частью сервера, и особенно блейд-сервера, является управляющее программное обеспечение. Именно оно обеспечивает большинство из указанных выше преимуществ этого решения. И, конечно, каждый поставщик предлагает оригинальные программы по установке и управлению своими блейд-решениями.

Блейд-серверы на платформе Intel в настоящий момент предлагают несколько компаний. Коротко перечислим некоторые решения.

Dell PowerEdge 1855: процессоры Intel Xeon DP, до 8 ГБ памяти на лезвие, два гигабитных сетевых контроллера, U320 SCSI-контроллер, до двух SCSI-дисков, 10 лезвий в корпусе 7U, опционально Fibre Channel.

HP ProLiant BL p-Class (BL20p, BL30p, BL40p): процессоры Intel Xeon DP/MP, до 8/12 ГБ на лезвие, до 8 лезвий в корпусе 6U, 3 или 4 гигабитных адаптера, U320 SCSI-контроллер, два SCSI-диска.

IBM eServer BladeCenter: процессоры Intel Xeon DP/MP (есть модели и на Power PC), до 8/16 ГБ на одной плате, до 14 лезвий в корпусе 7U, два или четыре гигабитных адаптера, U320 SCSI-контроллер, два SCSI-диска (расширяется до четырех дисков), опционально Fibre Channel.

Intel Enterprise Blade Server: процессоры Intel Xeon DP/MP, до 4/8 ГБ памяти на каждом модуле, до 14 лезвий в корпусе 7U, 2/4 гигабитных сетевых контроллера, опционально Fibre Channel, U320 SCSI-контроллер, два 2,5" IDE-диска (опционально — два SCSI-диска в дополнительном модуле).

Sun Fire B100s/B100x/B200x Blade Server: процессоры UltraSPARC Iii/Mobile Athlon XP/Xeon DP LV, 1/2/4 ГБ оперативной памяти, до 16 модулей в 3U-корпусе, 2/3/4 гигабитных сетевых адаптера, один 2,5" IDE-жесткий диск.

Кроме систем на процессорах Intel, на рынке можно встретить блейд-решения и на становящихся все популярнее процессорах AMD Opteron. Приведем краткие данные по некоторым из них.

HP ProLiant BL p-Class (BL25p/BL35p): процессоры AMD Opteron 200 серии /Opteron 200 серии Low Power, до 16/8 ГБ на лезвие, до 8/16 лезвий в корпусе 6U, четыре / два гигабитных сетевых порта и один порт на сто мегабит (для управления), два SCSI/IDE диска, опционально двухканальный FC контроллер.

Iwill H2B Blade Server: процессоры AMD Opteron 200 серии, до 16 ГБ оперативной памяти, два гигабитных сетевых контроллера, слот PCI-X, встроенные в лезвия БП, два порта InfiniBand, один IDE жесткий диск, до 10 лезвий в 8U корпусе.

NEXCOM HS 416: процессоры AMD Opteron 200 серии, до 8 ГБ оперативной памяти, два 2,5” IDE диска, два гигабитных сетевых адаптера и один на сто мегабит, слот расширения PCI - X, до 8 модулей в 4 U корпусе (есть лезвия и на Intel Xeon).

Tatung TUD -4010: процессоры AMD Opteron 200 HE серии, до 8 ГБ оперативной памяти, два гигабитных сетевых порта, два 2,5” IDE жестких диска, слот Low - profile PCI - X, до 10 лезвий в 4 U корпусе (есть лезвия и на Intel Xeon LV).

Тонкости конфигураций и реализаций блейд-серверов могут отличаться у разных компаний. Большинство из них предлагает на своих сайтах подробную информацию о конфигурировании системы под заказчика. Далее в этой статье мы рассмотрим подробнее решения, которые предлагает компания Fujitsu-Siemens Computers.

Блейд-серверы Fujitsu-Siemens PRIMERGY

Первой моделью блейд-серверов, представленных в марте 2002-го года компанией Fujitsu-Siemens, была серия BX300. В шасси размером 3U можно установить до двадцати лезвий на базе процессоров Intel Pentium III LV (одно- и двухпроцессорные конфигурации) или Pentium M. PRIMERGY BX300 позиционируется для использования в качестве Web/почтовых/кэширующих и других коммуникационных серверов, а также терминальных серверов.

В шасси BX300 предустановленны:

• два блока питания (по 1000 или 1200 Вт), в каждом установлено по 3 вентилятора;
• один модуль гигабитного коммутатора (Accton/Broadcom, конфигурация 10x downlink + 3x uplink), еще есть три свободных отсека для аналогичных коммутаторов (для полного использования 40 портов на лезвиях необходима их установка);
• семь вентиляторов.

Все эти устройства допускают горячую замену. Блок-схему шасси можно посмотреть на этой иллюстрации.

Ниже перечислено, что включают в себя возможные конфигурации «лезвий» (конфигурация по моделям процессоров дана на конец 2004-го года, ранее были доступны однопроцессорные лезвия и модели с меньшей частотой).

На базе процессоров Intel Pentium III LV:

• два процессора Pentium III LV 933 или 1000 МГц;
• чипсет ServerWorks 3.0 LE-T;
• два разъема для модулей оперативной памяти (Registered PC133, модули 256 МБ/512 МБ/1 ГБ, общий объем — до 2 ГБ);
• двухканальный гигабитный сетевой контроллер на чипе Broadcom 5701;
• два отсека для 2,5" IDE-жестких дисков объемом 40 или 60 ГБ 5400 об./мин.

Вторая версия рассчитана на установку процессора Intel Pentium M:

• процессор Pentium M 1,6 или 2,0 ГГц;
• чипсет ServerWorks GC-SL/CSB6/CIOB-ES;
• два разъема для модулей оперативной памяти (DDR200, общий объем — до 4 ГБ);
• встроенный видеоконтроллер на базе ATI Rage XL с 4 МБ видеопамяти;
• двухканальный гигабитный сетевой контроллер;
• IDE RAID-контроллер на чипе Promise PDC 20270;
• два отсека для 2,5" IDE-жестких дисков объемом 40 или 60 ГБ 5400 об./мин.;
• возможно подключение модуля для установки низкопрофильной PCI-карты (он будет занимать дополнительное место в шасси и имеет выход на лицевую сторону), поставляются модули Fibre Channel контроллера (один канал, 2 ГБ/с, Emulex LP9802) и одно- и двухпортового гигабитного сетевого контроллера на чипах Intel.

С лицевой стороны у каждого «лезвия» есть разъем для подключения специального кабеля, обеспечивающего два порта USB 1.1 и VGA-порт.

Итак, что касается железа, то в корпусе размером 3U мы можем получить двадцать (!) двухпроцессорных машин. Конечно, сегодня процессорами Intel Pentium III сложно кого-то заинтересовать, так что лучше рассматривать вторую версию - на процессорах Pentium M. По тестам, проведенным на нашем сайте, они легко конкурируют с десктопными Pentium 4 с частотой в полтора раза больше. По плотности решение BX300 от FSC является, пожалуй лидером среди блейд-систем - двадцать ноутбуков, даже без экранов, займут заметно больше места (если это не ASUS S200:)). Конечно, за это приходится расплачиваться медленной памятью, слабой дисковой системой и ограниченностью по расширению. Но два (или четыре) гигабитных сетевых порта и возможность поставить FC-контроллер несколько скрашивают эти недостатки.

В феврале 2004-го года компания представила новый блейд-сервер - модель PRIMERGY BX600. В корпусе формата 7U можно установить до десяти лезвий на базе Intel Xeon (один или два процессора на модуль) и до пяти лезвий с Xeon MP (четыре процессора на модуль). Блейд-серверы BX600 предназначены для использования в дата-центрах в качестве серверов приложений и баз данных, Web- и коммуникационных серверов с большой нагрузкой.

В шасси BX600 установлено:

• два блока питания (по 1200 Вт), в каждом установлено по 3 вентилятора, возможна установка дополнительно еще двух блоков питания;
• два модуля управления (порты — RS232 и LAN/RJ-45);
• один модуль гигабитного коммутатора (конфигурация 10x downlink + 3x uplink), еще есть один свободный отсек для аналогичного коммутатора;
• KVM-переключатель (выходы — 2 PS/2, 15 pin VGA);
• два блока вентиляторов.

Как и в BX300, все устройства допускают горячую замену. Блок-схему шасси можно посмотреть на этой иллюстрации . Дополнительно можно установить блок с внешними разъемами SCSI (два разъема HD68, прямое подключение к SCSI-контроллерам двух «лезвий»), в два дополнительных коммуникационных отсека два сквозных модуля Fibre Channel, два сквозных сетевых модуля или два гигабитных коммутатора.

Младшей моделью «лезвия» для шасси BX600 является BX620 — двухпроцессорная модель на Intel Xeon DP:

• процессоры Xeon 2,8 ГГЦ/512 КБ, 3,06 ГГц/1 МБ, 3,2 ГГц/1 МБ, 3,2 ГГц/2 МБ;
• шесть слотов для памяти PC2100 registered DDR RAM, до 12 ГБ, поддержка Chipkill и hot-spare memory bank;
• два интегрированных гигабитных сетевых контроллера (Broadcom 5703);
• двухканальный Ultra320 SCSI HostRAID (Adaptec 7902W) с поддержкой RAID 0, 1, 10; первый канал подключен к встроенным жестким дискам, второй (только для лезвий 4 и 10) может быть использован с внешними накопителями (выведен на заднюю панель шасси);
• доступны два внутренних разъема для дополнительных коммуникационных плат; предлагаются: двухканальный модуль Fibre Channel и двухканальный гигабитный сетевой контроллер (оба с интерфейсом PCI-X); во всех лезвиях необходимо использовать одинаковые модули;
• если используется один жесткий диск, то доступен один слот PCI-X 64 бит/100 МГц для карт расширения (половинная длинна, полная высота); для установки предлагается двухканальный гигабитный сетевой контроллер; выход разъемов — на переднюю панель сервера;

Если двух процессоров на одном «лезвии» недостаточно, то можно использовать BX660 — четырехпроцессорную модель на Intel Xeon MP:

• процессоры Xeon MP 2,2 ГГц/2 МБ, 2,7 ГГц/2 МБ, 3,0 ГГц/4 МБ;
• восемь слотов для памяти PC2100 registered DDR RAM, до 16 ГБ, поддержка Chipkill и hot-spare memory bank;
• четыре гигабитных сетевых контроллера (Broadcom 5704);
• двухканальный Ultra320 SCSI HostRAID-контроллер (Adaptec 7902W) с поддержкой RAID 0, 1, 10; первый канал подключен к встроенным жестким дискам, второй (только для лезвий 3/4 и 9/10) может быть использован с внешними накопителями (выведен на заднюю панель шасси);
• два отсека для 3,5" SCSI-дисков с горячей заменой (36 ГБ, 72 ГБ, 146 ГБ, 10000/15000 об./мин.);
• доступны два внутренних разъема для дополнительных коммуникационных плат; предлагается двухканальный модуль Fibre Channel с интерфейсом PCI-X);
• встроенный видеоадаптер ATI Rage XL 8 МБ.

Дальнейшее развитие линейки BX600 — «лезвие» BX620 S2, рассчитанное на использование последних моделей серверных процессоров Xeon компании Intel с поддержкой технологии EM64T, было анонсировано в декабре 2004-го года:

• процессоры Intel Xeon (Nocona), 3,0-3,6 ГГц c 1 МБ L2 и 800 МГц FSB;
• шесть разъемов для DDR2-400 DIMM, до 12 ГБ памяти, ECC, Chipkill, online spare;
• встроенный двухканальный сетевой гигабитный контроллер;
• встроенный контроллер Ultra320 SCSI с поддержкой RAID 0 и 1;
• два отсека для 3,5" SCSI-дисков с горячей заменой (36 ГБ, 72 ГБ, 146 ГБ, 10000/15000 об./мин.);
• если используется один жесткий диск, то доступен один слот PCI-X 64 бит/133 МГц для карт расширения (половинная длинна, полная высота); для установки предлагается: двухканальный гигабитный сетевой контроллер; двухканальный Ultra320 SCSI-контроллер, Ultra160 SCSI-контроллер, выход разъемов — на переднюю панель сервера;
• доступен один внутренний разъем для дополнительной коммуникационной платы; предлагаются: двухканальный модуль Fibre Channel и двухканальный гигабитный сетевой контроллер (оба с интерфейсом PCI-X); во всех лезвиях необходимо использовать одинаковые модули;
• встроенный видеоадаптер ATI Radeon 7000-M 16 МБ.

В максимальной конфигурации можно получить двадцать процессоров Xeon, 120/80 ГБ оперативной памяти и 2,8/1,4 ТБ дисковой памяти в 10/20 дисках в 7U корпусе. Кроме того там будут установлены сетевые коммутаторы и KVM-переключатель. Единственным недостатком, пожалуй, является невозможность установки дополнительных плат расширения в четырехпроцессорные модули. С другой стороны для вычислительных кластеров чаще используют двухголовые узлы.

Все блейд-системы от FSC могут поставляться со следующим ПО:

• Windows Server 2003 Standard Edition/Enterprise Edition/Web Edition;
• SuSE Linux Enterprise Server/Professional Linux, Red Hat Enterprise Linux;
• CITRIX-Software W-MF, Multiuser SW MetaFrame, LoadBalancing;
• PRIMECLUSTER Clustering & Load Balancing.

Кроме того, поставляется фирменное ПО для установки и управления:

• Adaptive Services Control Center;
• RemoteView Software;
• RemoteView Diagnosis;
• RemoteDeploy;
• Terminal Server Deploy;
• Altiris Server Deployment;
• ServerStart;
• ServerView.

Возможна поставка дополнительного ПО, в частности, CA ARCserve и Vmware vPlatform.

Из поставляемого со всеми моделями блейд-серверов программного обеспечения отметим два приложения. RemoteDeploy с использованием заранее подготовленных образов ОС с предустановленными приложениями позволяет кардинально сократить время на подключение новых лезвий в пул. Кроме того, возможно быстрое изменение роли сервера путем перезаписи нового образа. Adaptive Services Control Center позволяет автоматически менять роль отдельных блейд-серверов в составе пула по правилам, установленным администраторами. Например, если повышается нагрузка на веб-сервер, то можно «отнять» мощность от, скажем, почтового сервера. А если нагрузка в вычислительном кластере не велика, то можно просто выключить некоторые узлы. Также эта технология позволяет выровнять нагрузку в случае отказа оборудования.

Указанные выше возможности: виртуализация (системы собраны в пулы и доступны для общего использования в любой роли), автоматизация (вычислительные ресурсы автоматически используются для обеспечения необходимых сервисов по заданным правилам), интеграция (все части компьютерных систем (вычислительные блоки, накопители, сетевое оборудование) работают и управляются совместно) компания FSC объединила в своей стратегии TRIOLE, направленной на разработку продуктов и решений для динамично развивающихся центров обработки данных. Одним из первых шагов в этом направлении и является развитие линейки блейд-серверов.

Одним из вариантов законченной системы на базе блейд-серверов PRIMERGY является FlexFrame для mySAP. Важным отличием новой версии ПО от SAP является модульная гетерогенная структура, поэтому ранее использованная модель с одним сервером не очень подходит для mySAP. Кроме того, требования к отказоустойчивости и масштабируемости при применении «классического» дизайна системы приводят к существенным затратам. FlexFrame был разработан совместно компаниями SAP, Fujitsu-Siemens Computers и NetApp и представляет собой первое решение в рамках концепции «Adaptive Computing». FlexFrame представляет собой гибкое и эффективное решение:

• каждый сервис mySAP может работать на любом лезвии;
• необходимые сервисы автоматически включаются в работу по запросу системы администрирования;
• время на установку и запуск нового лезвия составляет всего несколько минут;
• се ПО размещается в центральном хранилище и загружается по сети.

Отметим и важный для крупных клиентов момент — система FlexFrame сертифицирована SAP.

Совместно с компанией versionapp FSC предлагает и решение для ферм терминальных серверов. Оно отличается большой скоростью развертывания - для полной установки системы из 220 лезвий требуется всего четыре часа. При этом весь процесс проходит в автоматическом режиме и включает в себя установку ОС, Citrix Metaframe и пользовательских аккаунтов и приложений.

Среди клиентов FSC, установивших у себя системы на базе блейд-серверов компании, есть крупные банки, телекоммуникационные компании и министерства. При этом количество лезвий в одной установке достигает 1600.

Попробуем сравнить решение на шасси BX600 с классическим. Поскольку дисковую систему лучше иметь отдельную, то добавим, например, 2 ТБ файлер FAS200 от NetApp, занимающий 3U. В сумме на 10U мы получаем 10 двухпроцессорных или 5 четырехпроцессорных систем. Если собирать аналогичную по мощности систему на обычных рековых моделях, то придется использовать 1U на каждый двухпроцессорный сервер или 2U на четырехпроцессорный. Итого у нас получается равенство по объему (мелочи типа сетевого или FC-коммутатора не учитываем).

Оба варианта имеют как свои плюсы, так и минусы. По вычислительной мощности они равны. Надежность тоже практически не отличается. Уровень шума и тепла в обоих случаях такой, что лучше рядом не находиться. Правильно построенная система управления позволит легко работать с любым из них. Причем на обычном железе можно при желании реализовать все возможности блейд-серверов, поскольку они в большинстве своем организованы программно. Хотя, конечно, замена вышедшего из строя лезвия выглядит красиво и выполняется заметно быстрее выкручивания 1U-сервера. Кроме того, в варианте «блейд» будет меньше проводов и выше порядок с обратной стороны шкафа, однако использование внешнего сетевого коммутатора добавляет гибкости классическому решению. Продолжать можно бесконечно. Кстати, не следует забывать, что обычные 1U решения тоже не сильно богаты возможностями расширения. Обычно это один или два процессора, до 8 ГБ памяти, четыре жестких диска, два гигабитных сетевых контроллера и один или два слота расширения. В любом случае под каждую конкретную задачу нужно все хорошо и тщательно считать.

Прогнозы

В настоящее время рынок блейд-серверов неспешно развивается - выходят новые модели лезвий, обновляется как железная, так и программная часть. Однако строить оптимистические прогнозы мешает следующий факт. Несмотря на то, что, с одной стороны, решения на базе блейд-северов по многим параметрам не уступают классическим решениям (например, по мощности, масштабируемости, управляемости, надежности) и даже часто уникальны, с другой стороны, именно особенности архитектуры приводят к тому, что на блейд-серверы часто смотрят с опаской, как на нарушителя установившихся традиций. Еще одна причина - в относительно большой стоимости внедрения систем. Если расширение IT-системы компании обычно производится установкой дополнительных компьютеров, то шасси даже с небольшим количеством установленных лезвий может стоить дороже отдельных серверов аналогичной мощности, особенно если решение предполагает использование нетривиальной системы хранения данных. Возможно, играет роль и «виртуальная» боязнь привязки к одному поставщику, поскольку система требует значительных вложений и не всегда легко интегрируется в существующий парк ПО и оборудования. С этим проблемами может помочь четкое планирование развития IT-структуры компании и выбор правильного поставщика.

Отрицательную роль в развитии рынка блейд-решений играет и отсутствие открытых стандартов для аппаратного дизайна шасси (и это несмотря на то, что часто решения от разных компаний являются, по сути, небольшими вариациями одного дизайна, что можно было увидеть, например, на последнем московском форуме IDF). С ПО ситуация немного проще, поскольку современные лезвия созданы на базе стандартного оборудования и при желании можно все реализовать с использованием популярного ПО. Хотя, конечно, в этом случае не все возможности лезвий будут использованы. Так что, к сожалению, несмотря на оптимистичные прогнозы IDC (рост поставок блейд-серверов в регионе EMEA на 80% с 2004-го на 2005-й год), популярность IBM PC в ближайшее время блейд-серверам не грозит:). Однако крупным заказчикам, и особенно участникам набирающего обороты рынка дата-центров, есть смысл обратить внимание на блейд-серверы и как следует все подсчитать.

С компонентами, вынесенными и обобщёнными в корзине для уменьшения занимаемого пространства. Корзина - шасси для блейд-серверов, предоставляющая им доступ к общим компонентам, например, блокам питания и сетевым контроллерам. Блейд-серверы называют также ультракомпактными серверами .

Внутренняя структура

В блейд-сервере отсутствуют или вынесены наружу некоторые типичные компоненты, традиционно присутствующие в компьютере . Функции питания, охлаждения, сетевого подключения, подключения жёстких дисков , межсерверных соединений и управления могут быть возложены на внешние агрегаты. Вместе с ними набор серверов образует так называемую блейд-систему.

Обязательно должны быть размещены в блейд серверы процессор и оперативная память, остальные компоненты принципиально могут быть вынесены в корзину; концепция блейд-сервера предусматривает замену части остальных компонентов внешними агрегатами (блоки питания) или их виртуализацию (порты ввода-вывода, консоли управления), тем самым значительно упрощая и облегчая сам сервер.

Внешние подключаемые блоки

Блейд-системы состоят из набора блейд-серверов и внешних компонентов, обеспечивающих невычислительные функции. Как правило, за пределы серверной материнской платы выносят компоненты, создающие много тепла, занимающие много места, а также повторяющиеся по функциям между серверами. Их ресурсы могут быть распределены между всем набором серверов. Деление на встроенные и внешние функции варьируется у разных производителей.

Источники питания

Преобразователь напряжения питания, как правило, создается общим для всей блейд-системы. Он может быть как вмонтирован внутрь неё, так и вынесен в отдельный блок. По сравнению с суммой отдельных блоков питания, необходимых серверам формата , единый источник питания блейд-систем - один из самых весомых источников экономии пространства, энергопотребления и числа электронных компонентов.

Охлаждение

Традиционный дизайн серверов пытается сбалансировать плотность размещения электронных компонентов и возможность циркуляции охлаждающего воздуха между ними. В блейд-конструкциях количество выступающих и крупных частей сведено к минимуму, что улучшает охлаждение модулей.

Сетевые подключения

Современные сетевые интерфейсы рассчитаны на чрезвычайно большие скорости передачи данных через токопроводящие и оптические кабели. Такая аппаратура дорога́ и занимает место в конструкции сервера. Частый случай - чрезмерная пропускная способность сетевых интерфейсов, чьи возможности оказываются не востребованы в практических задачах. Объединение сетевых интерфейсов в одно устройство или использование специальных блейд-слотов, занятых исключительно работой с сетью, позволяет сократить количество разъемов и снизить стоимость каждого из подключений.

Использование дисковых накопителей

Хотя для хранения объёмов данных и программ необходимы значительные ёмкости, им не обязательно размещаться локально. Такие интерфейсы, как FireWire , SATA , SCSI , DAS , Fibre Channel и iSCSI позволяют подсоединять накопители на значительном удалении от процессоров. По аналогии с сетевыми подключениями (а интерфейс iSCSI опирается только на них) соответствующие устройства могут быть размещены в корпусе блейд-системы или смонтированы на выделенных блейд-слотах.

Специальное решение в виде блейд-системы, загружаемой через сеть хранения данных (SAN), позволяет создать исключительно надежную и компактную серверную систему.

Специализированные блейд-слоты

Стандартизация интерфейса блейд-слота позволяет создавать устройства, способные не только производить вычисления, но и предоставлять другие сервисы, например, функции сетевого коммутатора, роутера, быстрого подключения к локальной сети или оптоволокну. Эти ресурсы могут использоваться другими блейд-слотами.

Области применения

В стандартных серверных стойках минимальный размер сервера - 1 юнит , как правило, такие стойки вмещают 42 юнита оборудования, то есть максимум 42 сервера при размещении без корзин. Использование блейд-серверов позволяет обойти это ограничение не выходя за размеры стандартной стойки и разместить до 100 серверов в каждой.

Блейд-серверы особенно эффективны для решения специфических задач: веб-хостинга , организации кластеров . Серверы в стойке, как правило, поддерживают горячую замену .

Хотя технология построения блейд-систем не является закрытой (принадлежащей какой-то одной компании), при использовании компонентов одного производителя возникает меньше проблем с инсталляцией и настройкой. Стандартизация сопряжений могла бы сделать технологию доступнее для пользователя и расширить выбор поставщиков.

При всех достоинствах, эту технологию нельзя считать решением всех серверных проблем. Крупные задачи требуют все же применения более масштабных систем для своего решения, таких как мейнфреймы и кластеры . Также могут быть использованы кластеры, состоящие из блейд-серверов. Такая структура особенно подвержена проблеме перегрева ввиду плотной компоновки электроники в каждом из них.

История создания

Микрокомпьютеры, умещавшиеся в 1 слот стандартной 19-дюймовой стойки, стали использовать ещё в 1970-е годы, вскоре после разработки 8-битных микропроцессоров. Наборы таких слотов использовали в управлении промышленными объектами, заменяя мини-компьютеры. Программы записывались в электрически программируемую память (EPROM) на слоте, их функциональность ограничивалась одной несложной операцией, выполняемой в

В Конспекте мы часто обходим стороной enterprise-технологии из-за их малой применимости в не столь масштабных проектах. Но сегодняшняя статья – исключение, потому что речь пойдет о модульных системах, "блейдах".

Не так много архитектурных изысков в IT-мире, которые были бы окутаны большим ореолом "невероятной крутости" и сравнимым набором мифов. Поэтому не буду усложнять еще больше, и просто расскажу об особенностях и применимости такого рода систем на практике.

LEGO для инженера

Блейд-сервер почти обычный сервер, в котором есть привычная материнская плата, оперативная память, процессоры и множество вспомогательных систем и адаптеров. Но "почти" заключается в том, что такой сервер не предназначен для автономной работы и поставляется в специальном компактном корпусе для установки в специальное шасси.

Шасси – или "корзина" – ни что иное, как большой короб с посадочными местами для серверов и дополнительных модулей. Все серверы и компоненты соединены при помощи большой коммутационной платы (Backplane) и образуют блейд-систему .

Если разобрать всю систему на составляющие, то на столе окажется следующая горка:

Блейд-серверы (лезвия) – серверы без блоков питания, вентиляторов, сетевых разъемов и модулей управления;

Шасси – корпус и бэкплейн;

Системы питания и охлаждения для всех компонентов системы;

Коммутационные устройства для связи с внешним миром;

• Модули управления (различные вариации на тему IPMI).

От обычного серверного шкафа все это добро отличается компактными размерами (обычно 6-10U) и высоким уровнем надежности, так как все компоненты могут быть зарезервированы. Здесь, кстати, кроется один из мифов: десяток лезвий не собирается в один большой сервер. Это будет просто десяток серверов с общей инфраструктурой.

К слову, у HPE есть решения, напоминающие традиционные blade-серверы – HPE Superdome . В качестве лезвий там используются процессорные модули с оперативной памятью. В таких решениях вся система действительно представляет собой один высокопроизводительный сервер.

Нюансы архитектурных решений разных производителей блейд-систем уже обсуждались на Хабре (статья хоть и старая, но в своих основах актуальная), поэтому я для иллюстрации использую блейд-систему от HPE – BladeSystem c7000 .

В роли лезвий могут выступать:

Дисковые массивы – например, HPЕ StorageWorks D2200sb , в который можно установить до 12 дисков 2,5’’. Так легко и непринужденно нескольким серверам можно выдать общее DAS-хранилище;

Коммутаторы SAN для доступа к внешним системам хранения и полноценные NAS-серверы – например, HPE StorageWorks X1800sb ;

• Ленточные устройства.

На картинке ниже изображена полностью укомплектованная система HPE BladeSystem c7000. Расположение компонентов понятно и так – обратите только внимание на секцию Interconnect modules. В каждый ряд устанавливается отказоустойчивая пара сетевых устройств или pass-thru модулей для простого проброса серверных сетевых интерфейсов наружу.

В компактное лезвие HPE ProLiant BL460c Gen8 помещается только два диска 2,5’’. Для большей красоты вместо дисков можно использовать сетевую загрузку с дисковой системы SAN или PXE.

Ниже изображена более компактная блейд-система от IBM. Общие принципы те же, хоты расположение узлов тут отличается:

Интереснее всего в блейдах, на мой взгляд, сетевая составляющая. С использованием модных конвергентных коммутаторов можно творить настоящие чудеса с внутренней сетью блейд-системы.

Немного сетевой и Enterprise магии

В качестве сетевых модулей могут выступать специальные коммутаторы Ethernet или SAS, либо умеющие и то и другое. Разумеется, в блейд-систему нельзя установить обыкновенный коммутатор, но совместимые модели производятся привычными брендами. Например "великолепной тройкой" HPE, Cisco, Brocade. В самом простом случае это будут просто модули доступа к сети, выводящие все 16 лезвий наружу через 16 портов Ethernet – HPE Pass-Thru .

Такой модуль не уменьшит количество сетевых проводов, но позволит подключиться к корпоративной LAN с минимальными вложениями. Если же вместо него использовать недорогой Cisco Catalyst 3020 с 8 портами 1GbE Ethernet и 4 портами 1GbE SFP, то к общей сети нужно будет подключить лишь несколько общих портов шасси.

Такие сетевые устройства своими возможностями не отличаются от обычных. Значительно интереснее выглядят модули HPE Virtual Connect (VC). Главная их особенность – возможность создавать несколько отдельных сетей с гибким распределением полосы пропускания LAN и SAN. Например, можно подвести к шасси 10GbE и "нарезать" из него 6 гигабитных LAN и один 4Gb SAN.

При этом VC поддерживает до четырех подключений к каждому серверу, что открывает определенные просторы для творчества и сборки кластеров. Подобные решения есть и у других производителей – нечто подобное от Lenovo называется IBM BladeCenter Virtual Fabric .

Вопреки расхожему мнению, сами по себе блейды не отличаются от обычных серверов, и никаких особых превосходств в плане виртуализации не предоставляют. Интересные возможности появляются только с использованием специальных, vendor-locked технологий, вроде VC от HPE или LPAR от Hitachi.

Несколько IPMI из одной консоли

Для настройки блейд-серверов можно использовать встроенные модули аппаратного управления BMC (iLO в случае HPE). Механизм администрирования и удаленного подключения мало отличается от обычного сервера, но сами управляющие модули Onboard Administrator (OA) могут резервировать друг друга и предоставляют единую точку входа для управления всеми устройствами в шасси.

OA могут быть со встроенной консолью KVM для подключения внешнего монитора, либо с одним лишь сетевым интерфейсом.

В общем и целом, администрирование через OA выглядит следующим образом:

Еще лучше – подключить блейд-систему к внешнему управляющему ПО вроде HPE Insight Control или сменившей ее OneView . Тогда можно настроить автоматическую установку операционной системы на новое лезвие и распределение нагрузки кластера.

К слову о надежности – блейды ломаются точно так же, как обычные серверы. Поэтому при заказе конфигурации не пренебрегайте резервированием компонентов и внимательным изучением инструкций по прошивке. Если подвисший Onboard Administrator доставит лишь неудобства администратору, то неправильное обновление прошивок всех элементов блейд-системы чревато ее неработоспособностью.

Но за всей этой магией мы совсем забыли о приземленных материях.

Нужен ли блейд в вашей компании

Высокая плотность, небольшое количество проводов, управление из одной точки – это все хорошо, но оценим и стоимость решения. Предположим, в абстрактной организации нужно запустить разом 10 одинаковых серверов. Сравним стоимость блейдов и традиционных стоечных моделей HPE ProLiant DL. Для простоты оценки не беру в расчет стоимость жестких дисков и сетевого оборудования.

Цены актуальны на 06.02.2017, источник – STSS

Разница почти в два миллиона рублей, при этом я не закладывал полную отказоустойчивость: дополнительный модуль управления и, в идеале, еще одно шасси. Плюс, лишаемся удобной сетевой коммутации из-за использования самых дешевых pass-thru модулей для простого вывода сетевых интерфейсов серверов наружу. VIrtual Connect был бы здесь более уместен, но цена…
Получается, что "в лоб" экономии не выйдет, поэтому перейдем к остальным плюсам и минусам блейдов.

Еще немного аргументов

К очевидным плюсам блейд-систем можно отнести:

Плотность установки. Если нужно много-много серверов в одном ДЦ, блейды похожи на спасение;

Аккуратная и компактная кабельная инфраструктура за счет гибкой внутренней коммутации блейдов;

Удобство управления – всей корзиной можно управлять из одной консоли и без установки дополнительного ПО;

Легкая установка новых лезвий, пока есть место в шасси – прямо как с дисками в корзинах с горячей заменой. В теории, можно сразу при установке лезвия загружать настроенную систему по PXE и распределять ресурсы в кластере;

• Надежность. Практически все узлы могут быть зарезервированы.

Но как же без минусов:

Ограниченность лезвия. Если нужен сервер с четырьмя процессорами и большим количеством локальных жестких дисков (например, NMVE SSD), то установка столь крупного лезвия в четверть всей емкости шасси делает бессмысленным использование корзины высокой плотности;

Надежность. Несмотря на дублирование компонентов присутствует единая точка отказа – коммуникационная плата (бэкплейн) шасси. При сбое могут отказать все лезвия;

Невозможность разделения. Если нужно создать территориально распределенный кластер, нельзя просто вытащить и перевезти половину серверов – потребуется еще одно шасси;

• Стоимость. Само по себе шасси стоит как три лезвия, а лезвие стоит как полноценный сервер.

Так что же выбрать

Блейды очень органично смотрятся в действительно крупных ЦОД, вроде хостинговых компаний. В таких сценариях на первое место выходит скорость масштабирования и максимальная плотность размещения оборудования – экономия на пространстве и администрировании вполне может окупить и корзину, и всякие Virtual Connect.

В остальных случаях более разумным и универсальным видится применение обычных стоечных серверов. Кроме того, широкое распространение быстрых систем виртуализации еще больше снизило популярность блейдов, так как большинство приложений можно "уплотнить" и с помощью виртуальных серверов. Что уж говорить, управлять виртуальными машинами еще удобнее, чем блейдами.

Если вам доводилось использовать блейд-системы в не самых крупных компаниях – поделитесь впечатлениями от администрирования.

Высокая производительность

Комментарии к некоторым постам хабра заставили задуматься, есть ли понимание у народа о серверах высокой плотности и их возможностях. Целью написания данного поста является внесение определенности по этому вопросу. Также планируется, что этот пост станет первым в череде статей на тему HPC (high performance computing , высокопроизводительные вычисления).

Сервера высокой плотности наиболее востребованы в технологиях построения суперкомпьютеров кластерного типа, систем виртуализации и организации облаков, систем параллельного доступа к системам хранения, систем аналитических расчётов, поисковых системах и др. Их применение обусловлено, прежде всего, невозможностью выполнить все предъявляемые требования, используя иные технологии. Рассмотрим варианты решений, их плюсы и минусы.

Блейд-сервера (Blade)

На Западе мест размещения серверов в ЦОД’ах уже давно не хватает. Поэтому неудивительно, что сервера высокой плотности впервые появились там. Пионером была компания RLX Technologies, которая в 2000 году разработала систему, умещающую в 3U 24 лезвия. Основные заказчики этих первых Blade-серверов были вояки и NASA. Далее этот startup был куплен HP. Но самое главное было сделано - был создан сервер высокой плотности.

За пионерами последовали и гиганты: Intel, IBM, HP. Далее - DELL, SUN, Supermicro, Fujitsu, Cisco, HDS и др.

Основные отличия Blade-систем от RACK-серверов, помимо высокой плотности, заключается в интеграции серверов с сопутствующей инфраструктурой: сети, мониторинг, управление, охлаждение и электропитание. Всё это расположено в одной коробке и по возможности обладает элементами отказоустойчивости. Объединяющим элементом является BackPlane – системная плата, обычно пассивная. К ней подключаются все элементы Blade-системы. Место, занимаемое в шкафу, варьируется от 3U до 10U. Самыми высокоплотными решениями являются HP Blade и DELL PowerEdge – 3,2 сервера на 1U. Практически все производители делают сервера только на процессорах семейства x86/x64. Но существуют также и решения на RISC, MIPS и ARM процессорах.

Кстати, в решении RLX Technologies плотность серверов была выше. Это обусловлено тем, что в нем использовались одноядерные процессора Celeron, которые сейчас используются в основном только лишь для настольных тонких клиентов. Понятно, что тепловыделение современных процессоров гораздо выше, и именно это пока не позволяет увеличивать плотность в современных решениях.

В чем преимущества блейд-серверов? Давайте выделим основные моменты:

1. Система мониторинга и управления обладает расширенными функциями по сравнению с RACK-серверами.
2. Наличие нескольких типов сетей в каждом сервере-лезвии. Это могут быть: Ethernet (100Mb/s, 1Gb/s, 10Gb/s), FibreChannel (2Gb/s, 4Gb/s, 8Gb/s, 16Gb/s), InfiniBand (SDR, DDR, QDR, FDR).
3. Встроенные элементы охлаждения и электропитания обладают элементами отказоустойчивости.
4. Горячая замена всех сменных компонентов.
5. Возможность организации встроенной дисковой системы хранения данных для всех установленных серверов-лезвий.
6. Плотность размещения в шкафу.

В чем слабые стороны? Основные недостатки , которые видятся мне существенными:

1. Высокая цена неполного комплекта. Только при достижении заполнения порядка 70% мы получаем близкие цены с RACK’овыми аналогами.
2. Ограничение по расширению конфигураций сервера-лезвия.
3. Ограниченность одновременного использования сетевых интерфейсов.
4. Невозможность, в ряде случаев, организовать неблокирующуюся сеть между серверами-лезвиями и внешним миром.
5. Ограничение в применении компонентов по термопакету (например, нельзя ставить самые топовые процессоры из-за перегрева).
6. Проприетарные технологии. Купив у одного производителя оборудование – будешь покупать только у него.
7. Повышенные требования к инженерной инфраструктуре (электропитание и охлаждение).

Рассмотрим структуру Blade системы на примере решения от компании Dell. Это Dell PowerEdge M1000e.

Сервера-лезвия могут иметь от двух до четырёх процессоров. В зависимости от количества и типа процессоров в одно шасси можно установить от 8 до 32 лезвий-серверов. Каждое лезвие-сервер может иметь интерфейсы 1GbE, 10GbE, 8Gb/s FC, IB DSR, DDR, QDR, FDR. Базово имеются порты 1GbE.

В зависимости от размера лезвий, количество устанавливаемых мезонинных модулей интерфейсов может быть один или два. Каждый из мезонинных модулей может иметь четыре порта 1GbE или два порта любых других интерфейсов.

Для организации отказоустойчивой схемы в шасси коммутаторы устанавливаются парами. Возможно установить три пары коммутаторов. Каждая пара должна состоять из одинаковых коммутаторов. Соответственно, могут быть различные комбинации:

• Первая пара (A) 1GbE;
• Вторая пара (B) 1GbE, 10GbE, 8Gb/s FC, IB (DSR, DDR, QDR, FDR);
• Третья пара (С) 1GbE, 10GbE, 8Gb/s FC, IB (DSR, DDR, QDR, FDR).

Так же для отказоустойчивости устанавливаются два модуля удалённого мониторинга и управления. Данные модули позволяют удалённо управлять любым лезвием. От включения, настройки BIOS’а, выбора источника загрузки, установки ОС как с внутреннего носителя, так и с локального носителя администратора до предоставления полноценного удалённого доступа к KVM.

Одним из вариантов загрузки, является загрузка с SD карточки. Таких карточек в лезвии можно установить две и иметь возможность загружаться с любой. Так же возможно их объединить в зеркало.

Единственным модулем, не имеющий резервирования, является модуль KVM. Но отказ этого модуля не отменяет возможности подключения и управления через сеть.

При использовании лезвий M420 плотность серверов на 1U равна 3,2 сервера.

TWIN-сервера

Альтернативой по плотности существующим Blade-системам являются их младшие братья – TWIN. Данная технология была разработана в компании Intel и для продвижения на рынок передана компании Supermicro в 2006 году. Первые TWIN-сервера появились в 2007 году. Это был 1U’шный двухсерверный конструктив с одним блоком питания, где все коммутационные разъёмы были выведены на тыловую часть серверов.

Данная компоновка за эти шесть лет получила признание, и линейка сильно расширилась. Сейчас доступны 1U, 2U и 4U TWIN-сервера с возможностью установки от 2-х до 8-ми двухсокетных серверов. У некоторых производителей появились варианты с размещением вместо двух двухсокетных серверов одного четырёхсокетного. Основные плюсы и минусы перечислю ниже.

Плюсы TWIN-серверов:

1. Всё расположено в одном корпусе-шасси.
2. Наличие нескольких типов сетей в каждом сервере. Это могут быть: Ethernet (100Mb/s, 1Gb/s, 10Gb/s), InfiniBand (SDR, DDR, QDR, FDR).
3. Встроенные элементы охлаждения и электропитания в ряде моделей обладают элементами отказоустойчивости.
4. В ряде TWIN-серверов горячая замена всех сменных компонентов.
5. Использование стандартных PCI-e плат расширения.
6. Возможность организации встроенной дисковой системы хранения данных.
7. Плотность размещения в шкафу.
8. Цена ниже, чем Blade и RACK сервера.

Минусы:

1. Требуется наличие внешних сетевых коммутаторов.
2. Невозможность отторжения сервера-лезвия как самостоятельной единицы.
3. В ряде случаев ограничение в применении компонентов по термопакету (например, нельзя ставить самые топовые процессоры из-за перегрева).
4. При полной забивке шкафа TWIN-серверами повышенные требования к инженерной инфраструктуре (электропитание и охлаждение).
5. Плотность размещения серверов ниже, чем у блейдов.

Как мы видим из плюсов-минусов, TWIN-сервера и блейд-сервера являются скорее не конкурентами, а органичным дополнением друг друга.

Одними из ярких представителей TWIN-серверов являются серверы Dell С6000 серии. Они представляют собой 2U’шный конструктив с двумя БП и возможностью установить два, три или четыре модуля-сервера. В каждый сервер можно установить две или три платы расширения с интерфейсом PCI-e.

Микросервера

Наш рассказ будет не полным, если мы не расскажем о последних веяниях конструктивов серверов для ЦОД’ов. Речь пойдет о микросерверах. Это односокетные сервера с минимизацией размеров и электропотребления. Рассчитывать на серьёзные характеристики по производительности не стоит. Одним из представителей этого вида серверов является сервер компании Supermicro, представленный на рисунке.

Как видно из рисунка, плотность данного решения равна уже 4 сервера на 1U. Возникновение данного класса серверов продиктовано невысокими требованиями к серверам для большинства приложений, используемых клиентами. Микросервера могут быть применимы в качестве альтернативы виртуализации. Когда какое-либо приложение не рекомендуется виртуализовывать по тем или иным причинам. Небольшие микросервера также подойдут для типовых невысоконагруженных офисных задач.

Вывод

Я постарался не углубляться в детали каждого отдельно взятого производителя. Эти детали можно изучить непосредственно на сайтах этих производителей.