Решение PrimeCluster для корпоративной ИТ-инфраструктуры
Алексей Борзенко,
к.т.н., доцент
Серверы Fujitsu Siemens PrimePower, в которых используются микропроцессоры
SPARC64 V, операционная среда Solaris и другие современные технологические решения,
обеспечивают довольно высокий уровень доступности, гибкости, производительности,
масштабируемости и безопасности. Узлы PrimePower можно объединять в кластеры
– для этого служит программное средство кластеризации PrimeCluster, реализующее
необходимый класс инфраструктуры информационных технологий. Понимание того,
как архитектура PrimeCluster обеспечивает готовность кластера, масштабируемость
и управляемость, может помочь более эффективно использовать преимущества данной
технологии.
Вообще говоря, PrimeCluster представляет собой набор сервисов, таких, как управление предотвращением сбоев, параллельная обработка баз данных и динамическая балансировка нагрузки. Кроме того, в состав PrimeCluster входит средство управления данными в пределах кластера, обеспечивающее масштабируемый доступ к общим данным из нескольких узлов, – что важно для компаний, которые продают свои продукты через Интернет. Это открывает дверь в мир эффективных по стоимости стандартных Intel-архитектур с ОС Linux, особенно в области приложений высокой готовности и масштабируемых Web-сервисов.
Таким образом, PrimeCluster – это единый модульный программный продукт. Его модули можно комбинировать в соответствии с теми требованиями к доступности, масштабируемости, операциям с параллельной базой данных и управляемости, которые предъявляют узел кластера, системы хранения и сетевая инфраструктура. PrimeCluster построен на основе опыта использования нескольких поколений Unix-кластеров с технологиями мэйнфреймов (SynfinityCLUSTER) и кластерных систем, предлагаемых Fujitsu Siemens Computers (Reliant Unix, базирующийся на разработках Pyramid Technologies).
Хотя PrimeCluster обычно упоминается применительно к серверам PrimePower и операционной среде Solaris, данное ПО поддерживает и другие среды, поскольку оно не зависит от операционной системы, аппаратной платформы и технологии межсоединений. Например, модули PrimeCluster могут работать и на платформе IA – Linux.
Модули PrimeCluster реализуют четыре основных типа сервиса, обеспечивающих преимущества кластеризации, а именно:
- сервисы кластеризации (Clustering Services, CS);
- сервисы глобальных дисков (Global Disk Services, GDS);
- сервисы глобальных файлов (Global File Services, GFS);
- сервисы глобальных каналов передачи данных (Global Link Services, GLS).
Эти четыре сервиса решают все основные задачи, для которых и необходимы кластеры. Clustering Services реализуют высокую доступность при помощи ПО для быстрого переключения нагрузки на другие узлы в случае сбоя кластера и масштабируемости кластера. Высокую доступность систем хранения с возможностями SAN поддерживают в Global Disk Services менеджеры томов диска и программное зеркалирование. Если требуется еще более высокая доступность при хранении с использованием SAN, то Global File Services реализуют общую файловую систему кластера. Global Link Services обеспечивают резервированную сеть, что увеличивает ее доступность.
Все эти возможности основаны на новой архитектуре и функциях высокой доступности
серии компьютеров PrimePower 900, 1500 и 2500. Они работают под управлением
Solaris и оснащаются микропроцессорами Fujitsu SPARC64 V, которые полностью
соответствуют открытой спецификации SPARC International.
PrimeCluster – преимущества кластеризацииВозможности ПО PrimeCluster обеспечивают ряд важных для сегодняшнего
|
Архитектура PrimeCluster
Для модульной реализации описанных выше функций Fujitsu Siemens (http://www.fujitsu-siemens.com)
разработала эффективное по стоимости решение, в котором спецификация программных
компонентов основана на четырех имеющихся продуктах PrimeCluster. Это:
- сервер высокой доступности HA Server;
- параллельный сервер Parallel Server;
- масштабируемый сервер Scalability Server;
- корпоративная редакция Enterprise Edition.
Эти продукты могут использоваться по мере необходимости на уровнях Web, приложений или баз данных ИТ-инфраструктуры.
Модульная архитектура ПО PrimeCluster показана на рисунке. Отметим, что модуль
WebView обеспечивает GUI администратора на базе Java, позволяющий управлять
всем PrimeCluster с одной консоли. Кроме того, модульная структура, основанная
на модуле Cluster Foundation (CF), позволяет в будущем быстро добавлять модули
для решения новых задач.
|
Приложение
|
|||||
|
Программное обеспечение связующего слоя
|
|||||
|
PrimeCluster WebView
|
|||||
| Wizard Tools (WT) | Parallel Application Services (PAS) | Scalable Internet Services (SIS) | Global Disk Services (GDS) | Global File Services (GFS) | Global Link Services (GLS) |
| Reliant Monitor Services (RMS) | |||||
| Cluster Foundation (CF) | |||||
| Новая серия PrimePower (модели 900, 1500 или 2500) с ОС Solaris 8 или более поздней версией |
|||||
Модульная архитектура ПО PrimeCluster.
Конкретные модули, которые должны присутствовать в каждом из четырех продуктов PrimeCluster, отмечены в таблице. Так, все варианты PrimeCluster используют модуль Cluster Foundation (CF). Для Enterprise Edition требуются все восемь имеющихся модулей.
Модули, обязательные в составе продуктов PrimeCluster
| Продукт PrimeCluster |
Модуль
|
|||||||
| CF | RMS | WT | PAS | SIS | GDS | GFS | GLS | |
| HA Server | + | + | + | + | + | + | ||
| Parallel Server | + | + | + | + | + | |||
| Scalability Server | + | + | ||||||
| Enterprise Edition | + | + | + | + | + | + | + | + |
Ради максимальной эффективности в большинстве случаев эти модули работают на
уровне ядра, и обращение к ним происходит с помощью интерфейса системных вызовов
ОС. Модули уровня ядра свободны от проблем, возникающих при использовании модулей
кластеризации, которые работают в области памяти, выделяемой пользователям.
Например, зависание пользовательского процесса не влияет на работу основных
сервисов кластера. Кроме того, поскольку модули ядра работают в реальном времени,
то время реакции у PrimeCluster уменьшается. Например, переключение на другой
узел, включая восстановление работы базы данных приложения, зеркалирования дисков
и самого приложения, сокращается до нескольких десятков секунд.
HA Server
Как видно из таблицы, для HA Server обязательны модули CF, Reliant Monitor Services (RMS) и Wizard Tools (WT), а также GDS, GFS и GLS. Модуль RMS реализует высокую доступность приложений за счет мониторинга ресурсов (с помощью так называемых детекторов в узлах сети и приложениях PrimeCluster) и обнаружения отказов. Этот модуль также обеспечивает сервисы локального восстановления и восстановления с переключением на другой узел.
Модуль RMS позволяет PrimeCluster выбрать оптимальную конфигурацию архитектуры кластера, в том числе задать резервирование нескольких узлов, переключение на другой узел при отказах для нескольких узлов или отказах с каскадированием, выборочное переключение на другой узел при отказах, ручное или автоматическое переключение при отказах, локальное восстановление.
Используемые вместе с модулем RMS модуль PrimeCluster WT и программы-мастера приложений поддерживают высокую доступность для конкретных приложений. Мастера приложений обеспечивают заранее определенные детекторы, сценарии для приложений и интеграцию с модулями RMS для таких популярных приложений, как Oracle, SAP и EMC SRDF. Компании могут разработать заказные мастера. Кроме того, программы-мастера упрощают развертывание сценариев восстановления и переключения при отказе узла для кластерных приложений.
Модуль GDS обеспечивает управление хранением данных (при необходимости на уровне сети SAN на базе PrimeCluster). Среди других функций GDS – поддержка единого пространства имен в масштабах кластера (включая использование интуитивно понятных имен), управление доступом к устройствам и администрирование SSI кластера. В PrimeCluster образ SSI реализует файловую систему всего кластера, менеджер томов кластера, единый IP-адрес и другие функции.
С помощью модуля GDS ПО менеджера томов кластера PrimeCluster может получать доступ более чем к двум узлам с разными вариантами RAID-массива (RAID 0, 1, 0+1), локальным или совместно используемым. Кроме того, GDS обеспечивает программную реализацию разделов на диске (до 256 разделов на том) и зеркалирование корневого диска (либо его части). Эта функция эквивалентна "мгновенному снимку" файловой системы. Благодаря использованию журнала регистрации ускоряется восстановление после возникновения состояния "паники".
Модуль GFS непосредственно предоставляет полнофункциональные возможности совместного использования файлов для двух и более узлов кластера из серверов PrimePower, на которых выполняется приложение в сети SAN. Совместное использование файлов уменьшает накладные расходы файловой системы – за счет того, что в отсутствие единой файловой системы кластера для обмена данными используется локальная сеть кластера. Оно также упрощает доступ к выделенным для кластера файл-серверам NFS (если таковые имеются) и упрощает масштабирование кластера за счет дальнейшего сокращения накладных расходов ПО.
Файловая система GFS отличается высокой доступностью и способностью к восстановлению с помощью журнала регистрации событий. Она поддерживает резервирование метаданных и более надежна с точки зрения сохранения целостности данных по сравнению с файловой системой NFS. Кроме того, файловая система обеспечивает высокую производительность – она позволяет организовать доступ к данным напрямую с каждого узла PrimeCluster (непосредственные физические соединения между узлами необязательны). Для высокопроизводительных вычислений в файловой системе GFS может храниться до 32 Тбайт данных.
GFS использует сервер метаданных, располагающийся на одном из узлов PrimeCluster (с переключением в случае отказа на другой узел). Этот сервер имеет доступ к метаданным кластера и к журналу регистрации, поэтому он может управлять доступом к данным между узлами и координировать его.
Parallel Server
PrimeCluster Parallel Server обеспечивает операционную среду кластера для параллельных баз данных, таких, как Oracle9i RAC. Для оптимального применения схем small message и lock caching (из разработанной Oracle технологии Cache Fusion) PrimeCluster использует частный протокол обмена сообщениями с малыми задержками.
При использовании Parallel Server база данных остается доступной даже при выходе узла из строя. Кроме того, синхронизируется параллельный доступ к базе данных и реализуется предпочтительная архитектура единой базы данных с копиями на каждом узле кластера. Для поддержки таких параллельных баз данных, как Oracle9i RAC, в Parallel Server нужны модули CF, Parallel Application Services (PAS), GDS, GFS и GLS.
Модуль PAS обеспечивает резервированную высокоскоростную связь между узлами, которая требуется Oracle и другим параллельным приложениям. Он расширяет возможности применения описанных выше функций CF для работы с параллельными приложениями (например, членство в кластере). Модуль PAS также содержит интерфейс прикладного программирования (API), позволяющий организовать обмен данными между оперативной памятью разных узлов через InfiniBand. Этот виртуальный интерфейс для PAS опционален.
Scalability Server
PrimeCluster Scalability Server обеспечивает сервисы по запросу клиента (через Интернет или с помощью прямого соединения). В его конфигурацию входит шлюзовой узел (а при необходимости – и резервный шлюзовой узел). Остальные узлы кластера (узлы обслуживания) обеспечивают ответы на запросы пользователей.
В конфигурации Scalability Server PrimeCluster поддерживает динамическую балансировку нагрузки для приложений TCP/IP с несколькими копиями. Благодаря функции балансировки достигается масштабируемость подобных приложений, интенсивно использующих ресурсы центрального процессора. Чтобы при таком масштабировании сохранялась высокая доступность, необходимо обеспечить перераспределение нагрузки при отказе узла. Таким образом, с помощью Scalability Server ИТ-менеджеры могут решить проблему непредсказуемой и быстро меняющейся нагрузки.
Для выполнения этих функций Scalability Server требуется базовый модуль CF и модуль Scalable Internet Services (SIS). Модуль CF – это ПО, реализующее базовые функции кластера (максимально для 64 узлов), такие, как сервисы членства в кластере. Модуль также отвечает за управление блокировками в кластере, оповещения о событиях и управление резервированными соединениями между узлами. Еще одна функция CF – связь между узлами по резервированной закрытой сети PrimeCluster. Все эти функции удобно организованы: например, для добавления узла в PrimeCluster нужно выполнить только одну команду.
Для эффективной работы модуль CF развертывается с помощью специального протокола, который имеет значительно более низкую задержку по сравнению со стеком TCP/IP и меньшие накладные расходы, но поддерживает Ethernet и Gigabit Ethernet и готов к использованию InfiniBand. Модуль CF способен обнаружить отказ узла не более чем за 10 с, что значительно ускоряет восстановление таких приложений, как Oracle9i RAC, и обслуживание пользователя.
Модуль CF реализует и новую функцию вывода узлов из работы, которая гарантирует, что в результате неисправности сети не будет отключен работоспособный узел. Ее применение устраняет так называемую проблему расщепления мозга (split-brain), когда узлы кластера не могут точно определить, действительно ли узел вышел из строя, и несколько узлов одновременно пытаются захватить управление кластером. Такая ситуация может привести к потере критически важных данных.
Модуль SIS позволяет динамически распределять нагрузку между несколькими узлами кластера – он распределяет соединения на основе одного из алгоритмов балансировки нагрузки (алгоритма кругового обслуживания, наименьшей нагрузки системы, взвешенной нагрузки системы и т. п.). SIS преобразует IP-адрес кластера во внутренние IP-адреса разных узлов кластера PrimeCluster. Если узел выходит из строя, это не влияет на соединения других узлов, и нагрузку можно перераспределить между ними. Выполнением всех этих операций можно управлять с помощью графического интерфейса.
Enterprise Edition
Enterprise Edition использует все описанные выше модули. Это самая мощная версия
PrimeCluster, которая поддерживает все операции кластера, необходимые для критически
важной ИТ-инфраструктуры. В качестве примера можно привести двухузловой PrimeCluster
из серверов PrimePower 2500. Каждый из этих серверов поддерживает 128 микропроцессоров
SPARC64 V, 512 Гбайт оперативной памяти PC266 ECC RAM, 320 слотов ввода-вывода
PCI и 15 аппаратных разделов с динамической деградацией и динамическим изменением
конфигурации.
Непрерывность бизнес-операций на больших расстояниях Учитывая растущую потребность мировых корпораций в системах восстановления, Это было первое интегрированное решение для переключения во время сбоя Отметим, что SRDF/A – это высокопроизводительное ПО для удаленной репликации, |
PrimeCluster и Linux
Кластеризация и высокая готовность – вот ключевые технологии, используемые в корпоративной обработке данных. Применение Linux в центрах обработки данных делает работу с мощными кластерными решениями чрезвычайно важной для данной ОС. Именно по этой причине компания Fujitsu Siemens распространила область действия кластерного решения PrimeCluster, которое уже работало на SPARC/Solaris-серверах PrimePower, на серверы Primergy, сертифицированные под Linux. Год назад ПО PrimeCluster впервые было подготовлено для использования с двумя версиями Linux – SuSE Linux Enterprise Server 7 и Red Hat Linux Advanced Server 2.1.
В конце прошлого года Fujitsu Siemens и Novell объявили о том, что кластерный пакет PrimeCluster успешно протестирован, настроен на взаимодействие с программным комплексом Novell Nterprise Linux Services и может использоваться в критически важных бизнес-решениях. Novell Nterprise Linux Services, функционирующий под управлением ОС Linux, содержит средства для работы с файлами и каталогами, для печати и управления. Иными словами, это набор ПО для предприятий, позволяющий заменять серверы Windows и распространять традиционные сервисы NetWare на платформу Linux, экономя средства и сохраняя высокий уровень безопасности, надежности и функциональности.
Используемое вместе с Primergy и модульными серверами ПО PrimeCluster – это хорошая платформа для Интернет-приложений, электронного бизнеса и мобильных вычислений – иными словами, для тех задач, где надежность, легкость администрирования и масштабируемость выступают как ключевые факторы успеха. Для эффективной организации электронной коммерции нужны мощные решения, которые реализуются быстро и достаточно просто, – только в этом случае удается сосредоточиться на проблемах бизнеса. Интеграция и администрирование Web-инфраструктуры может оказаться очень ресурсоемкой задачей, требующей профессионального решения. Например, в сфере электронного бизнеса, где важно быстро сделать заказ, большое время отклика эквивалентно сбою в работе Web-сервера. Малое же время реакции в этом случае – составная часть фактора готовности и играет ключевую роль в успехе бизнес-процессов.
Модульные серверы Primergy ВХ300, занимая очень небольшое пространство, имеют высокую производительность. Как известно, до 300 серверов, которые могут содержать 600 процессоров, размещаются в одном шкафу, экономя, помимо всего прочего, и потребление энергии. Интегрированные компоненты модульных серверов позволяют снизить затраты на организацию инфраструктуры и управление. Реализованная с учетом ряда алгоритмов динамическая балансировка нагрузки, поддерживаемая PrimeCluster, обеспечивает хорошее время реакции в сетевых TCP/IP-средах. Кроме того, гарантируется высокая готовность, поскольку для каждого запроса в любое время обеспечивается полная функциональность на уровне серверов с необходимыми сетевыми сервисами. Если же производительность одного узла все же достигает предела, к работе подключаются другие узлы кластера. Для всех сценариев работы, для которых потребность в ресурсах нельзя предсказать заранее, такой подход – модульные технологии плюс кластеризация – просто незаменим, поскольку конфигурацию, требуемую в каждый момент времени, можно легко и эффективно ввести в действие, не прерывая уже выполняющихся приложений.
В соответствии с двумя основными стратегическими направлениями деятельности компании – мобильностью и поддержкой критически важных вычислений – Fujitsu Siemens Computers предлагает не только отдельные (хотя и очень мощные) продукты, но и комплексные протестированные решения. Эти решения также включают масштабируемые фермы Web-серверов, базирующиеся на Linux, и ПО PrimeCluster.
Стоит отметить, что ПО PrimeCluster можно использовать и в гетерогенных средах. Это позволяет оптимизировать применение Solaris- или Linux-серверов в многоуровневых архитектурах, поскольку потребуется лишь один кластер. Такой подход имеет очевидные преимущества, связанные с минимизацией общей стоимости владения и максимальной готовностью.
***
Итак, PrimeCluster – это мощное, гибкое, модульное кластерное решение для построения ИТ-инфраструктуры. Оно имеет симметричную архитектуру программного обеспечения, когда вся информация кластера дублируется на узлы и нет ни одной единой точки отказа, связанной с ПО.
По мнению экспертов, комбинация PrimeCluster и узлов PrimePower обеспечивает высокие доступность, масштабируемость, производительность, открытость и низкую стоимость владения. Таким образом, решение PrimeCluster должно подходить для любого уровня инфраструктуры, где требуется кластерное решение.