Построение масштабируемой инфраструктуры центров обработки данных

--> Дата: Фев 18, 2008 218

1) Какова методология выбора оптимальных решений для ключевых элементов инфраструктуры ЦОД? Как выбрать наилучшие с точки зрения соотношения цена/возможности и перспектив масштабирования ЦОД решения в области кондиционирования и энергоснабжения?

2) В чем принципы масштабирования инфраструктурных элементов ЦОД? Какие можно использовать критерии анализа и способы прогнозирования роста потребностей в основных инфраструктурных мощностях ЦОД?

Виктор Беззубик,
руководитель отдела проектирования,
«АйТи» (http://www.it.ru)

1) На сегодняшний день среди основных потребителей инфраструктурных решений для ЦОД можно назвать крупные коммерческие организации (банки, крупные процессинговые центры платежных систем, операторы связи и т. п.) и государственные структуры (МВД, МЧС, ФНС, ФМС и прочие). И те и другие при выборе решений по ЦОД рассматривают следующие основные критерии: степень надежности системы, включая резервирование отдельных компонентов, масштабируемость решения и его стоимость.

В состав любого современного ЦОД входят следующие ключевые инфраструктурные элементы: система бесперебойного электроснабжения оборудования дата-центра и система обеспечения климатических параметров. Эти системы, несмотря на различное функциональное назначение, тесно взаимосвязаны, поэтому не случайно многие ведущие производители систем бесперебойного питания, такие, как АРС, Emerson и другие, включают сегодня в спектр своих продуктов решения прецизионного кондиционирования. Безусловно, при построении инфраструктуры ЦОД предпочтительны комплексные решения от одного вендора.

В основу критериев при выборе оптимального решения для построения инфраструктуры ЦОД должны быть положены планируемые параметры роста и развития дата-центра. В настоящее время средний срок обновления активного оборудования в ЦОД — примерно два-три года. Инфраструктура ЦОД, напротив, проектируется с учетом срока эксплуатации в 12—15 лет. Это, безусловно, предъявляет к ней серьезные требования, так как она обязана обеспечить функционирование ЦОД в целом на всех этапах эксплуатации, а также предоставлять возможности модификации, изменения и наращивания активного оборудования дата-центра. Причем все это должно осуществляться без остановок и пауз в режиме эксплуатации.

Таким образом, методология формирования оптимального решения выглядит следующим образом. На первом этапе заказчик и исполнитель проводят совместный анализ текущих потребностей в ЦОД с учетом перспектив развития, опыта реализации подобных проектов и их технической поддержки. На втором этапе определяется реализуемая инфраструктура дата-центра с учетом архитектурных и иных особенностей помещения для ЦОД. Этот этап достаточно длительный, но крайне важный, так как на нем проводится детальная проработка возможных вариантов размещения компонентов, архитектуры и интеграции всех систем ЦОД.

В рамках второго этапа рассматриваются:

схема раздачи охлажденного воздуха (вверх, под фальшполами либо непосредственно в шкафы);
варианты реализации системы бесперебойного электроснабжения (модульная или блочная);
варианты организации горячих и холодных коридоров;
необходимость резервирования оборудования;
необходимость контроля и регулирования влажности;
схемы интеграции со смежными системами (электроснабжение здания, центральной вентиляции) и подключения оборудования;
удельная стоимость 1 кВт бесперебойного питания для данного решения;
наработка на отказ.

Этот этап также включает выбор вендора, решения которого наиболее полно отвечают определенным для данного ЦОД требованиям. При этом учитывается наличие у вендора комплексных решений систем электропитания и кондиционирования, типовых решений для масштабирования бесперебойного питания, включая резервирование по схеме N+1. Безусловный плюс при выборе производителя — наличие сервисных центров вендора в регионе заказчика.

Разумеется, в данном случае описаны наиболее общие задачи и этапы проектов создания систем бесперебойного питания и кондиционирования ЦОД. В реальных проектах необходимо учитывать разнообразные требования заказчика к составу систем инфраструктуры ЦОД и его архитектуре, так как типовых дата-центров не существует, несмотря на достаточно стандартизованный подход к проектированию и созданию дата-центров.

2) Вопрос о масштабировании инфраструктурных элементов крайне интересен и важен, причем он должен быть решен на начальной стадии проекта создания ЦОД, так как определяет базовые характеристики закладываемой системы. На данный момент наибольшее распространение получил принцип масштабирования основных инфраструктурных элементов дата-центра, реализуемый в виде изначальной избыточности решения. В частности, по климатическим системам изначально предусматривается либо дополнительный кондиционер, либо место для его установки. С системами бесперебойного питания аналогичная ситуация.

На сегодняшний день имеется два варианта решения вопроса о будущем масштабировании ЦОД. Первый предусматривает резервирование дополнительной площади (помещения) ЦОД, где можно установить дополнительное оборудование систем кондиционирования и ИБП. При этом оснащение резервных площадей происходит уже при развитии ЦОД. Второй вариант решения также предполагает избыточность, при которой дополнительные модули ИБП (для будущих мощностей) и блоки кондиционеров если и не устанавливаются заранее, то по крайней мере для них создается уже полностью готовая кабельная инфраструктура и устанавливаются стойки, в которых будет размещаться оборудование при развитии (масштабировании) дата-центра. Разумеется, при этом требуемые на текущий момент мощности завышаются в несколько раз, что сказывается на стоимости проекта.

Приемлемы оба подхода, однако второй вариант при начальной реализации оказывается дороже, обеспечивая при этом в будущем (при развитии ЦОД) более простую схему расширение дата-центра. К сожалению, приходится констатировать, что пока заказчики крайне неохотно выделяют дополнительные площади для ЦОД, не говоря уже о средствах для резервных мощностей.

Отвечая на вопрос о критериях анализа и способах прогнозирования роста потребностей ЦОД в основных инфраструктурных мощностях, необходимо помнить, что как кондиционирование, так и средства бесперебойного электроснабжения — это системы обеспечения нормальной работоспособности и безотказности основного оборудования ЦОД (серверы, библиотеки, маршрутизаторы). Необходимость масштабирования систем как климатических, так и бесперебойного электроснабжения напрямую зависит от расширения серверной инфраструктуры. В свою очередь, масштабирование активного оборудования серверной связано с развитием бизнес-процессов и ростом бизнеса, внедрением новых приложений и систем управления.

В связи с этим на старте проектирования инфраструктуры ЦОД проводится тщательный анализ текущей ситуации и перспектив роста серверной инфраструктуры. Практика свидетельствует, что провести долгосрочный анализ на 12—15 лет (среднестатистический срок жизни инфраструктуры ЦОД) весьма затруднительно. Поэтому наиболее корректный вариант — учет прогнозируемого масштабирования в рамках двух-трех лет, что в принципе соответствует стандартному сроку смены активного и серверного оборудования.

Возможен также вариант определения пределов масштабирования инфраструктурных элементов дата-центра исходя из максимально плотного заполнения помещения ЦОД серверными стойками с учетом максимальной мощности около 30 кВ.А на стойку. Однако опыт свидетельствует, что помимо учета развития дата-центра на ближайшие два-три года целесообразно закладывать еще 50%-ный резерв на более длительную перспективу.

Александр Ласый,
директор департамента автоматизации инженерных систем,
КРОК (http://www.croc.ru)

1) КРОК активно пользуется рекомендациями общепризнанного стандарта TIA-942, который вобрал в себя мировой опыт создания инженерной инфраструктуры ЦОД последних лет. В соответствии с этим стандартом мы отдаем преимущество масштабируемым системам. Они наиболее выгодны для наших заказчиков, потому что при их построении можно распределить затраты во времени. С точки зрения удобства эксплуатации и обеспечения отказоустойчивости они также выигрывают у «монолитных» систем. Гибко масштабируемые системы бесперебойного питания появились на рынке достаточно давно, и мы широко применяем их в своих проектах. Соотношения цена/возможности у всех производителей сравнимы.

Масштабирование систем кондиционирования до недавнего прошлого было довольно сложной технической проблемой, поскольку габариты и мощность прецизионных систем с хорошими показателями цена/эффективность были достаточно велики. Сейчас ряд производителей предлагает удобные и гибкие системы охлаждения, но обычно охлаждающей жидкостью в них служит вода. Ее использование не рекомендуется действующими российскими нормативами, и это затрудняет широкое распространение таких систем. Есть и альтернативы: например, компания Emerson предлагает системы охлаждения, где в качестве теплоносителя выступает жидкий фреон. Однако они существенно дороже систем, использующих воду или водные растворы спиртов. В настоящее время дискретность масштабирования систем кондиционирования может составлять шкаф с оборудованием, и даже мельче. Компания Rittal, например, позволяет наращивать систему охлаждения одного шкафа в несколько приемов, по мере заполнения его оборудованием.

2) Для масштабирования модульных систем бесперебойного питания существуют следующие способы:

обеспечение электропитания без резервирования — установка необходимого количества (N) модулей в шкаф;
резервирование за счет добавления еще одного N+1-го блока в стандартный шкаф;
наращивание мощности путем добавления стандартных блоков в шкаф с резервированием по схеме N+1 до полного его заполнения;
добавление следующего шкафа, который можно последовательно заполнять по приведенной выше схеме.

Основным критерием выбора того или иного оборудования служит предполагаемое дискретное увеличение мощности добавляемого оборудования. Сейчас можно найти системы бесперебойного питания с дискретностью наращивания от 1 до 40 кВ.А и точно подобрать их по своим потребностям. Масштабируемые системы кондиционирования можно наращивать с шагом от 3кВт.

Прогнозировать темпы роста потребляемой и утилизируемой мощности достаточно точно удается сейчас только крупным операторам связи, так как у них постоянно ведется статистика роста числа клиентов. Остальные пользователи почти всегда очень неточно оценивают свои потребности, сильно их завышая. Масштабируемые системы для них — это реальная возможность сократить расходы на системы бесперебойного питания и кондиционирования; ведь они позволяют наращивать мощности в соответствии с реальными потребностями, которые определяются в процессе эксплуатации. И даже приобретенные модули электропитания и кондиционирования на излишнюю мощность можно использовать для резервирования и создания отказоустойчивых систем.

Станислав Сахнов,
ведущий инженер,
«Микротест» (http://www.microtest.ru)

1) В настоящее время российские заказчики наращивают свои ИТ-ресурсы и переходят от «лоскутной» автоматизации к организации единых централизованных ресурсов для улучшения управления и эффективности их использования. Политика централизации вычислительных ресурсов нашла воплощение в технологии создания и эксплуатации центра обработки данных (ЦОД). Основное назначение ЦОД — обеспечить безотказную работу информационных систем предприятия.

На сегодняшний момент основными критериями выбора того или иного решения для построения ЦОД служат в первую очередь не цена, а такие характеристики, как адаптивность и масштабируемость, надежность и доступность системы, общая стоимость владения (TCO), простота эксплуатации и обслуживания, управляемость. Кроме того, специфика проектов ЦОД определяется и целым рядом других факторов: особенностями бизнеса и географическим расположением компании, унаследованным оборудованием и ПО, требованиями по надежности и отказоустойчивости, по скорости передачи информации, допустимым временем задержки и рядом других.

Своеобразный «фундамент» ЦОД — так называемая адаптивная инженерная инфраструктура центра обработки данных (NCPI). Дело в том, что уровень готовности информационных систем предприятия определяется надежностью не только используемых серверных решений и ПО, но и «обеспечивающей» инженерной инфраструктуры — систем энергоснабжения, вентиляции и кондиционирования, безопасности и противопожарной защиты, управления, стоек и кабельной разводки, обслуживания. Именно поэтому оптимальное решение можно разработать только тогда, когда при его построении рассматриваются не отдельные компоненты, а вся инфраструктура в целом.

Большое значение при построении ЦОД имеет и стандартизация инфраструктуры NCPI. Она позволяет отказаться от сложной, неэффективной, подверженной ошибкам системы, созданной по индивидуальному проекту, и означает переход к прозрачному управлению стандартными бизнес-операциями физической инфраструктуры ЦОД.

Существовавший ранее в отрасли традиционный подход к охлаждению оборудования — охлаждение на уровне зала — хорошо зарекомендовал себя и до сих пор остается эффективным и практичным вариантом для центров с низкой плотностью оборудования, а также для тех систем, где ИТ-оборудование остается практически неизменным. Однако потребность современных ЦОД в адаптации к изменяющимся условиям и в надежной поддержке оборудования с высокой и переменной удельной мощностью, а также в снижении расходов на электроэнергию и других эксплуатационных затрат привела к разработке новых архитектур охлаждения — на уровне ряда и на уровне стойки. Эти две архитектуры достаточно успешно справляются с удовлетворением перечисленных потребностей, особенно когда удельная мощность оборудования превышает 3 кВт на стойку.

Архитектуры охлаждения на уровне ряда и стойки обеспечивают гибкость, предсказуемость, масштабируемость, сокращение потребления электроэнергии, снижение общей стоимости владения, а также оптимальные показатели доступности, необходимые ЦОД нового поколения. Охлаждение на уровне стойки найдет применение в тех ситуациях, где основную роль играют высокие показатели удельной мощности, большая дискретность устанавливаемого оборудования или неструктурированное размещение. Охлаждение на уровне ряда подойдет для большинства заказчиков, переходящих на новые серверные решения с высокой удельной мощностью. Эта архитектура обеспечит наилучшее соотношение между высокой предсказуемостью, высокой удельной мощностью и адаптируемостью при оптимальной общей стоимости владения.

Инфраструктура подачи питания исключительно важна для успешной работы оборудования ЦОД. К сожалению, в настоящее время мы не можем говорить о том, что системы энергообеспечения общего пользования достаточно надежны — даже лучшие из них не в полной мере удовлетворяют требованиям обеспечения высокой доступности информационных систем предприятия. Чтобы предотвратить возможные простои и ошибки при обработке данных, вызванные системой энергообеспечения, большинство компаний предпочитает внедрить систему гарантированного и бесперебойного электропитания, устанавливаемую между системой распределения питания общего пользования и своими бизнес-критичными серверными решениями и системами хранения данных. Выбор конкретной конфигурации системы оказывает непосредственное влияние на доступность ИТ-оборудования, для поддержки которого она предназначена. Существует много факторов, влияющих на эффективность системы электропитания, включая ошибки оператора, надежность компонентов, графики технологического обслуживания и время, необходимое для восстановления работоспособности. Кроме того, для электрических сетей общего назначения в Российской Федерации характерно низкое качество электрической энергии — отключения, высокочастотные помехи, отклонения частоты, несинусоидальность, отклонения напряжения и другие нарушения. Влияние каждого из этих факторов на общую доступность данных в большой степени определяется выбранной конфигурацией системы гарантированного и бесперебойного электропитания.

В зависимости от требований системы энергоснабжения можно разделить на системы с бесперебойным, гарантированным и бесперебойным гарантированным электроснабжением. Если классифицировать системы бесперебойного питания по схеме построения, основное распространение получили централизованная и распределенная системы. Для устранения недостатков каждого из типов на практике применяют двухуровневую систему, которая представляет собой комбинацию централизованной и распределенной системы.

Бесперебойное гарантированное электроснабжение ЦОД применяется при необходимости длительной работы в автономном режиме. Такая система представляет собой совокупность организационно-технических мероприятий, сведенных в единый технологический комплекс и в случае отключения основных источников электроснабжения обеспечивающих электропитание нагрузки за счет аварийных генераторов и ИБП на неопределенное долгое время.

Каждая из этих конфигураций имеет свои преимущества и недостатки, но общие рекомендации при выборе конкретной системы таковы:

определение типов и номиналов нагрузки всех компонентов инфраструктуры ЦОД и обеспечение каждого типа нагрузки необходимыми показателями надежности и качества электроэнергии;
определение степени резервирования системы — при выходе из строя каких компонентов системы электропитания необходимо обеспечивать нормальное функционирование других компонентов и питаемых нагрузок;
подбор систем управления и мониторинга, сбора статистики и других параметров работы системы электропитания в автоматическом и ручном режимах, в том числе и дистанционно;
расчет необходимого уровня подавления помех остаточных информационных сигналов и взаимовлияния подключенного оборудования. Предотвращение несанкционированного доступа, а также разрушения информации и самого оборудования по внешним цепям электропитания;
расчет необходимости установки фильтров для обеспечения необходимого уровня подавления помех от тиристорных выпрямителей ИБП, поступающих в основную электрическую сеть.

И еще один из факторов выбора подходящей конфигурации системы электроснабжения ЦОД — учет и анализ влияния простоев оборудования и допустимости рисков внутри компании.

2) Обеспечение дальнейшего развития ЦОД и его масштабирования — один из главных критериев оптимального построения вычислительного центра. В этом отношении необходима ориентация на постепенный рост ЦОД. Идеальным был бы случай применения метода и архитектуры, обеспечивающих непрерывную подстройку под изменяющиеся требования. Такие методы и архитектура должны обладать следующими характеристиками:

число инженерных решений, принимаемых при построении ЦОД и не подлежащих наращиванию, должно быть минимизировано;
инфраструктура электропитания ЦОД должна состоять из качественно проработанных модулей, в которых заранее предусмотрены все возможные варианты их применения, рассчитанных на транспортировку через стандартные дверные проемы и с использованием пассажирских лифтов, подключаемых без выполнения каких-либо операций на находящихся под напряжением электрических цепях;
необходимо исключить какую-либо специальную подготовку площадей для установки дополнительного оборудования (например, устройства фальшполов);
системы электроснабжения и кондиционирования должны быть рассчитана на выбор любой конфигурации (без резервирования или с резервированием по схемам N+1 или 2N) без внесения модификаций в систему ;
из процесса инсталляции дополнительного оборудования для наращивания мощности систем должны быть исключены получение специальных разрешений и выполнение специальных процедур, а также такие работы, как прокладка проводки, сверление и резка стен и перекрытий.

К сожалению, на этапе проектирования по ряду причин не всегда получается правильно спрогнозировать дальнейшее развитие мощностей ЦОД. Из-за плохого планирования и неправильного принятия решений до 30% полной стоимости владения ЦОД затрачивается впустую. Поэтому применение адаптивной инженерной инфраструктуры, модульных и масштабируемых элементов позволит удовлетворять растущие потребности и минимизировать затраты при росте мощностей ЦОД.

Игорь Мызгин,
менеджер направления «Интеллектуальное здание»,
«Открытые технологии» (http://www.ot.ru)

1) Все центры обработки данных обладают своими особенностями, и условия их эксплуатации разные. Поэтому нельзя создать универсальное оптимальное решение для инфраструктуры ЦОД. Можно лишь говорить о подходах, которые позволяют сформировать оптимальное решение. Например, наша компания в своей работе пользуется четырьмя основными принципами.

1. Мы руководствуемся стандартами (СН 512 78, ANSI/TIA 942).

2. Следование лучшим практикам, имеющимся в отрасли (рекомендации Uptime Institute).

3. Использование параллельно-модульных архитектур (имеющих много однотипных, но разных элементов, направленных на решение одной задачи). Например, объединение в параллель двух ИБП позволяет нам решить задачу электроснабжения потребителей. Эта схема может выглядеть как 2n (каждый ИБП обеспечивает электроснабжение), или как n (только оба могут полностью решить задачу). Поскольку у нас уже есть два параллельных ИБП и действует механизм их согласования, можно добавить к ним третий ИБП и таким образом повысить мощность данной конструкции. Если же отказаться от принципа модульности и параллельности, то придется ставить монолитный источник, который можно масштабировать единственным способом — его заменить.

4. Надежность обслуживающего уровня должна быть выше надежности обслуживаемого уровня. Если бизнес-приложение функционирует на базе кластерного решения, т. е. на уровне технической архитектуры имеет избыточность 2n, то инженерная инфраструктура, чтобы не стать «слабым звеном», должна обладать избыточностью как минимум 2n или 2(n+1). Выбирая оптимальное для заказчика решение, мы обязательно изучаем, насколько критичны его приложения и сколько может стоить минута их простоя. Не секрет, что чем надежнее ЦОД, тем он дороже. Поэтому всегда надо соблюдать баланс между стоимостью минуты простоя центра и стоимостью инженерной инфраструктуры, чтобы меры по обеспечению непрерывности не обходились дороже, чем возможные потери от остановки функционирования ЦОД.

Наша компания всегда стремится к максимальному сохранению инвестиций и уменьшению совокупной стоимости владения объекта. Жизненный цикл ЦОД составляет 8—15 лет, и для многих наших заказчиков стоимость владения на протяжении этого срока важнее, чем единовременные инвестиции в ЦОД. Поэтому они учитывают все факторы эксплуатации в рамках выбора оптимального решения.

Специалисты компании «Открытые технологии» постоянно отслеживают появление на рынке новых моделей оборудования ведущих производителей и проводят внутренний анализ этих решений.

Россия — страна с очень сложным климатом (у нас есть как Сочи, так и Норильск). Многие ведущие мировые производители просто никогда не сталкивались с такими условиями эксплуатации, которые для России считаются нормальными: они не рассчитывают на низкие температуры на улице (-45, -55°C), у многих нижняя граница функционирования кондиционеров — это -10, -18, -35°. Но как показал опыт прошлой зимы, нижний предел на уровне -35° для кондиционеров в Москве недостаточен. У некоторых компаний той зимой ночами, когда было очень холодно, переставала работать система охлаждения ЦОД. Поэтому мы всегда обращаем внимание на нижнюю границу функционирования кондиционеров и рекомендуем, чтобы это значение было -45° или даже ниже. Некоторые кондиционеры можно приспособить к условиям российской эксплуатации за счет использования «зимних комплектов». Существуют модели, которые уже несколько лет работают в Норильске, где температура по ночам опускается до -55°C. И они успешно справляются, функционируя в режиме 24х7х365, — отказов пока не было.

На рынке электроснабжения представлены десятки производителей ИБП, продукция которых подходят для ЦОД. На наш взгляд, стоит использовать только те источники двойного преобразования, в которых условия электроснабжения потребителей не зависят от качества питающей сети. С точки зрения сохранения инвестиций стоит обратить внимание на ИБП, позволяющие постепенно наращивать мощности (например, ИБП семейства Symmetra компании АРС) или построить параллельную архитектуру (например, ИБП семейства General Electric, обладающие архитектурой RPA).

2) Исследования Uptime Institute показывают, что жизненный цикл инженерной инфраструктуры ЦОД в среднем колеблется от 8 до 15 лет. Крайне редко строят центры обработки данных в расчете на 4—6 лет. Как показывает мировой опыт эксплуатации ЦОД, за 15 лет архитектура и серверы принципиально меняются, и существующая на тот момент инфраструктура перестает удовлетворять потребностям центра обработки данных.

При масштабировании наши специалисты опираются на многолетний опыт и исследования Uptime Institute. Эта проектная организация, расположенная в США, уже более 30 лет занимается исследованием прикладных вопросов надежности ЦОД. Специалисты данного института собрали большую статистику надежности центров обработки данных, принципов взаимодействия уровней ЦОД, их инженерной инфраструктуры и их наполнения.

Часто, когда наши заказчики спрашивают, как им спланировать развитие ЦОД, мы просим их учитывать три основных тенденции в этой области.

Возрастающий энергодефицит. В Москве уже сейчас многие заказчики столкнулись с проблемой, что внутри Третьего транспортного кольца разместить ЦОД мощностью в 1 МВт невозможно.
Рост плотности тепловыделения. Производители инженерной инфраструктуры ЦОД отмечают, что плотность потребления электричества на стойку неуклонно растет. Если 10 лет назад мы говорили о потреблении 1,5—2 КВт на стойку, года два-три назад — о 11—18 КВт, то сейчас — о 20 КВт. Ведущие производители уже представили экспериментальные разработки, позволяющие отводить до 40—60 КВт тепла с одной стойки.
Консолидация ЦОД. Большинство компаний-заказчиков проходят стандартный путь развития: сначала у них появляется маленький ЦОД, затем центры обработки данных в каждом региональном офисе, потом централизованные бизнес-приложения, каналы связи расширяются и дешевеют. И консолидация отдельных центров в единый большой ЦОД становится экономически эффективной. Кроме того, она повышает надежность бизнес-приложений заказчика.

В связи с этими тенденциями мы рекомендуем подходить к вопросам масштабирования ЦОД следующим образом:

располагать объекты в регионах, которые в ближайшее время не станут энергодефицитными;
строить ЦОД, изначально учитывая, что он будет расти. Поэтому важно создать недорогие элементы с максимальным запасом, т. е. построить максимум фальшпола, заранее обеспечить газопожаротушение, подготовить закладные трассы для будущих систем кондиционирования и пожаротушения. В помещениях, предназначенных для ИБП, необходимо обеспечить запас площади, чтобы в будущем можно было увеличить количество аккумуляторных блоков, нарастить ИБП;
использовать модульные параллельные избыточные архитектуры, позволяющие сохранить инвестиции, сделанные в начале жизненного цикла.

Кроме того, мы рекомендуем нашим заказчикам в рамках развития ЦОД использовать заложенную в них избыточность. Обычно для центров обработки данных высокой надежности необходима система 2(n+1): у заказчиков каждая подсистема инженерной инфраструктуры построена в двух экземплярах, каждый из которых обладает внутренней избыточностью. Такая архитектура при параллельном подключении позволяет исключить единую точку отказа и на время работ по расширению инфраструктурных элементов ЦОД за счет кратковременного понижения надежности инженерной инфраструктуры перевести элементы из резервных в основные. Можно, например, понизить избыточность климатических установок с 2(n+1) до n+1, и таким образом, с одной стороны, иметь запас на отказ, с другой — значительно сократить сроки масштабирования инфраструктурных элементов ЦОД.

Словом, мы рекомендуем заказчикам всегда учитывать тенденции развития и проводить масштабирование ЦОД, используя заложенную избыточность и не останавливая функционирование сервиса, который обслуживает центр обработки данных.