Как построить собственный ЦОД

— У вас есть ЦОД?

— Да, строим на 100 стоек.

— А мы строим на 200.

— А мы на 400 с независимой газовой электростанцией.

— А мы на 500 с водяным охлаждением и возможностью отводить до 10 кВт тепла с одной стойки.

— А мы наблюдаем за рынком и удивляемся.

Ситуация на московском (да и российском в целом) рынке ЦОД еще два года назад выглядела плачевно. Тотальная нехватка дата-центров как таковых и мест в уже существовавших центрах привела к тому, что стойка на 3-4 кВт, стоившая в 2004-2005 гг. около 700 у.е., в 2007-м стала стоить 1500–2000 у.е. Стараясь удовлетворить растущий спрос, многие операторы и системные интеграторы организовали «стройки века» с целью создания самых лучших и самых больших ЦОД. Эти прекрасные стремления привели к тому, что на текущий момент в Москве есть около 10 дата-центров в стадии открытия и первичного заполнения, и еще несколько находится в проекте. Компании «Теленет», i-Teco, Dataline, «Хостеров», «Агава», «Мастерхост», Oversun, «Синтерра» и целый ряд других открыли собственные дата-центры на рубеже 2008 и 2009 гг.

Желание вкладывать деньги в масштабные телекоммуникационные проекты объяснялось не только данью моде, но и рядом экономических причин. Для многих компаний строительство собственного ЦОД было мерой вынужденной: стимулом к этому, в частности, для хостинг-провайдеров или крупных Интернет-ресурсов стали постоянно растущие расходы на инфраструктуру. Однако не все компании правильно рассчитали свои силы; например, дата-центр одного крупного хостинг-провайдера превратился в долгострой, который ведется уже два года. Другой хостинг-провайдер, построивший дата-центр за МКАД, вот уже полгода старается распродать его хоть каким-нибудь крупным клиентам.

Инвестиционные проекты, запущенные в разгар кризиса, тоже не могут похвастаться стабильным притоком клиентов. Сплошь и рядом стоимость за стойку, заложенная в бизнес-плане на уровне 2000 у.е., в нынешних экономических условиях снижается до 1500–1400 у.е., на годы откладывая выход проекта на самоокупаемость.

Остались нереализованными несколько грандиозных проектов строительства дата-центров на тысячи стоек с газовыми электростанциями за МКАД. Один из таких проектов, в частности, был «похоронен» оператором фиксированной связи (в связи с поглощением компании более крупным игроком).

Таким образом, на сегодняшний день окупились только те дата-центры, которые были построены больше трех лет назад и заполнение которых пришлось как раз на дефицитные 2004–2007 гг. В кризис же – в условиях избытка свободных площадей в дата-центрах – постройка все новых и новых ЦОД, казалось бы, выглядит сущим безумием.

Однако не все так плохо: даже в условиях кризиса, при соблюдении определенных условий, можно и нужно создавать собственный ЦОД. Главное – понять ряд нюансов.

Что заставляет компанию создавать собственный ЦОД

Мотив один – безопасность бизнеса и минимизация рисков. Риски же таковы. Во-первых, класс коммерческих ЦОД в Москве соответствует 1–2 уровню, что означает перманентные проблемы с электропитанием и охлаждением. Во-вторых, коммерческие ЦОД категорически не согласны покрывать убытки от простоя и недополученную выгоду. Уточните максимальный размер штрафа или неустойки, на который вы можете рассчитывать в случае простоя, – он, как правило, не превышает 1/30 от арендной платы за день простоя.

И в третьих, вы не в состоянии контролировать реальное положение дел в коммерческом ЦОД:

• это коммерческая организация, которая должна извлекать прибыль из своей деятельности и порой экономит даже в ущерб качеству своих услуг;
• вы принимаете на себя все риски сторонней компании, например — отключение питания (пусть и кратковременное) за непогашенную задолженность;
• коммерческий ЦОД может расторгнуть договор с вами в любое время.

Экономика ЦОД

Очень важно заранее, правильно и полностью оценить затраты на строительство и эксплуатацию, а для этого необходимо определить класс ЦОД, который вы будете строить. Ниже приведена ориентировочная стоимость строительства площадки «под ключ» на 5 кВт стойку (без учета стоимости электричества).

Уровень 1	От 620 т.р.
Уровень 2	От 810 т.р.
Уровень 3	От 1300 т.р
Уровень 4	От 1800 т.р.

Стоимость эксплуатации ЦОД зависит от множества факторов. Перечислим основные.

1. Стоимость электричества = количество потребляемой электроэнергии + 30% на отвод тепла + потери при передаче и преобразовании (от 2 до 8%). И это при условии выполнения всех мер по снижению затрат – таких, как сокращение потерь и пропорциональное охлаждение (что в некоторых случаях, увы, невозможно).
2. Стоимость аренды помещения – от 10 тыс. рублей за кв. м.
3. Стоимость обслуживания систем кондиционирования – приблизительно 15–20% от стоимости системы кондиционирования в год.
4. Стоимость обслуживания энергосистем (ИБП, ДГУ) – от 5 до 9% от стоимости.
5. Аренда каналов связи.
6. ФОТ службы эксплуатации.

Из чего состоит ЦОД

Существует целый ряд формализованных требований и стандартов, которые должны быть соблюдены при строительстве ЦОД: ведь надежность его работы критически важна.

В настоящий момент широко используется международная классификация уровней (от 1 до 4) готовности (надежности) ЦОД ()см. таблицу). Каждый уровень предполагает определенную степень доступности сервисов ЦОД, которая обеспечивается различными подходами к резервированию питания, охлаждения и канальной инфраструктуры. Самый низкий (первый) уровень предполагает доступность 99,671% времени в год (или возможность 28 ч простоя), а самый высокий (четвертый) уровень – доступность 99,995%, т.е. не более 25 мин простоя в год.

Параметры уровней надежности ЦОД

	Уровень 1	Уровень 2	Уровень 3	Уровень 4
Пути охлаждения и ввода электричества	Один	Один	Один активный и один резервный	Два активных
Резервирование компонентов	N	N+1	N+1	2*(N+1)
Деление на несколько автономных блоков	Нет	Нет	Нет	Да
Возможность горячей замены	Нет	Нет	Да	Да
Здание	Часть или этаж	Часть или этаж	Отдельно стоящее	Отдельно стоящее
Персонал	Нет	Не менее одного инженера в смене	Не менее двух инженеров в смене	Более двух инженеров, 24-часовое дежурство
Загрузка мощностей, %	100	100	90	90
Вспомогательные площади, %	20	30	80–90	100+
Высота фальш- пола, см	40	60	100–120	100–120
Нагрузка на пол, кг/м2	600	800	1200	1200
Электричество	208–480 В	208–480 В	12–15 кВ	12–15 кВ
Число точек отказа	Много + ошибки оператора	Много + ошибки оператора	Мало + ошибки оператора	Нет + ошибки оператора
Допустимое время простоя в год, ч	28,8	22	1,6	0,4
Время на создание инфраструктуры, мес.	3	3–6	15–20	15–20
Год создания первого ЦОД подобного класса	1965	1975	1980	1995

Данная классификация по уровням была предложена Кеном Бриллом (Ken Brill) еще в 1990-х гг. Считается, что первый ЦОД самого высокого уровня готовности был построен в 1995 г. компанией IBM для UPS в рамках проекта Windward.

В США и Европе существует определенный набор требований и стандартов, регламентирующих постройку ЦОД. Например, американский стандарт TIA-942 и его европейский аналог -EN 50173−5 фиксируют следующие требования:

• к месту расположения дата-центра и его структуре;
• к кабельной инфраструктуре;
• к надежности, специфицированные по уровням инфраструктуры;
• к внешней среде.

В России на текущий момент не разработано актуальных требований к организации ЦОД, поэтому можно считать, что они задаются стандартами на строительство машинных залов и СНиПами на строительство технологических помещений, большинство положений которых были написаны еще в конце 1980-х гг.

Итак, остановимся на трех «китах» строительства ЦОД, которые являются наиболее значимыми.

Питание

Как построить надежную и стабильную систему электроснабжения, избежать в дальнейшем сбоев в работе и не допустить простоев оборудования? Задача не из простых, требующая тщательного и скрупулезного изучения.

Основные ошибки обычно допускают еще на этапе проектирования систем электропитания ЦОД. Они (в перспективе) могут вызвать отказ системы электроснабжения по следующим причинам:

• перегрузка линий электропитания, как следствие – выход из строя электрооборудования и санкции энергонадзорных органов за превышение лимита потребления;
• серьезные энергопотери, что снижает экономическую эффективность ЦОД;
• ограничения в маcштабируемости и гибкости систем электропитании, связанные с нагрузочной способностью линий электропередач и электрооборудования.

Система электропитания в дата-центре должна соответствовать современным потребностям технических площадок. В классификации ЦОД, предложенной Кеном Бриллом, применительно к электропитанию эти требования будут выглядеть следующим образом:

• Уровень 1 — достаточно обеспечить защиту от скачков тока и стабилизацию напряжения, это решается установкой фильтров (без установки ИБП);
• Уровень 2 — требует установки ИБП с байпасом с резервированием N+1;
• Уровень 3 — необходимы параллельно работающие ИБП, с резервированием N+1;
• Уровень 4 — системы ИБП, с резервированием 2 (N+1).

Сегодня на рынке чаще всего можно встретить ЦОД с электропитанием второго уровня, реже – третьего (но в этом случае стоимость размещения обычно резко возрастает, причем далеко не всегда обоснованно).

По нашим оценкам, дата-центр с полным резервированием обычно обходится в 2,5 раза дороже простого ЦОД, поэтому крайне важно еще на уровне предпроектной подготовки определиться, какой категории должна соответствовать площадка. Как недооценка, так и переоценка важности параметра допустимого времени простоя одинаково негативно сказываются на бюджете компании. Ведь финансовые потери возможны в обоих случаях — либо из-за простоя и сбоев в работе критически важных систем, либо из-за выбрасывания денег на ветер.

Очень важно также проследить, как будет вестись учет потребления электричества.

Охлаждение

Правильно организованный отвод тепла – не менее сложная и важная задача. Очень часто берется общее тепловыделение зала и уже исходя из этого рассчитывается мощность претензионных кондиционеров и их количество. Такой подход, хотя он и очень часто встречается, нельзя назвать правильным, так как он ведет к дополнительным издержкам и потерям в эффективности систем охлаждения. Ошибки в расчетах систем охлаждения – самые распространенные, и свидетельство тому – служба эксплуатации почти каждого ЦОД в Москве, поливающая жарким летним днем теплообменники из пожарных шлангов.

На качество отвода тепла влияют следующие моменты.

Архитектурные особенности здания. К сожалению, не все здания имеют правильную прямоугольную форму с постоянной высотой потолков. Перепады высоты, стены и перегородки, конструктивные особенности строения и воздействие солнечной радиации – все это может привести к дополнительным трудностям при охлаждении отдельных участков ЦОД. Поэтому расчет систем охлаждения должен вестись с учетом особенностей помещения.

Высота потолков и фальшпола. Здесь все очень просто: если высотой фальшпола дело не испортишь, то слишком высокие потолки ведут к застою горячего воздуха (следовательно, его надо отводить дополнительными средствами), а слишком низкие потолки затрудняют движение горячего воздуха к кондиционеру. В случае же низкого фальшпола (> 500 мм) резко падает эффективность охлаждения.

Показатели температуры и влажности воздуха в ЦОД. Как правило, для нормальной работы оборудования требуется соблюдать температурный режим в диапазоне 18–25 градусов Цельсия и относительную влажность воздуха от 45 до 60%. В этом случае вы обезопасите свое оборудование от остановки по причине переохлаждения, выхода из строя в случае выпадения конденсата при высокой влажности, статического электричества (в случае с низкой влажностью) или из-за перегрева.

Каналы связи

Казалось бы, такая «незначительная» составляющая, как каналы связи, не может вызывать никаких затруднений. Именно поэтому на нее и не обращают должного внимания ни те, кто арендует ЦОД, ни те, кто его строит. Но что толку от безупречной и бесперебойной работы ЦОД, если оборудование недоступно, т.е. его фактически нет? Обязательно обратите внимание: ВОЛС должны полностью дублироваться, причем многократно. Под «дублируются» имеется в виду не только наличие двух волоконно-оптических кабелей от разных операторов, но и то, что они не должны лежать в одном коллекторе.

Важно понимать, что действительно развитая коммуникационная инфраструктура требует значительных разовых затрат и отнюдь не дешева в эксплуатации. Следует расценивать ее как одну из весьма ощутимых составляющих стоимости ЦОД.

Собственный ЦОД на «раз-два-три»

Здесь стоит сделать небольшое отступление и рассказать об альтернативном методе создания собственного ЦОД. Речь идет о BlackBox – мобильном центре обработки данных, встроенном в транспортный контейнер. Проще говоря, BlackBox – это дата-центр, размещенный не в отдельной комнате внутри помещения, а в неком подобии автотрейлера (см. рисунок).

BlackBox можно привести в полностью рабочее состояние за месяц, т.е. в 6–8 раз быстрее, чем традиционные ЦОД. При этом не нужно приспосабливать под BlackBox инфраструктуру здания компании (создавать под него особую систему противопожарной безопасности, охлаждения, охраны и т.п.). А самое главное – для него не требуется отдельного помещения (можно разместить его на крыше, во дворе…). Все, что действительно необходимо – организовать подачу воды для охлаждения, систему бесперебойного электропитания и наладить подключение к Интернету.

Стоимость собственно BlackBox — около полумиллиона долларов. И тут надо отметить, что BlackBox – это полностью сконфигурированный (однако с возможностью кастомизации) виртуализационный центр обработки данных, размещенный в стандартном транспортном контейнере.

Две компании уже получили этот контейнер для предварительного тестирования. Это Linear Accelerator Center (Стэнфорд, США) и … российская компания «Мобильные ТелеСистемы». Самое интересное, что МТС запустила BlackBox быстрее, чем американцы.

В целом BlackBox производит впечатление очень хорошо продуманной и надежной конструкции, хотя, конечно, стоит упомянуть и ее недостатки.

Необходим внешний источник энергии минимум в 300 Вт. Здесь мы упираемся в строительство или реконструкцию ТП, монтаж ГРЩ, прокладку кабельной трассы. Это не так просто – проектные работы, согласование и утверждение проекта во всех инстанциях, монтаж оборудования…

ИБП в комплект поставки не входят. Опять упираемся в проектные работы, выбор поставщика, оборудование помещения под монтаж ИБП с климатической установкой (батареи очень капризны к температурному режиму).

Потребуется также покупка и монтаж ДГУ. Без него не решить проблему с резервированием, а это еще один круг согласований и разрешений (средний срок поставки таких агрегатов – от 6 до 8 месяцев).

Охлаждение — необходим внешний источник холодной воды. Придется спроектировать, заказать, дождаться, смонтировать и запустить систему чиллеров с резервированием.

Резюме: вы по сути построите небольшой дата-центр в течение полугода, но вместо ангара (помещения) купите контейнер с серверами, причем сбалансированный и серьезно продуманный до мелочей, с комплектом удобных опций и ПО для управления всем этим хозяйством, и смонтируете его за месяц.

Чем больше ЦОД, тем..?

На текущий момент самый большой ЦОД, о котором есть информация в открытых источниках, – объект Microsoft в Ирландии, в который корпорация планирует инвестировать более 500 млн долл. Специалисты утверждают, что эти деньги будут потрачены на создание первого в Европе вычислительного центра для поддержки различных сетевых сервисов и приложений Microsoft.

Строительство в Дублине конструкции общей площадью 51,09 тыс. кв. м, на территории которой разместятся десятки тысяч серверов, началось в августе 2007 г. и должно завершиться (по прогнозам самой компании) в середине 2009 г.

К сожалению, имеющаяся информация о проекте мало что дает, ведь важна не площадь, а энергопотребление. Исходя из этого параметра, мы предлагаем классифицировать ЦОД следующим образом.

• «Домашний ЦОД» – ЦОД уровня предприятия, которому требуются серьезные вычислительные мощности. Мощность – до 100 кВт, что позволяет разместить в нем до 400 серверов.
• «Коммерческий ЦОД». К этому классу относятся операторские ЦОД, стойки в которых сдаются в аренду. Мощность – до 1500 кВт. Вмещает до 6500 серверов.
• «Интернет-ЦОД» – ЦОД для Интернет-компании. Мощность – от 1,5 МВт, вмещает 6500 серверов и более.

Возьму на себя смелость предположить, что при строительстве ЦОД мощностью более 15 МВт неотвратимо возникнет «эффект масштаба». Ошибка на 1,5–2 кВт в «семейном» ЦОД на 40 кВт, скорее всего, останется незамеченной. Ошибка размером в мегаватт будет фатальной для бизнеса.

Кроме того, можно с полным основанием предположить в этой ситуации действие закона убывающей отдачи (как следствие эффекта масштаба). Он проявляется в необходимости совмещения больших площадей, огромной электрической мощности, близости к основным транспортным магистралям и прокладки железнодорожных путей (это будет экономически целесообразней, чем доставка огромного количества грузов автотранспортом). Стоимость освоения всего этого в пересчете на 1 стойку или юнит будет серьезно выше среднего по следующим причинам: во-первых, отсутствием подведенной мощности в 10 МВт и более в одной точке (придется искусственно выращивать такой «алмаз»); во-вторых, необходимостью строить здание или группу зданий, достаточных для размещения ЦОД.

Но если вдруг удалось найти мощность, скажем, около 5 МВт (а это уже большое везение), с двумя резервируемыми вводами от разных подстанций в здание, которое имеет правильную прямоугольную форму с высотой потолков 5 м и общей площадью 3,5 тыс. кв. м, да еще и в нем нет перепадов высоты, стен и перегородок, а рядом есть около 500 кв. м прилегающей территории… Тогда, конечно, возможно достичь минимальной себестоимости за одну стойку, которых будет примерно 650.

Цифры здесь названы из расчета потребления 5 КВт на стойку, что является на сегодняшний день стандартом «де факто», так как увеличение потребления в стойке неотвратимо приведет к сложностям с отводом тепла, а как следствие – к серьезному увеличению себестоимости решения. Равно как и уменьшение потребления не принесет необходимой экономии, а лишь увеличит арендную составляющую и потребует освоения больших площадей, чем это на самом деле требуется (что тоже печально скажется на бюджете проекта).

Но не нужно забывать, что главное – это соответствие ЦОД поставленным задачам. В каждом отдельном случае необходимо искать баланс, опираясь на те вводные данные, которые мы имеем. Другими словами, придется искать компромисс между удаленностью от основных магистралей и наличием свободной электрической мощности, высотой потолка и площадью помещения, полным резервированием и бюджетом проекта.

Где строить?

Считается, что ЦОД должен размещаться в отдельно стоящем здании, как правило, без окон, оснащенном самыми современными системами видеонаблюдения и контроля доступа. К зданию должно быть подведено два независимых электрических ввода (от двух разных подстанций). Если ЦОД имеет несколько этажей, то перекрытия должны выдерживать высокие нагрузки (от 1000 кг на кв. м). Внутренняя часть должна быть разделена на герметичные отсеки с собственным микроклиматом (температурой 18–25 градусов Цельсия и влажностью 45–60%). Охлаждение серверного оборудования должно обеспечиваться с помощью прецизионных систем кондиционирования, а резервирование питания – как устройствами бесперебойного питания, так и дизель-генераторными установками, которые обычно находятся рядом со зданием и обеспечивают в случае аварии функционирование всех электрических систем ЦОД.

Особое внимание следует уделить системе автоматического пожаротушения, которая обязана, с одной стороны, исключать ложные срабатывания, а с другой – реагировать на малейшие признаки задымления или появления открытого пламени. Серьезный шаг вперед в области пожаробезопасности ЦОД – применение азотных систем пожаротушения и создания пожаробезопасной атмосферы.

Сетевая инфраструктура также должна предусматривать максимальное резервирование всех критически важных узлов.

Как экономить?

Можно начать экономить с качества питания в ЦОД и закончить экономией на отделочных материалах. Но если вы строите такой «бюджетный» ЦОД, это выглядит по крайней мере странно. Какой смысл инвестировать в рискованный проект и ставить под угрозу ядро своего бизнеса?! Одним словом, экономия требует очень взвешенного подхода.

Тем не менее есть несколько весьма затратных статей бюджета, которые оптимизировать не только можно, но и нужно.

1. Телекоммуникационные шкафы (стойки). Устанавливать в ЦОД шкафы, т. е. стойки, где каждая имеет боковые стенки плюс заднюю и переднюю дверь, не имеет никакого смысла по трем причинам:

• стоимость может отличаться на порядок;
• нагрузка на перекрытия выше в среднем на 25-30%;
• охлаждающая способность ниже (даже с учетом установки перфорированных дверей).

2. СКС. Опять-таки нет никакого смысла опутывать весь ЦОД оптическими патчкордами и приобретать самые дорогие и мощные коммутаторы, если вы не намерены устанавливать оборудование во все стойки разом. В среднем срок заполняемости коммерческого ЦОД – полтора-два года. При текущих темпах развития микроэлектроники это целая эпоха. Да и всю разводку так или иначе придется переделывать – либо не рассчитаете требуемого объема портов, либо в процессе эксплуатации линии связи будут повреждены.

Ни в коем случае не стройте «медный» кросс в одном месте – разоритесь на кабеле. Намного дешевле и грамотней ставить рядом с каждым рядом телекоммуникационную стойку и разводить от нее на каждую стойку по 1–2 патч-панели медью. Если необходимо будет подключить стойку, то пробросить оптический патч-корд до нужного ряда – минутное дело. При этом еще и не понадобятся серьезные инвестиции на начальном этапе; наконец, попутно будет обеспечена необходимая маштабируемость.

3. Питание. Да, не поверите, но в питании ЦОД самое важное – КПД. Тщательно выбирайте электрооборудование и системы бесперебойного питания! От 5 до 12% стоимости владения ЦОД можно сэкономить на минимизации потерь, таких как потери на преобразовании (2-8%) в ИБП (у старых поколений ИБП КПД ниже) и потери при сглаживании гармонических искажений фильтром гармоник (4–8%). Уменьшить потери можно за счет установки «компенсаторов реактивной мощности» и за счет сокращения длины силовой кабельной трассы.

Заключение

Какие же выводы можно сделать? Как выбрать из всего многообразия то решение, которое подходит именно вам? Это, безусловно, сложный и нетривиальный вопрос. Повторимся: в каждом конкретном случае необходимо тщательно взвешивать все «за» и «против», избегая бессмысленных компромиссов, – учитесь правильно оценивать собственные риски.

С одной стороны, при сокращении издержек одним из вариантов экономии может стать аутсорсинг ИТ-услуг. В этом случае оптимально использование коммерческих ЦОД, с получением полного комплекса телекоммуникационных сервисов при отсутствии инвестиций в строительство. Однако для больших профильных компаний и банковского сектора с наступлением периода нестабильности и замораживания строительства коммерческих ЦОД остро встает вопрос о строительстве собственного дата-центра…

С другой стороны, кризисные явления, которые мы наблюдаем в течение последнего года, печально сказались на экономике в целом, но в то же время служат акселератором для развития более успешных компаний. Арендная плата за помещения серьезно уменьшилась. Спад ажиотажа вокруг электрических мощностей освободил место более эффективным потребителям. Производители оборудования готовы на беспрецедентные скидки, а рабочая сила упала в цене более чем на треть.

Одним словом, если вы планировали строить свой собственный дата-центр, то сейчас, на наш взгляд, самое время.