«Секреты» ЦОД Google

--> Дата: Апр 13, 2009 110

На апрельской конференции Google Data Center Efficiency Summit («Эффективность дата-центров Google») в Маунтин-Вью (шт. Калифорния) корпорация Google раскрыла несколько «секретов», касающихся ее центров обработки данных (ЦОД). Как известно, «сердце» дата-центра — его ИТ-оборудование. Стоит сразу отметить, что Google использует не стандартные, а фирменные серверы, архитектура которых разработана еще в 2005 г. (сейчас это уже шестое или седьмое поколение подобных компьютеров). Корпус сервера для размещения в стойке имеет высоту 2U (3,5 дюйма). На модернизированной системной плате производства тайваньской компании Gigabyte размещаются два процессора, два накопителя на жестких дисках и восемь разъемов для установки модулей памяти. Google использует процессоры х86 и не делает преференций для какого-либо производителя микросхем, устанавливая на платах кристаллы как от Intel, так и от AMD. Основная «изюминка» сервера Google – его блок питания, который преобразует входное напряжение переменного тока (110 В) только в одно выходное напряжение питания постоянного тока – 12 В. Требуемые для некоторых компьютерных компонентов значения 5 В и 3,3 В преобразуются из 12 В постоянного тока прямо на системной плате. Несмотря на то что модернизация системной платы увеличивает ее стоимость примерно на 1-2 долл., итоговое увеличение энергоэффективности с лихвой покрывает эти издержки. Дело в том, что в системном блоке каждого сервера размещен собственный мини-ИБП с аккумулятором на 12 В. По заверениям сотрудников корпорации, такая конструкция повышает эффективность с 92–95% в случае обычных ИБП до 99,9%. Google получила патент на используемый источник питания (снабженный аккумулятором), однако пока не удосужилась дать на него лицензию другим производителям.

Серверы Google устанавливаются в стойки, которые монтируются в стандартные 40-футовые морские контейнеры 1AAA (40х8х9,6 футов) с максимальной загрузкой 30,48 т. Эти контейнеры, в свою очередь, устанавливаются в специальном ангаре – серверной ферме. На представленной в презентации ферме сейчас находится 45 контейнеров. В одном таком контейнере может разместиться до 1160 серверов при потребляемой мощности 250 КВт.ч. Обеспечивается удельная мощность 780 Вт на квадратный фут, при этом рабочая температура в «холодном» проходе может достигать 27,2°С. Для охлаждения оборудования в контейнерах применяется вода и вентиляторы с переменной скоростью вращения.

Патент на транспортируемый дата-центр Google получила в октябре 2008 г., но прототип контейнерного ЦОД соорудили в гараже в Маунтин-Вью еще в 2005 г. Как известно, контейнерные дата-центры в течение нескольких лет с успехом используют американские военные. Среди коммерческих поставщиков подобных решений можно отметить Rackable ICE Cube, HP POD (Portable Optimized Container), Verari Forest Container, IBM Portable Modular Data Center (PMDC), Sun MD S20/D20 (Blackbox).

Морской дата-центр

Недавно Google получила патент на дата-центр морского базирования, который использует энергию океана для получения электричества и охлаждения. При этом не нужно платить налог на собственность и недвижимость. Такой ЦОД размещается в контейнерах (до 12 штук) на судне, находящемся в нейтральных водах, примерно в 3–7 морских милях от берега. При использовании семи генерирующих модулей WEC (Wave Energy Converter) компании Pelamis Wave Power мощностью 5 МВт, на которые ориентируется Google, общую энергоемкость такого дата-центра можно довести до 40 МВт. Патентная документация также описывает охлаждающую систему на основе насосов, приводимых в движение энергией волн, и теплообменников, преобразующих морскую воду в пресную.

Google уделяет очень большое внимание своим дата-центрам, о которых в прессу просачиваются лишь обрывочные данные. Так, по данным еженедельника Economist, количество физических серверов Google за период с июня 2005 г. по октябрь 2008 г. выросло со 100 тыс. до 2 млн. Газета New York Times оценивает возможности корпорации несколько скромнее и полагает, что в 2008 г. общее число серверов Google составляло более 500 тыс., причем они размещаются на 25 серверных фермах (дата-центрах) по всему миру. Немало сил тратит корпорация и на расширение своей сети дата-центров в Европе. Один из крупнейших ЦОД Google за пределами США расположен в Бельгии; кроме того, в прошлом году корпорация приобрела под строительство фермы участок в Австрии.

Но существующая экономическая ситуация вносит свои коррективы. В последнем квартале 2008 г. корпорация потратила на инфраструктуру ИТ лишь 368 млн долл., пересмотрев свой амбициозный проект строительства серверной фермы стоимостью в 600 млн долл. Это лишь немногим превышает показатели начала 2006 г., в то время как еще в первом квартале 2008 г. размер инвестиций составлял 842 млн долл. С сокращением затрат связано и решение Google отложить строительство ЦОД в Оклахоме. Предполагается, что существующих мощностей дата-центра будет достаточно для текущих потребностей. Кроме того, корпорация снизила темпы строительства серверной фермы в шт. Северная Каролина, где построена лишь первая очередь ЦОД. Завершен также первый этап строительства ЦОД Google в Южной Каролине, продолжаются работы в Айове.

Если говорить о техническом уровне, то уже сейчас энергоэффективность ЦОД Google соответствует показателям, которых EPA (Environmental Protection Agency) планирует только на 2011 г. Для ее оценки корпорация использует коэффициент PUE (Power Usage Effectiveness), предложенный консорциумом Green Grid. Как известно, PUE рассчитывается как отношение количества энергии, поступающей в дата-центр, к количеству энергии, расходуемой компьютерной инфраструктурой внутри него. Так, PUE равный 1,5, означает, что вспомогательные услуги (освещение, охлаждение и т.д.) расходуют половину мощности, потребляемую ИТ-оборудованием. Напомним, что для многих работающих ныне ЦОД PUE составляет от 2 до 2,5. А вот у одного из дата-центров Google значение этого показателя довольно невелико, и к тому же корпорация постоянно работает над его снижением. Так, в III квартале прошлого года PUE был на уровне 1,21, а уже в IV квартале упал до 1,20. На середину марта 2009 г. значение PUE для данного дата-центра не превысило 1,19. По словам представителей Google, на «старых» фермах значения PUE пока не так впечатляют, но в новых ЦОД лучшим результатом уже считается PUE, равный 1,12. В одном из первых дата-центров (возможно, Data Center A в Орегоне), площадь которого составляет 75 тыс. кв. футов, резерв по мощности достигает 10 МВт, коэффициент PUE равен 1,25, а плотность мощности составляет 133 Вт на квадратный фут.