Intel: высокопроизводительные вычисления для анализа «больших данных»

В рамках Supercomputing Conference корпорация Intel представила инновации в области высокопроизводительных вычислений и объявила о выпуске программных инструментов, которые помогут компаниям и исследователям в анализе неструктурированных данных.

Компания сотрудничает с партнерами для использования преимуществ технологий, доступных сегодня, и создания нового поколения высокоинтегрированных решений с более простым программированием и более высоким уровнем энергоэффективности. В рамках этого сотрудничества Intel также планирует предложить адаптированные продукты на основе высокопроизводительных вычислений, рассчитанные на потребности различных заказчиков.

Новое поколение продукции Intel Xeon Phi (кодовое наименование Knights Landing), доступной в виде хост-процессоров, будет использоваться в стандартных стоечных архитектурах и позволит напрямую запускать приложения, а не переносить данные в сопроцессоры. Это поможет значительно снизить сложность программирования и отказаться от необходимости «разгрузки» данных, уменьшая задержки, вызываемые подсистемой памяти, сетевыми и PCIe-соединениями.

Новая продукция также позволит разработчикам оптимизировать производительность готовых решений. В отличие от других эксафлопсных концепций, требующих создания специального кода для разных машин, новые процессоры Xeon Phi предлагают простоту и удобство использования стандартных моделей программирования.

Кроме того, Intel и Fujitsu недавно объявили о новой инициативе, которая в будущем, возможно, позволит заменить электрические провода в компьютерах волоконно-оптическими каналами, по которым трафик Ethernet или PCI Express будет передаваться с помощью соединения Intel Silicon Photonics. Это позволит устанавливать сопроцессоры Xeon Phi в специальный блок расширения, отделенный от хост-процессоров Xeon. При этом они будут работать так, как будто они установлены на системной плате. Это даст возможность увеличить плотность размещения сопроцессоров и повысить емкость ресурсов компьютера без негативного влияния на работу хост-сервера.

Приложения, обрабатывающие большие объемы данных, включая системы прогноза погоды и анализа сейсмической активности, давно стали частью высокопроизводительных вычислений, а более высокая производительность современных систем и внедрение инструментов для параллельных вычислений позволили создать более крупные и сложные решения для моделирования. Однако на долю неструктурированных данных приходятся 80% этой информации, и темпы ее роста в 15 раз превышают скорость увеличения объема других данных, поэтому отрасль вынуждена анализировать эти данные, чтобы получить полезные сведения.

Для решения этой задачи Intel выпустила программный комплекс Intel HPC Distribution for Apache Hadoop (Intel HPC Distribution), который включает ПО Intel Distribution for Apache Hadoop и Intel Enterprise Edition of Lustre. Новая разработка представляет собой решение корпоративного уровня для хранения и обработки больших объемов данных. Этот подход позволяет запускать приложения MapReduce без изменений непосредственно на системах Lustre, что повышает скорость работы, увеличивает возможности масштабирования и упрощает процессы управления.

Intel Cloud Edition for Lustre – это масштабируемая файловая система массового параллелизма, доступная на сайте Amazon Web Services Marketplace; она позволяет оплачивать услуги по мере их потребления. ПО оптимально для динамических приложений, включая программы для оперативного моделирования и макетирования. В случае возникновения срочной или незапланированной рабочей задачи, превышающей возможности системы пользователя, это ПО можно использовать для оперативного создания необходимой инфраструктуры до переноса рабочей задачи в облачные среды.

Intel и партнеры компании по экосистеме выводят на рынок готовые решения для более экономически эффективной и простой обработки и хранения больших объемов данных. В рамках конференции SC’13 ряд компаний объявили о выпуске предварительно сконфигурированных аппаратно-программных решений на базе Intel Enterprise Edition for Lustre.