КОМПЬЮТЕРЫ 

Суперкомпьютер Cray XT5h

Лаборатория Параллельных информационных технологий НИВЦ МГУ
16 июня 2008


Общие сведения

Cray XT5h является одним из первых суперкомпьютеров на основе гибридной архитектуры. Он объединяет в единую систему скалярные и векторные процессоры, а также процессоры на основе программируемых логических интегральных схем (ПЛИС). Создание такого суперкомпьютера компания Cray обуславливает тем, что скалярные процессоры хорошо подходят для вычислений, не требующих большого числа обращений к памяти, а ПЛИС и векторные элементы предназначены для использования в тех задачах, для которых характерны высокая загруженность памяти и большие объемы обрабатываемых данных. Поэтому их совместное применение может позволить эффективнее решать современные сложные вычислительные задачи.

В качестве скалярных процессоров в системе Cray XT5h используются двух- и четырехъядерные процессоры AMD Opteron; векторные вычисления и вычисления на основе ПЛИС производятся на блэйд-серверах Cray X2 и Cray XR1 соответственно. Все вычислительные элементы объединены общей сетью SeaStar2+.

Cray X2

Векторный блэйд-сервер Cray X2 состоит из двух независимых вычислительных узлов, каждый из которых в свою очередь состоит из 4 векторных процессоров, работающих над общей памятью размером от 32 до 64 ГБайт. В пределах узла поддерживается однородный доступ к памяти, а на уровне одного блэйд-сервера обеспечивается когерентность кэшей. Производительность каждого вычислительного узла достигает 100 GFlop/s и более на 64-разрядной архитектуре. Система масштабируется до 32000 процессоров, при этом их работа обеспечивается в едином адресном пространстве. Между собой различные серверы Cray X2 объединены высокоскоростной сетью с топологией "толстого дерева".

Наличие специализированной среды программирования позволяет писать программы для векторных процессоров на стандартных языках Си и Фортран, которые затем будут скомпилированы в соответствующий векторным вычислениям код.

Данные по процессору
  • Одноядерный 64-разрядный векторный процессор Cray XT2 с частотой 1.6 ГГц, каждые 4 процессора объединяются в вычислительный узел
  • 8 векторных каналов
  • кэш L2 - 512 Кбайт, кэш L3 - 8 Мбайт
Число процессоров
  • 128 процессоров в стойке (максимально), 32768 процессоров в системе (максимально)
  • Изначально предоставляется 1024 процессора, дальнейшая масштабируемость по требованию
Пиковая производительность 25.6 GFlop/s на каждом процессоре
Глобальная адресация
  • Внутри одного узла для всех процессоров поддерживается однородный доступ к общей локальной памяти на основе SMP-модели
  • Внутри всей системы между различными вычислительными узлами поддерживается неоднородный доступ к памяти
  • Обеспечивается глобальная когерентность кэшей
Основная память 32, 64 или 128 (планируется) Гбайт DRAM на узел, 16 Тбайт на систему (при 1024 процессорах)
Скорость доступа к памяти 28.5 Гбайт/сек для каждого процессора
Коммуникации Используется топология "толстого дерева", скорость передачи данных от одного узла к другому - 15 Гбайт/сек
Системные программные средства
  • ОС Linux на всех узлах
  • Планировщик ALPS, поддерживающий такие системы как PBSPro и LSF
  • Программа для системного администрирования Mazama
  • Параллельная файловая система Lustre, работающая на встроенном RAID-хранилище, напрямую подключенном к общей системе Cray XT5h
  • Система детального учета процессов, проектов и задач
Программное обеспечение
  • Компиляторы С/С++ и Fortran
  • gcc
  • Unified Parallel C (UPC)
  • Co-Array Fortran (CAF)
  • Поддержка OpenMP внутри узла Cray X2
  • Инструменты анализа производительности Cray PAT и Cray Apprentice2
  • MPI на основе MPICH2
  • shmem
  • отладчик TotalView
  • gdb для однопроцессорных приложений
  • Различные научные библиотеки
Физические характеристики
  • 2045 мм * 1080 мм * 1607 мм (В*Ш*Г)
  • Максимальный вес одной стойки - 1134 кг
  • Энергопотребление 45 кВт на стойку
  • Уровень шума - 75 dba на высоте 1 метр
Техническая информация по Cray X2

Cray XR1

Реконфигурируемый блэйд-сервер Cray XR1 состоит из двух узлов, в каждый из которых входит процессор AMD Opteron, связанный с помощью высокоскоростной шины HyperTransport с двумя ПЛИС-процессорами Xilinx Virtex-4. Масштабируемость системы позволяет объединять до 30000 ПЛИС-процессоров в одной системе. Для работы с ПЛИС-процессорами предлагается набор функций API, которые могут быть вызваны пользователем при написании исходного кода программы. Изменение архитектуры ПЛИС-процессоров осуществляется программно с помощью прикладных пакетов компаний Celoxica, Synplicity, Mitronics и др., при этом различные ПЛИС-процессоры могут быть настроены для решения разных задач.

Модель ПЛИС Xilinx Virtex-4 LX200
Количество логических ячеек на ПЛИС 200448
Сокет Socket 940
Потребляемая мощность 12 кВт на стойку
Версия интерфейса HT HyperTransport 1.0
Скорость обмена с ПЛИС по HT 400 МГц * 16 бит или 3.2 Гбайт/сек
Память процессора Opteron 2-8 Гбайт, 128-бит DDR 400, 6.4 Гбайт/сек
Объем памяти RLDRAM на ПЛИС 256 Мбайт
Пропускная способность шины HT, на одно соединение 400 МГц * 16 бит или 3.2 Гбайт/сек
Программное обеспечение Набор API, совместимых с различными инструментами для программирования архитектуры ПЛИС
Техническая информация по Cray XR1

Система Cray XT5h позволяет варьировать число используемых серверов с разной архитектурой, поэтому пользователь может конструировать наиболее подходящую систему с учетом собственных требований.

Программное обеспечение

Суперкомпьютер Cray XT5h поддерживает языки, работающие с моделью PGAS (Параллельное глобальное адресное пространство), - Co-Array Fortran (CAF) и Unified Parallel C (UPC). Это позволяет программистам при распределении данных и проводимых вычислений руководствоваться моделью программирования ОКМД (один поток команд, множество потоков данных). В системах с общим адресным пространством эти языки могут использоваться в качестве альтернативы основанным на передаче сообщений MPI и SHMEM.

В состав суперкомпьютера Cray XT5h входит различное программное обеспечение, которое призвано помочь пользователю использовать ресурсы суперкомпьютера более эффективно - компиляторы для векторных процессоров, различные прикладные библиотеки, отладчики и инструменты анализа производительности.

Cray XT5h работает на ОС Linux и обеспечивает единую точку доступа ко всем ресурсам и блэйд-серверам, а также поддерживает распределенную файловую систему и коммуникацию на основе сокетов. Для распределения заданий между скалярными, векторными и ПЛИС-процессорами существует планировщик Application Level Placement Scheduler (ALPS), который может быть интегрирован с системами обработки заданий, такими как PBSPro или LSF, что гарантирует доступ к ресурсам для различных запросов.

Файловая система Lustre, используемая в Cray XT5h, предоставляет приложениям и вычислительным ресурсам совместный доступ к общим файлам, при этом результат работы одного приложения может сразу поступать на вход другого приложения в рамках данного потока.

Дополнительная информация:


© Лаборатория Параллельных информационных технологий НИВЦ МГУ
Rambler's Top100