Виртуальный суперкомпьютер:

HPC как услуга

Massive Solutions, Ltd., 2011

HPC не самоцель, а инструмент

Некоторые хотят летать и становятся летчиками

Другие хотят летать и становятся пассажирами

Большинство пользователей кластера хотят просто поставить задачу и получить результат

Проблематика подробнее

● Высокая стоимость вычислительных мощностей: стоимость вычислительного кластера может составлять десятки миллионов долларов. Держать собственную установку могут позволить себе единицы от желающих.

● Уникальность каждого кластера - требует высокой квалификации от пользователя - он должен также быть администратором и программистом и знать особенности конкретного кластера

● Большинству пользователей удобнее отдать данные и получить результат, а не влезать в технические детали

● Много типовых задач, для которых могут быть применены готовые пакеты

Проблематика подробнее[продолжение]

● Длинный старт до начала эксплуатации: сложности процедур пуско-наладочных работ и настройки системного ПО затягивают начало эксплуатации на 3-6 месяцев с момента поставки оборудования

● Сложность управления и эксплуатации требует уникальной квалификации от обслуживающего персонала

● Отсутствие или высокая стоимость прикладного ПО: стоимость коммерческого ПО может в несколько раз превышать стоимость оборудования

Проблематика подробнее[окончание]

● Невысокий итоговый КПД использования: низкая отказоустойчивость, отсутствие специализированных средств мониторинга и отладки параллельных программ приводят к многократному перерасходу вычислительных мощностей, хотя внешне кластер может выглядеть эффективно использующимся

● Отсутствие учета потребленных ресурсов: не работает учёт и контроль использования, нет адекватных оценок качества использования

Специфика кластера (наиболее показательные факторы)

● Вид процессора (Intel x86 / AMD / MIPS / etc.) => оптимизация в компиляторе, особенности кодирования

● Количество ядер на процессор, процессоров на узел. SMP или NUMA.

● Объём RAM на узел, на процессор

● Тип и организация сети межузлового обмена, оптимальные шаблоны использования сети

● Средства межузловой синхронизации для задачи. (Десятки версий одной только MPI)

● Организация файлового хранилища. Специфика работы распределённой сетевой FS, неэффективность стандартных шаблонов работы

● и прочая, и прочая...

Решение

Интегрированная услуга по доступу к вычислительным ресурсам:

● Подготовка профессионалами оптимизированного решения типовых задач под конкретные установки (кластера)

● Организация исполнения с передачей и хранения данных пользователя

● Решение поставщиком услуг хозяйственных и деловых вопросов взаимодействия с хозяевами оборудования, инфраструктуры, поставщиками ПО => пользователь получает только конечную цену решения и не вдаётся в детали организации

VSC — виртуальный суперкомпьютер

IaaS — вычислительный ресурс по запросу

SaaS — вычислительный пакет по запросу

PaaS — готовый к использованию персональный кластер по запросу

Ориентация на потребителя высокопроизводительных вычислений:

все кластеры одинаковы

простота использования

нет затрат на администрирование

pay for use

централизованный учет использования всех ресурсов и ПО

аренда вычислительных ресурсов

аренда коммерческого ПО

доступность кластера с любой аппаратной конфигурацией

Новые потребители HPC из промышленного сектора

VSC

Clustrx — фундамент VSC

Свободное программное обеспечение

Для любых кластеровот персональных кластеров до суперкомпьютеров петафлопсного

уровня производительности

Полная отказоустойчивостьмодульность, дублирование и самоконтроль на всех уровнях

Современный менеджер ресурсовглубоко интегрированный в Clustrx Slurm, полная поддержка

гетерогенности — GPU, FPGA, неоднородные узлы

Встроенный мониторинг реального времениСистема аварийного отключения оборудования, реакция на проблемы

с оборудованием, совместимость с внешними аналитическими системами

Все управление кластером из одной консолиединая конфигурация всего комплекса и всех подсистем позволяет

единообразно управлять всем комплексом

Апробирован на кластере Ломоносов в МГУ

Быстрый старт пользования

Легкий доступ к ресурсам

Экономия затрат

Безопасность данных

Надежность вычислений

Пользователи

Владельцы кластеров

Эффективное использование ресурсов

Привлечение пользователей

Увеличение инвестиционной

привлекательности HPC

Разработчики прикладного ПО

БезопасностьБезопасность

Ориентация напользователя

Ориентация напользователя

УчетУчет

УправлениеУправление

Контроль

Virtual Super Computer

Рост рынка сбыта

Обратная связь с пользователем

Маркетинговая площадка

Valentin NechayevРуководитель отдела разработкиvalentin.nechayev@massivesolutions.co.uk

Massive Solutions

• • • • • . 2ул Срибнокильская а. 90-91оф

02095, , КиевУкраина+380 44 5748665+380 98 4360771

info@massivesolutions.co.uk

http://www.massivesolutions.co.uk

••

Спасибо за внимание