grid для lhc и участие ПИЯФ Ю.Ф.Рябов
DESCRIPTION
GRID для LHC и участие ПИЯФ Ю.Ф.Рябов. Содержание сообщения. Проект LCG и модель обработки данных с LHC; Российский сегмент проекта ; Кластер ПИЯФ и коннективность с внешним миром ; О использовании Грид-структур для LHC;. LHC Computing Grid Project (LCG). - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/1.jpg)
GRID для LHCи
участие ПИЯФ
Ю.Ф.Рябов
.
![Page 2: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/2.jpg)
25 декабря 2008 г.
Содержание сообщения
• Проект LCG и модель обработки данных с LHC;
• Российский сегмент проекта;
• Кластер ПИЯФ и коннективность с внешним миром;
• О использовании Грид-структур для LHC;
![Page 3: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/3.jpg)
25 декабря 2008 г.
LHC Computing Grid Project (LCG)
• Основной задачей проекта LCG является создание глобальной инфраструктуры региональных центров для обработки, хранения и анализа данных физических экспериментов LHC.
• Новейшие технологии GRID являются основой построения этой инфраструктуры.
Проект LCG осуществляется в две фазы.
• 1 фаза (2002-2005 гг.) - создание прототипа и разработка проекта системы (LCG TDR).
• 2 фаза (2005-2008 гг.) - создание инфраструктуры LCG, готовой к обработке, хранению и анализу данных на момент начала работы ускорителя.
![Page 4: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/4.jpg)
25 декабря 2008 г.
Online system
Tier 0
Tier 1
Tier 2
Tier 3
Offline farm
Церн вычисл.центр
. .
Tier2 Center Tier2 Center Tier2 Center
InstituteB InstituteA
. . .workstation
Regional Center
Regional Center
Regional Center
recorded data
Модель обработки данных
![Page 5: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/5.jpg)
25 декабря 2008 г.
RAL
IN2P3
BNL
FZK
CNAF
PIC ICEPP
FNALLHC Computing Model (simplified!!)• Tier-0 – the accelerator centre
Filter raw data Reconstruction summary data
(ESD) Record raw data and ESD Distribute raw and ESD to Tier-1
• Tier-1 – Permanent storage and
management of raw, ESD, calibration data and databases grid-enabled data service
Data-heavy analysis Re-processing raw ESD managed mass storage
Tier-2 –
Well-managed disk storage grid-enabled
Simulation,End-user analysis –
batch and interactive(High performance
parallel analysis )
USCNIKHEFKrakow
CIEMAT
Rome
Taipei
TRIUMF
CSCS
Legnaro
UB
IFCA
IC
MSU
Prague
Budapest
Cambridge
Tier-1small
centres
Tier-2
desktopsportables
![Page 6: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/6.jpg)
25 декабря 2008 г.
Архитектура ГРИД БАК
Tier-2s and Tier-1s are inter-connected by the general
purpose research networks
Any Tier-2 mayaccess data at
any Tier-1
Tier-2 IN2P3
TRIUMF
ASCC
FNAL
BNL
Nordic
CNAF
SARAPIC
RAL
GridKa
Tier-2
Tier-2
Tier-2
Tier-2
Tier-2
Tier-2
Tier-2Tier-2
Tier-2
![Page 7: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/7.jpg)
25 декабря 2008 г.
Всемирный компьютинг для БАК
• The EGEE and OSG projects are the basis of the Worldwide LHC Computing Grid Project( WLCG)
Inter-operation between Grids is working!
![Page 8: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/8.jpg)
25 декабря 2008 г.
Топология сети для обработки данных с БАК
![Page 9: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/9.jpg)
Распределение процессорного времени между ВО в EGEE за 2008 г.
![Page 10: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/10.jpg)
25 декабря 2008 г.
Участие России в проекте EGEE/LCG
• В целях обеспечения полномасштабного участия России в этом проекте был образован консорциум РДИГ (Российский ГРИД для интенсивных операций с данными – Russian Data Intensive GRID, RDIG) для эффективного выполнения работ по проекту и развитию в России инфраструктуры EGEE, с вовлечением на следующих этапах проекта других организаций из различных областей науки, образования и промышленности.
• Консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации “Россия” (“Russia).
• Главной задачей РДИГ является участие в обработке данных с Большого Андронного Коллайдера(БАК)
![Page 11: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/11.jpg)
25 декабря 2008 г.
Участники РДИГ
• RDIG Resource Centres:− ITEP− JINR-LCG2− Kharkov-KIPT− RRC-KI− RU-Moscow-KIAM− RU-Phys-SPbSU− RU-Protvino-IHEP− RU-SPbSU− Ru-Troitsk-INR− ru-IMPB-LCG2− ru-Moscow-FIAN− ru-Moscow-GCRAS− ru-Moscow-MEPHI− ru-PNPI-LCG2− ru-Moscow-SINP
![Page 12: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/12.jpg)
25 декабря 2008 г.
Российский региональный центр
LCG Tier1/Tier2 cloud
CERN
…
1GbpsFZK
Внутри региона:
• Бэкбон – 1Gbps
• До лабораторий – 100–1000 Mbps
GRID
PNPI
ITEP
IHEP
RRC KI
SPbSU
JINR
SINP MSU
RDIG
Tier2cluster
Collaborative centers
![Page 13: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/13.jpg)
25 декабря 2008 г.
Распределение процессорного времени между ВО в Российском сегменте за 2008 г.
![Page 14: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/14.jpg)
25 декабря 2008 г.
Распределение процессорного времени между Российскими участниками за 2008 г.
ПИЯФ: 14,3% (2-е место)
![Page 15: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/15.jpg)
25 декабря 2008 г.
Задачи кластера ПИЯФ
• Участие в инфраструктуре RDIG в качестве элемента российского центра Tier 2 для обработки данных БАК;
• Обеспечение работы задач и хранения данных четырёх экспериментов БАК через ВО atlas, alice, cms и lhcb;
• Поддержка локальных пользователей ПИЯФ через региональную ВО nw_ru.
![Page 16: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/16.jpg)
25 декабря 2008 г.
Структура кластера ПИЯФ
RunNet
Управляющийузел СХД
Управляющийузел кластера
СервисныеУзлы Grid
СХД
Счётные узлы
Площадка ПИЯФ
8 Gbps
2 Gbps
2 Gbps
1 Gbps1 Gbps
1 Gbps
1 Gbps
Grid
![Page 17: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/17.jpg)
25 декабря 2008 г.
Аппаратное обеспечение
• Счётные узлы с многоядерными процессорами Intel P4;
• 1 или 2 Gb памяти на ядро;
• Локальные жёсткие диски на 200 Gb;
• Сеть на технологии Gigabit Ethernet;
• СХД (RAID 6) через 4 Gbps FO SCSI;
На начало 2009 года кластер будет состоять
из 284-х ядер и 120 Tbyte памяти
![Page 18: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/18.jpg)
25 декабря 2008 г.
Программное обеспечение
• ОС Scientific Linux 4 (аналог RHEL 4);
• Система управления пакетными заданиями Torque;
• Grid ПО gLite 3.1
• SRM-интерфейс к СХД
• В текущий момент установлена 32-битная версия ОС, хотя многие узлы поддерживают 64-битный режим.
![Page 19: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/19.jpg)
25 декабря 2008 г.
Распределение процессорного времени между ВО в ПИЯФ за 2008 г.
Региональная ВО nw_ru: 16,5%
![Page 20: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/20.jpg)
25 декабря 2008 г.
Распределение процессорного времени между ВО в ПИЯФ за 2008 г.
Региональная ВО nw_ru: 16,5%
![Page 21: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/21.jpg)
25 декабря 2008 г.
Количество обработанных заданий по месяцам в ПИЯФ за 2008 г.
![Page 22: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/22.jpg)
25 декабря 2008 г.
Распределение процессорного времени в ПИЯФ за 2008 г.
![Page 23: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/23.jpg)
25 декабря 2008 г.
Коннективность ПИЯФ с внешним миром
Catalyst WS-C3750G
Схема внешних каналов ПИЯФ
Cisco 2651XM
1000 Mbps
Cisco Catalyst 2970G
Интернет
ОАО “СЗТ”
ЛВС ПИЯФ
Опорная сеть СПбНЦ
Интернет
RUNNET
1000 MBps
100-1000 MBps
1000 Mbps
Вычислительный кластер
100 Mbps
Catalyst WS-C2950G (СПб)
ИК
100 Mbps
![Page 24: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/24.jpg)
Статистика трафика ПИЯФ РАН за 2008 г
1 2 3 4 5 6 7 8 9 10 11 12
Вх. public трафик (GB)
Вх. GRID трафик (GB)
Исход. GRID трафик (Gb)
0
1000
2000
3000
4000
5000
6000
Вх. public трафик (GB)
Вх. GRID трафик (GB)
Исход. GRID трафик (Gb)
![Page 25: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/25.jpg)
25 декабря 2008 г.
Ресурсы России для БАК
Институт
2008 наличие — 06.10.08
2008 закупки, min поставки по
контракту БАК
2008 закупки из собств.средств
Начало 2009
DISC/CPU
CPU (KSI2K)DISC
(Tbyte) CPU DISC CPU DISC CPU DISC
РНЦ КИ 1000 218 1000 450 2000 668 0,334
ОИЯИ 1500 83 380 320 114 40 1994 443 0,2221665
ИТЭФ 232 55 304 100 536 155 0,2891791
ИФВЭ 200 40 255 100 455 140 0,30769231
ПИЯФ 250 50 190 70 440 120 0,27272727
НИИЯФ 315 61 114 100 429 161 0,37529138
МИФИ 230 39 38 20 268 59 0,22014925
ИЯИ 154 0 114 40 268 40 0,14925373
СпбГУ 40 5 76 20 116 25 0,21551724
ФИАН 19 8 38 20 57 28 0,49122807
ИЯФ (пока вне WLCG) 36 8 54 12 90 20 0,22222222
![Page 26: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/26.jpg)
25 декабря 2008 г.
Финансовое обеспечение работ по ГРИД в ПИЯФ
Оплата телекоммуникационных услуг осуществляется по проекту
Программа Совета РАН «Высокопроизводительные вычисления, научные телекоммуникации и информационная инфраструктура»
Развитие аппаратных средств для БАК осуществлялось за счет:
• Целевых средств Минобрнауки РФ
(в 2007 году через КИАЭ, в 2008 через ОИЯИ)
![Page 27: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/27.jpg)
25 декабря 2008 г.
Текущие и базовые задачи
-Запуск полученной техники в эксплуатацию на новых площадях;
-Поднятие канала связи по Санкт-Петербург- внешний мир до 1Gbps;
-Распределение ресурсов кластера между экспериментами (с участием руководителей экспериментов в ПИЯФ и координаторов прикладного ПО экспериментов БАК в России);
-Координация работ с Российскими участниками
экспериментов по выбору каналов обработки данных
и совместному использованию Российских Грид-ресурсов
( руководители экспериментов БАК в ПИЯФ).
![Page 28: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/28.jpg)
25 декабря 2008 г.
• В России выдан 201 пользовательский сертификат
• В ПИЯФ сертификаты РДИГ имеют 14 человек.
(ЛИВС- 6 , ОФВЭ-5, ОНИ и ОМРБ-3)
имеется несколько(?) сартификатов,полученных сотрудниками ПИЯФ в ЦЕРНе
![Page 29: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/29.jpg)
25 декабря 2008 г.
ОБУЧЕНИЕ технологии ГРИД в ПИЯФ Вводные лекции о технологии Практические занятия:
Запуск задач в ГРИД; Управление данными в ГРИД; Информационное обеспечение ГРИД
Учебные пособия
Введение в ГРИД (http://egee.pnpi.nw.ru) Как стать пользователем ГРИД(http://egee.pnpi.nw.ru)
Для обучения в ЛИВС имеется сетевой компьютерный класс (6 рабочих мест) Для контактов по обучению-С.Олешко([email protected])
ДОБРО ПОЖАЛОВАТЬ!
![Page 30: GRID для LHC и участие ПИЯФ Ю.Ф.Рябов](https://reader036.vdocuments.mx/reader036/viewer/2022062304/5681449a550346895db14397/html5/thumbnails/30.jpg)
25 декабря 2008 г.
•
Уважаемые коллеги!
В пятницу 26 декабря в 10.00, корпус ИК, к.324 (3-й этаж, конференц -зал)проводятся занятия«Pабота в LHC Computing Grid c gLite 3.1»
ЗАНЯТИЕ