egee – технологический рывок к построению Грид...
DESCRIPTION
EGEE – технологический рывок к построению Грид инфраструктуры для науки. В.А. Ильин (НИИЯФ МГУ), В.В. Кореньков (ОИЯИ), А.А. Солдатов (РНЦ КИ) От имени РДИГ – консорциума «Российский грид для интенсивных операций с данными» НИВЦ МГУ, 5 апреля 2005. О проекте EGEE. - PowerPoint PPT PresentationTRANSCRIPT
НИВЦ МГУ 05.05.2005
Enabling Grids for E-sciencE
http://www.egee-rdig.ru
EGEE – технологический рывок к построению Грид инфраструктуры для науки
В.А. Ильин (НИИЯФ МГУ), В.В. Кореньков (ОИЯИ), А.А. Солдатов (РНЦ КИ)От имени РДИГ – консорциума «Российский грид для интенсивных операций с данными»
НИВЦ МГУ, 5 апреля 2005
2
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
О проекте EGEE
EGEE – Enabling Grids for E-sciencE
создание глобальной инфраструктуры типа грид для распределенных вычислений и интенсивных операций с данными в научных исследованиях
EGEE – проект EC FP6 с бюджетом 31 M€, апрель 2004 – апрель 2006 ( 2009),
70 партнеров (контракторов) из 30 стран (Европа, США, Россия),
более 30 ассоциированных партнеров
EGEE сейчас – более 1000 членов коллаборации, более 100 сайтов, ~10 прикладных областей,
в инфраструктуре более 10000 CPU и более 5 Pbyte данных
EGEE – создание грид инфраструктуры (SA1), Grid vs Networking (SA2),
разработка/развитие MW (JRA): Globus2+Condor+EDG+…,
создание грид-приложений (NA4), обучение (NA3),
dissemination (NA2)
50%
25%
25%
3
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
РДИГ
РДИГ – Российский грид для интенсивных операций с данными 8 институтов-участников инфраструктурного проекта EGEE:
ИФВЭ (В.Петухов), ИТЭФ (В.Гаврилов), РНЦ КИ (А.Солдатов),ИПМ РАН (Д.Корягин), ИМПБ РАН (В.Лахно), ПИЯФ РАН (Ю.Рябов),НИИЯФ МГУ (А.Крюков), ОИЯИ (В.Кореньков)
РДИГ – национальная федерация в проекте EGEE (всего 12 федераций): В.Ильин – член EGEE Project Management Board,
годовой бюджет 0.5 M€ + российское паритетное финансирование (ФЦНТП+Росатом)
РДИГ – создание российского сегмента глобальной инфраструктуры EGEE: участие в SA1 (все 8 институтов), SA2 (РНЦ КИ), NA2-NA4
РДИГ - полнофункциональная грид инфраструктура – российский грид для науки, также и как полигон для российских разработок в этой области.
РДИГ сейчас – более 100 членов коллаборации, (~) 10 сайтов,
3 (+3) прикладных областей,в инфраструктуре более 300 CPU и ~ 50 Tbyte данных
Грид – ОК
Ресурсы - проблема
4
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Мониторинг EGEE http://goc.grid-support.ac.uk/gridsite/gocmain/
5
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Operations (SA1, SA2) Management
6
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Структурные элементы
• CIC – Core Infrastructure Center– Обеспечение функционирования базовых грид сервисов 24х7 НИИЯФ МГУ– Мониторинг и реагирование на черезвычайные ситуации ОИЯИ– Ведение учета ресурсов и выполненных работ (accounting) НИИЯФ МГУ,
ОИЯИ– Управление и поддержка виртуальных организаций НИИЯФ МГУ– Поддержка безопасности инфраструктуры, CA РНЦ КИ– Сертификация (валидация) грид ПО ИПМ РАН
• ROC – Regional Operations Center– ИФВЭ, ИТЭФ (user support), ИПМБ РАН, ПИЯФ
• RC – Resource Center (8++)• VO – Virtual Organization
– физика высоких энергий: LHC – ATLAS, ALICE, CMS, LHCb; PHOTON, …
– биомед (ИМПБ РАН ++ EGEE)– российские VOs: e-Earth (геофизика - ИФЗ и ГЦ РАН), fusion
(РНЦ КИ ++), химфизика (Черноголовка, МГУ ++), МГУгрид (НИВЦ, НИИЯФ, ин-т Белозерского, ++), ++
7
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
РДИГ инфраструктура
ЦБГС (CIC) РОЦ (ROC)
Регистрация ВО
Регистрацияпользователей
Мониторинг
Группа дежурныхпо EGEE
Базовые сервисы
RB BDII MyP RLS ...
CA
Поддержкапользователей
Поддержка РЦ
Регистрацияновых РЦ
Ресурсные центры
IHEP ITEP JINR SINP ...
8
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
РДИГ SA1
Distributed ROC https://edms.cern.ch/file/479460/4/EGEE-SA1-ExecPlan-RU-v1.6.pdf
IHEP, plus some functions provided by ITEP (user support), JINR (operational monitoring), IMPB RAS and PNPI:
- serve 8 RCs, 5 new RCs to appear in next 3 months and next 5 to the end of 2005 - support RDIG SA1 managers http://mail.ihep.ru/Lists/roc_support/List.html - MW repository http://grid-cvs.ihep.su - user support http://ussup.itep.ru - GridIce server http://lcfgmon.itep.ru/gridice
Distributed CIC - preparing to start in April 2005 (TA) Now some core servces are 8x5 supported (preparing to 24x7): - RB, IS, RC, MyProxy, (regional) VO management (SINP MSU) - Grid monitoring and accounting (JINR) - CA (SINP MSU -> RRC KI), today about 300 (active) certificates, http://lcg20.sinp.msu.ru/CA/ - MW validation and documentation localization (KIAM RAS), http://www.gridclub.ru
9
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
CIC-on-duty
10
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
CIC-on-duty (прод.)
• Оперативная группа дежурных постоянно наблюдает за определенными параметрами.
• Наблюдение за списком рассылки LCG-ROLLOUT и реагирование на оперативные проблемы. Список должен проверяться каждый час.
• Окно браузера должно быть открыто на странице монитора GIIS (GIIS Monitor), и дежурные должны наблюдать за сайтами, выпадающими из информационной системы. В случае появления подобного сайта проверка файла истории (history of published values) может показать является ли проблема временной или имеет место нарушение работоспособности сайта. При необходимости связь с администраторами сайта. Эта проверка не реже, чем каждые 2 часа.
• Один раз в день проверка протокола монитора GIIS (GIIS Monitor reports) с точки зрения противоречий и отсутствующих сервисов.
http://egee.sinp.msu.ru
11
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
CIC-on-duty (прод.)
• Окно браузера должно быть открыто на странице монитора выполняемых заданий (Live Job Monitor). Обнаружение симптомов подозрительного поведения (группы незавершенных задач, большое количество задач в очереди на каком-то отдельном сайте и т.п.). Просматривать этот дисплей каждые 30 минут.
• Приблизительно в 10:30 просмотреть отчеты о работе сайтов (Site Test Reports) и сравнить их с задачами в системе слежения "Саванна" (Savannah tracking system). В случае получения результата, следует повторить тесты для определенных сайтов.
• Утром проверка монитора истечения сертификатов (Certificate Lifetime Monitor) и принятие мер, если видны сайты с сертификатом, истекающим в течение недели.
• Наблюдение за монитором задач Главного оперативного центра (GOC Job Monitor) (проверка несколько раз в день).
• Приняв дежурство от предыдущей оперативной группы, просмотр сборников часто задаваемых вопросов и руководства по устранению неисправностей (FAQs and Troubleshooting Guides).
• В начале дежурства ознакомление со списком задач, к которым должна быть применена процедура эскалации.
• Действия в начале и конце дежурства должны быть основаны на ежедневных отчетах, получаемых с сайта Главного оперативного центра (https://cic.in2p3.fr).
12
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
ЦБГС (CIC): ИПМ РАН
• Сертификация (валидация) грид ПО• Локализация документации на русский язык.
13
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Site
Site
Запуск заданий в грид
UI RB CE
SE
WN
DBII RLS FS FS
CE
SE
WN
FS FS
UI – Интерфейс пользователяRB – Брокер ресурсовBDII – Информационная база данных по ресурсамRLS – Сервер реплик файловCE – Компьютерный элементSE – Элемент хранения данныхWN – рабочая нодаFS – файловый серверMyProxy – сервер продление действия сертификата пользователя
14
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Site
Запуск заданий в грид
UI RB CE
SE
WN
DBII RLS FS FS
SiteCE
SE
WN
FS FS
UI – Интерфейс пользователяRB – Брокер ресурсовBDII – Информационная база данных по ресурсамRLS – Сервер реплик файловCE – Компьютерный элементSE – Элемент хранения данныхWN – рабочая нодаFS – файловый сервер
15
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Site
Запуск заданий в грид
UI RB CE
SE
WN
DBII RLS FS FS
SiteCE
SE
WN
FS FS
UI – Интерфейс пользователяRB – Брокер ресурсовBDII – Информационная база данных по ресурсамRLS – Сервер реплик файловCE – Компьютерный элементSE – Элемент хранения данныхWN – рабочая нодаFS – файловый сервер
16
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Site
Запуск заданий в грид
UI RB CE
SE
WN
DBII RLS FS FS
SiteCE
SE
WN
FS FS
UI – Интерфейс пользователяRB – Брокер ресурсовBDII – Информационная база данных по ресурсамRLS – Сервер реплик файловCE – Компьютерный элементSE – Элемент хранения данныхWN – рабочая нодаFS – файловый сервер
17
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Site
Запуск заданий в грид
UI RB CE
SE
WN
DBII RLS FS FS
SiteCE
SE
WN
FS FS
UI – Интерфейс пользователяRB – Брокер ресурсовBDII – Информационная база данных по ресурсамRLS – Сервер реплик файловCE – Компьютерный элементSE – Элемент хранения данныхWN – рабочая нодаFS – файловый сервер
18
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
SiteUI RB CE
SE
WN
BDII RLS FS FS
SiteCE
SE
WN
FS FS
UI – Интерфейс пользователяRB – Брокер ресурсовBDII – Информационная база данных по ресурсамRLS – Сервер реплик файловCE – Компьютерный элементSE – Элемент хранения данныхWN – рабочая нодаFS – файловый сервер
Запуск заданий в грид
19
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Country providing resourcesCountry anticipating joining
In LCG-2: 113 sites, 30 countries >10,000 cpu ~5 PB storage
Includes non-EGEE sites:• 9 countries• 18 sites
Computing Resources: Feb 2005
20
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Infrastructure metrics
Countries, sites, and
CPU available in EGEE
production service
Countries, sites, and
CPU available in EGEE
production service
Region coun-tries
sites cpu M6 (TA)
cpuM15 (TA)
cpuactual
CERN 0 1 900 1800 942
UK/Ireland 2 19 100 2200 2398
France 1 8 400 895 886
Italy 1 20 553 679 1777
South East 5 7 146 322 133
South West 2 12 250 250 498
Central Europe 5 8 385 730 373
Northern Europe 2 4 200 2000 427
Germany/Switzerland 2 10 100 400 1207
Russia 1 6 50 152 238
EGEE-total 21 95 3084 9428 8879
USA 1 3 - - 458
Canada 1 6 - - 316
Asia-Pacific 6 8 - - 394
Hewlett-Packard 1 1 - - 100
Total other 9 18 - - 1268
Grand Total 30 113 - - 10147
EGEE partner regions
Other collaborating sites
21
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Service Usage
• VOs and users on the production service– Active HEP experiments:
4 LHC, D0, CDF, Zeus, Babar
– Active other VO: Biomed, ESR (Earth Sciences), Compchem, Magic
(Astronomy), EGEODE (Geo-Physics)
– 6 disciplines– Registered users in these VO: 500– In addition to these there are many VO that are
local to a region, supported by their ROCs, but not yet visible across EGEE
• Scale of work performed:– LHC Data challenges 2004:
>1 M SI2K years of cpu time (~1000 cpu years) 400 TB of data generated, moved and stored 1 VO achieved ~4000 simultaneous jobs (~4 times
CERN grid capacity)
Number of jobs processed/month
22
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Current production software (LCG-2)
• Evolution through 2003/2004– Focus has been on making these reliable and robust
rather than additional functionality– Respond to needs of users, admins, operators
• The software stack is the following:– Virtual Data Toolkit
Globus (2.4.x), Condor, etc– EU DataGrid project developed higher-level components
Workload management (RB, L&B, etc) Replica Location Service (single central catalog), replica management tools R-GMA as accounting and monitoring framework VOMS being deployed now
– Operations team re-worked components: Information system: MDS GRIS/GIIS LCG-BDII edg-rm tools replaced and augmented as lcg-utils Developments on:
• Disk pool managers (dCache, DPM)o Not addressed by JRA1
– Other tools as required: e.g. GridIce – EU DataTag project
23
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
The deployment process
• Key point – a certification process is essential– However, it is expensive (people,
resources, time)– But, this is the only way to deliver
production quality services– LCG-2 was built from a wide
variety of “research” quality code Lots of good ideas, but little
attention to the “mundane” needs of production …
– Building a reliable distributed system is hard –
Must plan for failure, must provide fail-over of services, etc
– Integrating components from different projects is also difficult
Lack of common standards for logging, error recovery, etc
24
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
SA1 – Operations Structure
• Operations Management Centre (OMC):– At CERN – coordination etc
• Core Infrastructure Centres (CIC)– Manage daily grid operations –
oversight, troubleshooting– Run essential infrastructure services– Provide 2nd level support to ROCs– UK/I, Fr, It, CERN, + Russia (M12)– Taipei also run a CIC
• Regional Operations Centres (ROC)– Act as front-line support for user and
operations issues– Provide local knowledge and
adaptations– One in each region – many distributed
• User Support Centre (GGUS)– In FZK – manage PTS – provide single
point of contact (service desk)– Not foreseen as such in TA, but need is
clear
25
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Grid Operations• The grid is flat, but
• Hierarchy of responsibility– Essential to scale the operation
• CICs act as a single Operations Centre– Operational oversight (grid
operator) responsibility
– rotates weekly between CICs
– Report problems to ROC/RC
– ROC is responsible for ensuring problem is resolved
– ROC oversees regional RCs
• ROCs responsible for organising the operations in a region– Coordinate deployment of
middleware, etc
• CERN coordinates sites not associated with a ROC
CIC
CICCIC
CICCIC
CICCIC
CICCIC
CICCIC
RCRC
RCRC RCRC
RCRC
RCRC
ROCROC
RCRC
RCRC
RCRCRCRC
RCRCRCRC
ROCROC
RCRC
RCRC RCRC
RCRC
RCRC
ROCROC
RCRC
RCRC
RCRC
RCRC
ROCROC
OMCOMC
RC = Resource Centre
26
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Web form to apply selection criteria on the data
Aggregate data across an organisation structure
(Default= All ROCs)
Select VOs (Default = All)
Select date range
Summed CPU (Seconds) consumed by resources in selected Region
Accounting menu may be used to select different views
of the data
Accounting views
27
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Policy – Joint Security Group
Security & Availability Policy
UsageRules
Certification Authorities
AuditRequirements
Best practiceGuides
Incident Response
User RegistrationApplication Development& Network Admin Guide
http://cern.ch/proj-lcg-security/documents.html
28
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
gLite Services for Release 1Software stack and origin (simplified)
• Computing Element– Gatekeeper (Globus)– Condor-C (Condor)– CE Monitor (EGEE)– Local batch system (PBS, LSF,
Condor)• Workload Management
– WMS (EDG)– Logging and bookkeeping (EDG)– Condor-C (Condor)
• Storage Element– File Transfer/Placement (EGEE)– glite-I/O (AliEn)– GridFTP (Globus)– SRM: Castor (CERN), dCache
(FNAL, DESY), other SRMs
• Catalog– File and Replica Catalog
(EGEE)– Metadata Catalog (EGEE)
• Information and Monitoring– R-GMA (EDG)
• Security– VOMS (DataTAG, EDG)– GSI (Globus)– Authentication for C and Java
based (web) services (EDG)
29
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Main Differences to LCG-2• Workload Management System works in push and pull mode
• Computing Element moving towards a VO based scheduler guarding the jobs of the VO (reduces load on GRAM)
• Distributed and re-factored file & replica catalogs
• Secure catalogs (based on user DN; VOMS certificates being integrated)
• Scheduled data transfers
• SRM based storage
• Information Services: R-GMA with improved API and registry replication
• Prototypes of additional services– Grid Access Service (GAS)– Package manager– DGAS based accounting system– Job provenance service
• Move towards Web Services
30
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Standards
• Web Services Fast moving area– Follow WSRF and related standards but are not early adopters– WS-I compatibility is a target
Challenging to write WSDL which is WS-I compatible AND can be processed by all the tools
– Industry strength tooling not always available– Trying to keep back from the bleeding edge
• Work on standards bodies– Active contributions to
GGF OGSA-WG• GMA in OGSA• Data Design team
GGF INFOD-WG OASIS WS-N GGF GSM-WG (SRM)
• Co-chairing WG Replica Registration Service
– And following many, many others– Adopting mature standards is a goal
31
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Release Timeline
May 2004
Prototype
Available to ARDA users
Builds
June 2004
July 2004
Aug 2004
Sep 2004
Oct 2004
Nov 2004
Dec 2004
Jan 2005
Feb 2005
March 2005
First public nightly build (B 39)
Functionality
First automated build (B 1)
First Integration build (I20041020
B 80)
RC1 (I20041217
B 151)
I/O Client
I/O Server
CE, LB, WMS, WN
AliEn, R-GMA
Data Local Transfer Service, Single
Catalog
VOMS, Site Configuration
RC1 (I20050204
B 206)
Today
Release 1.0
April 2005
32
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
RDIG in MW evaluation and testing
Testing/adaptation MW components (SA1): IHEP, PNPI, JINR
IHEP will participate in the pre-production testing/adaptation of gLite (SA1)
Testing new MW components (NA4 ARDA):
- Metadata catalog, Fireman catalog, gridFTP, ... (JINR, SINP MSU)
- testing gLite for ATLAS and CMS (PNPI, SINP MSU)
EGEE work plan :
January-March 2005: evaluation OMII (JINR, KIAM RAS)
April-October 2005: evaluation GT4 (SINP MSU, JINR, KIAM RAS)
33
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
SINP MSU+ INFN (Padua)new mw - improved job flow
CERN-INTAS meeting, 14 March 2005, CERN
34
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
SINP MSU: new mw - monitoring of application jobs
No LCG MW modification required (wrappers + additional
server);
Access to the intermediate job output via Web-interface;
Authorization is based on the standard GSI certificates and
proxy certificates
Starting Web-page for interested users (with instructions):
http://grid.sinp.msu.ru/acgi-bin/welcome.cgi
CERN-INTAS meeting, 14 March 2005, CERN
35
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
New MW: JINR, KIAM RAS, SINP MSU
OGSA/Globus evaluation for data intensive applications
• Based on the experience with OGSA/GT3 evaluation in 2003-2004 (T. Chen et al. “OGSA Globus Tolkit Evaluation Activity at CERN”, in Proc. of ACAT03, NIMA 534 (2004) 80)
• Release of the Globus Toolkit 4 is currently scheduled for April 29, 2005
www-unix.globus.org/toolkit/docs/development/4.0-drafts/GT4Facts
• Therefore: testing/evaluation of other OGSA/WS systems potentially interesting for LCG/EGEE
CERN-INTAS meeting, 14 March 2005, CERN
36
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Testing the OMII basic functionality (KIAM RAS+JINR):
Applications must be pre-installed on the (Job Service) server; an execution of
programs prepared on client side is impossible.
No such core services like RB, IS, RC
Management of (grid) accounts is not well scalable, not well suitable for management
of large dynamic VOs
Clients must be installed for each user separately (e.g., not under root)
Failed to deploy a new custom service into the OMII container
Report was submitted to JRA1 and OMII Support The OMII 1.1.1 Job service was found to be robust in a test with 20 concurrent
clients The maximal job submission rate ~ 6 jobs/min no bulk batch mode for job submission --> problem for submitting large number of
jobs The Data Service was found to work stable with up to 5 concurrent clients and a file
size of up to 10MB (no tests beyond this limits yet).
CERN-INTAS meeting, 14 March 2005, CERN
37
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
New Deployment – new CIC/ROC
Release(s)Release(s)
Certificationis run daily
Update User Guides EISEIS
UpdateRelease Notes
GISGIS
ReleaseNotes
InstallationGuides
UserGuides
Re-Certify
CICCIC
Every Month
1111
ReleaseReleaseReleaseReleaseClient ReleaseClient Release
Deploy ClientReleases
(User Space)GISGIS
Deploy ServiceReleases (Optional) CICs
RCsCICsRCs
Deploy MajorReleases
(Mandatory) ROCsRCs
ROCsRCs
YAIM
Every Month
Every 3 months
on fixed dates !
at own pace
38
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
gLite• Differences
– Unit and functional testing already performed by JRA1– Releases have to be synchronized between JRA1, SA1 based on NA4’s priorities
• New Sequence– Certification Testbed (CERN)
Installation/config tests Rerun functional tests (to validate configuration) Synthetic stress tests
– Preproduction Service Sites
• Krakow, FZK, IN2P3, CNAF, Padua, Bari, NIKHEF, SNIC, Protvino-IHEP, UOM, LIP, PIC, RAL• sites test installation and configuration
Applications test by using their production software and give feedback on reliability and functionality
• Status– Documentation of process is in draft state– Certification Testbed
gLite pre-release installed
– Preproduction Service Sites are installing current LCG2 release as a platform for the gLite components
– Porting of tests and collection of existing tests (JRA1, NA4, ARDA) started
39
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
SA2 (РНЦ КИ): Проблемы организации интерфейса взаимодействия EGEE-NRENs
• Ограничения «типичного» НОКа:– Разрешение проблем внутри собственного
административного домена– Собственная схема взаимодействия с пользователями
• Сложность сетевой инфраструктуры– Большое количество ресурсных центров, подключенных к
разным сетям– Большое количество НОКов со своими схемами
взаимодействия– Новые сетевые сервисы
• Необходимо создать службу для решения сетевых проблем, связанных с деятельностью EGEE – ENOC
40
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
SA2 (РНЦ КИ): Схема решения сетевых проблем
https://edms.cern.ch/document/503527
41
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Участники процесса интеграции VO
• Совет по развитию РДИГ– В.А. Ильин - координатор проекта РДИГ– Е.А. Тихоненко (NA4) - ответственная за взаимодействие
прикладных областей с инфраструктурой РДИГ – А.П. Демичев - ответственный за технические аспекты
регистрации и поддержки работы ВО
• Центр базовых грид-сервсов (ЦБГС, А.П.Крюков):– Настройка базовых сервисов (Шамардин)– Поддержка сайта регистрации пользователей и БД ВО (Демичев)
• Региональный операционный центр (РОЦ, Ю.А.Лазин):– помощь в инсталляции и поддержка UI– поддержка пользователей новой VO
• Менеджер создаваемой VO.• Ресурсные центры РДИГ
42
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Процесс создания с точки зрения VO
• Инструкция на rdig-registrar.sinp.msu.ru/newVO.html:
– Выбор имени VO.– Регистрация VO в Совете по вопросам развития РДИГ:
Меморандум о взаимопонимании; Ответы на вопросник (информация о кандидате в VO)
– Формирование первоначального состава VO регистрации пользователей - членов VO на
rdig-registrar.sinp.msu.ru
– Интеграция новой VO в грид-инфраструктуру РДИГ переговоры с менеджерами ресурсных центров (РЦ) о
допуске новой организации к использованию их ресурсов
43
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Меморандум о взаимопонимании между СР-РДИГ и VO
• Представители VO– ФИО руководителя новой VO– для текущих орг. и технических контактов с РДИГ
В частности, вопросы включения новых пользователей в члены в VO
– получающие право установки программного обеспечения VO в РЦ (software managers group)
• VO обязуется строго следовать «Правилам использования … РДИГ», … содействовать предупреждению и ликвидации последствий случаев, представляющих угрозу безопасности …
• РДИГ: максимальное предоставление ресурсов в рамках возможностей и локальной политики РЦ
44
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
(первая новая) VO в РДИГ
• RGStest – для тестирования РДИГ• eEarth – задачи геофизики и космических
исследований, – в частности, интерактивная картография и визуализация научных
данных в Интернет = задачи хранения геофизической информации на параллельном кластере баз данных, интерактивного поиска событий в окружающей среде, и совместной интерактивной визуализации карт (есть более подробное описание задачи – кто будет анализировать?)
– В рамках международных проектов Space Physics Interactive Data Resource (SPIDR) и Integrated Distributed Environmental Archive System (IDEAS), входящих в программу Президиума РАН «Электронная Земля» на базе Геофизического центра и Института физики Земли РАН
– Руководитель VO eEarth - зав. лаб. ИФЗ и ГЦ РАН М.Н. Жижин. – Численность VO в течение ближайшего года ~ 10
45
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Регистрация новой VO
От-
каз
На основе решения СР-РДИГ + ЦБГС + РОЦ Демичев готовит мотивиро-ванный отказ и направляет заявителям
Положительн
ое решен
ие
Намерение организации, проекта и т.п. создать VO для использования ресурсов РДИГ
Веб-страница rdig-registrar.sinp.msu.ru/newVO.html,
документ «Создание и регистрация ВО в рамках
инфраструктуры РДИГ: правила и процедура», образец «Меморандума о взаимопонимании» и «Вопросник для кандидата на создание ВО РДИГ»
Подготовка менеджером VO Меморандума и информации о VO по пунктам Вопросника
Тихоненко, Демичев знакомятся с информацией о кандидате в VO РДИГ, представляют информацию Ильину; Ильин одобряет/отклоняет/редактирует Меморандум
На основе информации + Меморандума
СР-РДИГ совместно с Крюковым (ЦБГС) и Лазиным (РОЦ) принимают решение о начале процедуры регистрации или отклонении заявки
46
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Интеграция новой ВО
ЦБГС (Крюков):
- конфиг. базовых сервисов (Шамардин);
- конфиг. сервера ВО (Демичев);
- тех. поддержка менеджмента VO = база VO, регистрация членов VO (Демичев)
РОЦ (Лазин)
- помощь в инсталляции и поддержка UI
- поддержка пользователей новой VO
NA4 (Тихоненко):
- на основании информации от VO (ответы на Вопросник) подбирает список РЦ, удовлетворяющих требованиям VO
- предоставляет этот список (с координатами менеджеров РЦ) и образец Соглашения VO↔РЦ менеджеру новой VO
Менеджер новой VO и менеджеры РЦ ведут переговоры и заключает соглашения между РЦ РДИГ и VO об обслуживании VO
47
Enabling Grids for E-sciencE
НИВЦ МГУ 05.05.2005 В.А. Ильин, В.В. Кореньков, А.А. Солдатов
Вместо заключения:
• РДИГ (+EGEE) – грид инфраструктура для научных исследований
приглашаем новые прикладные области (VO)
• РДИГ (+EGEE) – технологический полигон для – изучения существующего MW– тестирования/развития нового MW– новых архитектурных и инфраструктурных
разработок приглашаем российских разработчиков MW