introduction to lcg-2 Введение в lcg-2 e.tikhonenko ( jinr )

EGEE is a project funded by the European Union under contract IST-2003-508833

Introduction to LCG-2Введение в LCG-2

E.Tikhonenko (JINR )

www.eu-egee.org

NA3 Induction Courses for school onModern Cosmology and Astrophysics

JINR, Dubna, October 7, 2005

Talk Outline

The preliminaries on the LCG-2 ;

examples of various application areas;

RDIG EGEE participation in NA4;

the sequence of actions how to start a work in the LCG-2 environment

Job SubmissionРекомендуемые ccылки

AstrophysicsAstrophysics in GRID (EGEE) & in GRID (EGEE) & Application WebsitesApplication Websites : :

• PLANCK Status Report at the 4th EGEE conferencehttp://indico.cern.ch/contributionDisplay.py?

contribId=109&sessionId=35&confId=0513

• MAGIC Status Report at the 4th EGEE conferencehttp://indico.cern.ch/materialDisplay.py?

contribId=107&sessionId=35&materialId=slides&confId=0513

• The MAGIC telescopehttp://wwwmagic.mppmu.mpg.de/introduction/

• ESA Science & Technology: Planck http://sci.esa.int/science-e/www/area/index.cfm?fareaid=17

H. Kornmayer MAGIC-GRID Status report EGAAP meeting, Athens, 21th April 2005 - 3

EnablingGridsfor E-siencE

Introduction: The MAGIC Telescope• Ground based

Air Cerenkov Telescope• Gamma ray: 30 GeV - TeV• LaPalma, Canary Islands

(28° North, 18° West)• 17 m diameter• operation since autumn 2003

(still in commissioning)• Collaborators: IFAE Barcelona, UAB Barcelona,

Humboldt U. Berlin, UC Davis, U. Lodz, UC Madrid, MPI München, INFN / U. Padova, U. Potchefstrom, INFN / U. Siena, Tuorla Observatory, INFN / U. Udine, U. Würzburg, Yerevan Physics Inst., ETH Zürich

Physics Goals: Origin of VHE Gamma raysActive Galactic NucleiSupernova RemnantsUnidentified EGRET sourcesGamma Ray Burst

MAGIC Telescope



~ 10 kmParticleshower

Ground based γ-rayastronomy

~ 1o

Ch

eren

kov

ligh

t

~ 120 m

Gammaray

GLAST (~ 1 m2)

Cherenkov light I mage of particle shower in telescope camera

reconstruct: arrival direction, energy

reject hadron background

MAGIC Telescope



MAGIC – Hadronrejection

• Based on extensive Monte Carlo Simulation

• air shower simulation program CORSIKA

• Simulation of hadronic background is very CPU consuming

• to simulate the background of one night, 70 CPUs (P4 2GHz) needs to

run 19200 days

• to simulate the gamma events of one night for a Crab like source takes

288 days.

• At higher energies (> 70 GeV) observations are possible already by

On-Off method (This reduces the On-time by a factor of two)

• Lowering the threshold of the MAGIC telescope requires new

methods based on Monte Carlo Simulations

MAGIC Telescope



Developments -Requirements

• MAGIC needs a lot of CPU to simulate the hadronic background to

explore the energy range 10 GeV – 100 GeV

• MAGIC needs a coordinated effort for the MonteCarlo production

• MAGIC needs an easy accessible system

(Where are the data from run_1002 and run_1003?)

• MAGIC needs an scalable system (as MAGIC II will come 2007)

• MAGIC needs the possiblity to access data from other experiments

(HESS, Vertias, GLAST, PLANCK(?)) for multiwavelength campaigns

MAGIC Telescope

Planck is an ESA satellite aimed at providing a final mapping of the cosmological anisotropies of temperature and to foray deeply into their polarisation properties. Launch is planned for 2007. Two instruments are onboard, the LFI and HFI.

The HFI (High Frequency Instrument) is built by a French-led international consortium which will provide maps of the sky at 100, 143, 217, 353, 545 and 857 GHz. The first 3 channels will be the most sensitive to cosmological information (the peak of emission of a black body at 2.728K is around 100Ghz, i.e. 3mm), while the higher frequency channels will be very precious to trace the emission of some contaminating foregrounds (like the emissions from dust in galaxies, including our own, or the effect from clusters).

The LFI (Low Frequency Instrument) is built by an Italian-led international consortium. It will provide maps of the sky at 33, 44 and 70 GHz, which will be very precious to trace the emission of some other contaminating foregrounds (like the synchrotron emission of our Galaxie, or that of radio sources).

The HFI is a very powerful instrument by itself. But Planck has been conceived as a whole, such that the combination of the data from the two instruments should allow mining essentially all the cosmological information contained in the CMB

(Cosmic Microwave Background), by minimizing astrophysical limitations. Parenthetically, it shows that spin-off science from Planck (concerning the CMB "contaminants") will be extremely interesting per se. Global information on Planck may be found in the Planck web site at ESA (see also the science team pages).

PLANCK Satellite

EGEE Third Conference, Athens, 20.04.2005 3

Enabling Grids for E-sciencE

Brief intro on the application

• Planck: ESA satellite mission (2007);

• LevelS: mission simulation s/w– foreach instrument {

foreach frequency {• foreach cosmology {

o ….

• Some Montecarlo jobs;

PLANCK Satellite



PLANCK Satellite



Lesson learned

• Massive data production on WN ( > 40 GB):– Big disks;

– Complex site topology (parallel/distributed FS);

– Compressing/RM-CR/removing file program;

– FITSIO with fgal/gsiftp support;

• CPUs not extremely important;

• Data handling:– Complex data structure;

– Complex data structure;

• 1 GB RAM.

10- 15 terabytes ˜20.000 CD- ROM

1 Eiff el Tower unit

•METADATA!

PLANCK Satellite



Application needs

• Massive storage of ~ 10 TB– Data storing/replica (automatic!)

Tier or not Tier?

• User common data front-end:– web portal or data browser;

– DSE support (metadata) for Grid/non-Grid data: G-DSE;

OGSA-DAI(?);

Vobs compliant;

• More then 200 CPUS;

• Controlled access to data and metadata.

PLANCK Satellite

Проект LCG и среда LCG-2

• Проект LCG – the LHC Computing Grid Project (http://lcg.web.cern.ch/LCG/ ) – был организован для создания компьютерной инфраструктуры, необходимой для моделирования, обработки и анализа данных cтроящихся на LHC экспериментов.

• Cреда LCG-2 – инфраструктура, промежуточное математическое обеспечение (middleware) которой может рассматриваться как логическое продолжение и развитие достижений таких grid – проектов, как Сondor, Globus, DataGrid, DataTag, GriPhyn, iVDGL и EGEE (Enabling Grids for E-sciencE).

Под middleware понимается совокупность Grid-сервисов, независимых от ресурсов и приложений и обеспечивающих аутентификацию, авторизацию, размещение и распределение ресурсов, получение результатов выполнения задач, статистику и служебную информацию, удаленный доступ к данным, стратегию и способы обнаружения неисправностей.

CMSATLAS

LHCbLHCbALICE

При ожидаемой скорости записи сырых данных потребуются ресурсы для хранения данных порядка десятков и сотен ПБ.

Для обработки данных потребуются сотни тысяч персональных компьютеров (максимальной на текущий момент производительности)

Эксперименты на LHC

Обработка данных и вычисления в физике высоких энергий

интерактивный физический анализ

Пакетнаяобработка

данных

Пакетнаяобработка

данных

детектор

суммарные данные по событиям

«сырые»данные

Реконструкция событий

Реконструкция событий

моделированиефизических

событий

моделированиефизических

событий

объекты для физического анализа(выделенные по физическим каналам)

Отбор событийи первичная

реконструкция

Отбор событийи первичная

реконструкция

обработанныеданные

Триггер 1-го уровня

Иерархия данных

“RAW, ESD, AOD, TAG”

RAW~2 MB/event

ESD(/DST)

Первичная стадия реконструкции на уровне создания базовых кластеров и трек-сегментов

Геометрическая реконструкция событий: траектории частиц, импульсы и энергии

~100 kB/event

AOD~10 kB/event

TAG~1 kB/event

События, удовлетворяющие условиям триггера; записываются системами сбора данных (DAQ)

Реконструированная информация

Информация для анализа

Указатель события (классификационная информация для быстрого выбора нужного события)

Event Summary Data

Analysis Object Data

Съем цифровых отсчетов с детекторов

На 2 порядка уменьшается объем

данных по сравнению с исходным потоком

Физическая реконструкция: установление соответствия частиц и треков, уточнение характеристик струй, поиск

распадных вершин

L1

L2+L3

Специфика приложений ФВЭ

Требования по даннымКолоссальные объемы данных (десятки и сотни Петабайт)

Данные типа WORM (писать единожды, читать многократно)

Структуризация данных с последующим извлечением информации из данных (data mining)

Продолжительное время хранения данных, а также необходимость создания копий данных в разных странах мира

Требования к обработке данныхОбработка данных подразделяется на 2 типа – регулярное производство данных и «нерегулярный» анализ данных

Производство (моделирование ) данных происходит систематически; при этом производятся наборы данных порядка ~ 10**9 физических событий.

Анализ физических данных (на наборах данных порядка 10**7 событий) проводится произвольным образом и в индивидуальном порядке многими сотнями отдельных пользователей

Высокий уровень параллелизма обработки на уровне событий, который может быть описан ориентированным графом с указанием последовательности обработки

Поскольку интерактивная работа очень важна при анализе данных, необходимо предусмотреть возможность спасения сессий с сохранением информации об источнике данных («проверяемость», provenance)

Необходимость глобального доступа к базам данных экспериментов для получения значений констант, условий работы и т.д.

специфика биомедицинских приложений

Сложные требования по даннымГетерогенные форматы данных Частая обновляемость данных Сложные наборы данных (медицинские записи)Ограничения на безопасность и конфиденциальностьНеобходимость длительного хранения данных

Cложные требования по обработке данныхБиоинформатика (геномика, протеомика, …): распределенные базы данныхМедицинские(просмотр снимков, эпидемиология...): распределенные базы графических данных Использование параллельных алгоритмов для обработки медицинских графических данных и для моделированияИнтерактивные приложения Ограничения на безопасность и конфиденциальность

Группа NA4: Идентификация и поддержка приложений в среде проекта EGEE

• Результатом работы группы NA4 будут являться программные приложения – прикладные пакеты, развернутые в инфраструктуре EGEE и доступные для работы в grid-среде соответствующим сообществам пользователей

• Для развертывания этих приложений может понадобиться специальное ПО

для обеспечения интерфейса к grid. Необходимо собрать существующую документацию из проекта EDG и других проектов (LCG, ARDA, GridLab, Healthgrid, …) для выработки общего решения

• Процесс развертывания приложений в инфрастуктуру EGEE будет происходить в рамках виртуальных организаций, объединяющих соответствующих пользователей

• Инфраструктура EGEE будет расширяться; с появлением новых пользователей им будет оказываться поддержка и будет организовываться обучение; также будут создаваться новые виртуальные организации

Основные составляющие работы:

Участие RDIG-EGEE в NA4

• Приложения ФВЭ: Институт теоретической и экспериментальной физики (Москва) (отв.по

LHCb) Институт физики высоких энергий (Протвино) (отв.по ATLAS) Курчатовский институт (Москва) Научно-исследовательский институт ядерной физики (Москва) (отв. по

CMS) С.-Петербургский институт ядерной физики (Гатчина) Объединенный институт ядерных исследований (Дубна) (отв. по ALICE

и CMS)

• Биологические приложения Институт математических проблем биологии (Пущино)

• Приложения Fusion&Plasma Science Курчатовский институт (Москва)

RDIG EGEE membership in VOs

January, 200543 members from 11 institutes - 5.7 % from a total number ( 749 ) of EGEE VOs

members

March, 200556 members from 12 institutes - 5.8 % from a total number ( 967 ) of EGEE VOs

members

June, 200570 members from 13 institutes - 6.4 % from a total number ( 1097 ) of EGEE VOs

members

September, 200581 members from 13 institutes - 6.1 % from a total number ( 1324 ) of EGEE VOs

members

The target fixed in the EGEE Technical Annex for the EGEE project by the End

Year 2: > 3000 VOs users !

RDIG EGEE membership in VOs (September, 2005)

ALICE VO – 6 (of 43 alice VO members)

ATLAS VO – 13 (of 391 atlas VO members)

8 – IHEP, 1 – SINP MSU, 1 – MEPHI, 1 – ITEP, PNPI –1, INP -1

CMS VO – 21 (of 343 cms VO members)

8 - SINP MSU, 6 – JINR , 3 – Kharkov, 2 – ITEP, 2 – INR

LHCb VO – 5 (of 58 lhcb VO members)

3 – ITEP, 2 - PNPI

dteam VO – 29 (of 421 dteam VO members)

11–JINR, 4 – SINP , 4 – ITEP, 3 – IHEP, 2 – RRC KI, 1 – INR, 1 – IPM,

1 –IMPB, 1 – PNPI, 1- NOVSU

Biomed VO – 7 (of 68 biomed VO members)

all IMPB

in total: 81 - 6.1 % from a total number ( 1324 ) of EGEE VOs members

13 institutes:JINR – 18,

ITEP – 14, IHEP-9, SINP MSU – 9,

IMPB – 5, Kharkov – 3, INR – 3, PNPI – 2,

IPM – 1, INP –1, MEPHI –1, RRC KI – 1,

NOVSU - 1+1 institute - CGDS (eEarth)

The target fixed in the EGEE Technical Annex for the EGEE project by the End

Year 2: > 3000 VOs users !

RGStest VO - 11 PHOTON VO – 12 (PHOTON & SELEX experiments)

RDTEAM VO - 3 eEarth VO - 11 all CGDS

AMS VO - 3

in total: 29 RDIG VOs

New VOs inside the RDIG-EGEE infrastructure:

aims & current status

aims:1) to serve the national scientific projects

2) to test new application areas before including them into the global EGEE infrastructure

current status:creation of the formal procedures and the proper administrative structures in RDIG-EGEE for

VOs creation & registration:

http://rdig-registrar.sinp.msu.ru/newVO.html – documents and rules;

the Council on RDIG-EGEE extension has been formed

5 internal VOs now;near plan:

Fusion science;chemical physics institutes

PHOTON VO: PHOTON & SELEX Projects (12 members; leading organization - ITEP)

http://egee.itep.ru/PHOTON/index29d5en.html

eEarth VO: geophysics sciences - 11 members; leading organization: Geophysics Center RAS http://www.e-earth.ru/

RGStest & RDTEAM VOs - Russian Data Intensive Grid(13 members)

Photon, eEarth, RGStest RDIG Virtual Organizations

eEarth VO http://www.e-earth.ru/ (in Russian) – for geophysics and cosmic research tasks; participating institutes: Scmidt Institute of Physics of the Earth of Russian Academy of Sciences (IPE

RAS) ( http://uipe.ru/) and Centre of Geophysical Data Studies and Telematics Applications (CGDS) (http://www.ednes.org/CGDS/)

CGDS operates a powerful local area network (LAN) (8 servers and 32 workstations operating under Windows NT 4.0, Windows XP/2000/98, Linux Red Hat 5.2 and Solaris 2.5-7) with high speed (1 GBps) fiber optic Internet connection to Moscow Internet backbone through campus network of Moscow Lomonosov State University

eEarth VO will provide: an access to world-wide distributed data; computing resources for remote distributed computations; monitoring of common computing resources loading to optimize the resources usage.

Grid-technologies will be useful for a number of geophysical tasks, especially for interactive cartography and data vizualisation.

Data Resources:• SPIDR Mirror site in Moscow • Integrated Distributed Environmental Archive System (IDEAS)• Satellite Archive Browse and Retrieval

http://sabr.ngdc.noaa.gov/• Rapid Earthquake Determination Service

Geophysical Survey RAS, Obninsk

eEarth VO in the RDIG-EGEE

11 members

Процесс регистрации для работы в среде LCG

http://lcg-registrar.cern.ch/

Последовательность действий для осуществления возможности работать в среде LCG-2

- Ознакомиться с Правилами использования ресурсов LCG

- Получить персональный цифровой сертификат

- Загрузить персональный сертификат в браузер

- Зарегистрироваться в соответствующей виртуальной организации

Вся нижеследующая последовательность действий описана на странице

http://lcg-registrar.cern.ch/

Последовательность действий для осуществления возможности работать в среде LCG-2 (2)

Для получения персонального цифрового сертификата необходимо в среде операционной системы с работающим ПО Globus запустить команду grid-cert-request или специальный скрипт, предоставлямый национальным Сертификацинным Центром, а затем в возникшем при исполнении этой команды (или скрипта) режиме диалога ввести требуемую информацию - в том числе, задать свой пароль, который в дальнейшем будет необходим для работы в grid-среде. После выполнения этой команды в домашнем каталоге создается новый каталог .globus c тремя файлами: usercert.pem – цифровой сертификат пользователя (первоначальный размер этого файла равен 0); usercert_request.pem – запрос на цифровой сертификат; userkey.pem - цифровой ключ пользователя.

Запрос на получение сертификата следует направить по адресу требования Сертификационного центра (как правило - ответственному по сертификации в Вашей организации). Далее произойдет регистрация Вашего сертификата в Сертификационном центре (на данный момент в России – это Курчатовский институт (http://ca.grid.kiae.ru/RDIG/ ). По завершению процесса регистрации Вы получите по электронной почте свой цифровой сертификат, который следует сохранить в файле usercert.pem


Загрузить персональный сертификат в браузер https://lcg-registrar.cern.ch/load_certificates.html

Поскольку в браузерах используется другой формат представления сертификата, прежде всего необходимо конвертировать цифровой сертификат из формата pem в

формат PKCS12. Для этого в среде с работающим пакетом openssl следует выполнить команду вида:

openssl pkcs12 -export -inkey userkey.pem -in usercert.pem -out my_cert.p12 –name "My \ certificate" где

userkey.pem – путь к файлу, содержащему цифровой ключ (этот файл должен иметь разрешение на чтение только для владельца файла, т.е. только для Вас!); usercert.pem - путь к файлу, содержащему сертификат; my_cert.p12- путь к создаваемому файлу в формате PKCS12 ; «My certificate» - необязательное имя (оно может в дальнейшем быть использовно при выборе сертификата в браузере, если в браузер загружено несколько сертификатов)

Подробные инструкции по загрузке сертификата, конвертированного в формат PKCS12 в различные типы браузеров (Mozilla, Netscape, Internet Explorer, Opera и Konqueror) содержатся на странице https://lcg-registrar.cern.ch/load_certificates.html


Зарегистрироваться в соответствующей виртуальной организации https://lcg-registrar.cern.ch/cgi-bin/register/

account.pl

virtual organization (VO) – виртуальная организация - объединение пользователей, организаций и ресурсов (компьютеров, ПО и данных) в

новый административный домен в рамках grid-инфраструктуры

Пользователь для вступления в соответствующую направлению его деятельности виртуальную организацию должен заполнить и отправить регистрационную форму, после чего получает письмо по электронной почте, подтверждающее факт получения регистрационной формы пользователя; затем, следуя указаниям в этом письме, подтверждает факт его получения; и, наконец, администратор виртуальной организации информирует собственно о факте регистрации в виртуальной организации.

Теперь, став членом виртуальной организации, Вы можете войти в сеанс на любую доступную Вам User Interface - машину - и начать работу в среде своей виртуальной организации!!!

http://rdig-registrar.sinp.msu.ru/newVO.html – documents and rules on RDIG-EGEE internal VOs

О внутренних виртуальных организацияхRDIG-EGEE

см.

• UI (User Interface) – cервис, обеспечивающий доступ к ресурсам Grid; c UI-компьютера пользователь может запускать или прерывать свои задачи, получать информацию о статусе выполняемых задач, находить ресурсы, необходимые для исполнения конкретной задачи, получать учетную информацию о своей задаче: а также копировать, реплицировать или уничтожать файлы в инфрастуктуре Grid.

• CE (Computing Element) – очередь в системе пакетной обработки инфраструктуры Grid

• WN (Working Node) – вычислительный узел фермы в инфраструктуре Grid

• SE (Storage Element) –cервис, обеспечивающий унифицированный доступ к ресурсам памяти инфраструктуры Grid (ресурсами памяти при этом могут быть как простые дисковые серверы, так и дисковые массивы или системы массовой памяти (MSS)).

Job SubmissionЧто такое UI, CE, WN, SE?

• Запуск задачи пользователя осуществляется через систему управления загрузкой (WMS, Workload Management System)

• Задачей WMS является планирование и управление ресурсами в распределенной среде Grid.

• При этом пользователю предоставляются следующие возможности :- запускать и исполнять свои задачи- получать информацию о статусе состояния своей задачи- получать результат выполнения задачи

• Назначение WMS - как оптимизировать использование ресурсов, так и способствовать скорейшему выполнению задачи пользователя

Система управления загрузкой (WMS) в LCG-2

Составляющие части WMS

• В настоящее время WMS состоит из следующих частей:

1. User Interface (UI) : сервис, обеспечивающий для пользователя доступ к WMS

2. Resource Broker (RB) : сервис поиска “наилучших” ресурсов в среде GRID для запуска конкретной задачи

3. Job Submission Service (JSS) : сервис, обеспечивающий надежность запуска задачи

4. Information Index (BDII) : сервер , который собирает информацию о ресурсах Grid; эта информация используется Resource Broker’ом для классификации и выбора ресурсов

5. Сервисы Logging и Bookkeeping (LB) : хранят информацию о задаче пользователя

Подготовка задачи

• Пользователь должен продумать Достаточно полное описание задачи, т.е.

• Собственно программу• Необходимые для расчетов данные• Требования к ОС и специализированному м/о

Осознавать, что• программа “уйдет” в некоторое “неведомое” пространство• и при этом программа должна быть портабельной • и не иметь в себе ссылок на локальное окружение • и не обязательно программа должна располагаться в

$HOME! Описать входные данные (если имеются) Дать указания касательно выходных данных

• JDL – расширяемый язык, предназначенный для описания задач пользователя с помощью задания значений для “атрибутов” и появившияся еще при создании системы распределенных вычислений CONDOR

• Пользователь для запуска свой задачи в инфраструктуре grid должен сформировать файл (job_definition.jdl)

• Некоторые из атрибутов описываются пользователем, а некотрые атрибуты автоматически формируются UI до запуска задания в инфрастуктуру grid

Job Submission

Job Description Language (JDL)Язык описания задачи

Job SubmissionАтрибуты описания задачи

• Executable (обязательный) имя исполняемой команды (программы)

• Arguments (необязательный) аргументы, которые необходимы для исполнения команды, указанной в

Executable

• StdInput, StdOutput, StdErr (необязательный) стандартные ввод/вывод/ошибки задачи

• Environment (необязательный) список установок среды

• InputSandbox (необязательный) список файлов на локальном диске на UI, необходимых для выполнения

задачи перечисленные файлы помещаются на удаленный CE

• OutputSandbox (необязательный) Список файлов, которые будут сформированы в результате выполнения

задания и которые необходимо получить пользователю после выполнения задачи

Job Submission

Атрибуты ресурсовResource Attributes

• Requirements Требования задачи на вычислительные

ресурсы Если не определяются пользователем, то

используется значение, заданное в конфигурации UI

Job Submission

Атрибуты описания данных“Data” Attributes

• InputData (необязательный) относится к данным, используемым как входные к задаче: эти данные

публикуются в Replica Catalog и запоминаются в SEs) PFNs и/или LFNs

• DataAccessProtocol (обязательный, если определен атрибут InputData) Протокол или список протоколов, требумых для доступа к InputData

на данном SE

• OutputSE (необязательный) имя SE-хоста RB использует его для выбора CE, совместимого в требованиями

задачи и наидолее близко расположенного к SE

• OutputData (необязательный) Выходные данные, которые должны быть сформированы в конце

выполнения задачи

• Пример простейшего описания задачи (myjob1.jdl)

• Мы определили программу для запуска и ее аргументы файлы, куда будет записан стандартный вывод как поступить с выходными файлами

Как написать описание задачи (Job Description)

Executable = "/bin/echo";

OutputSandbox = {"stdout", "stderror"};

stdoutput = "stdout";

stderror = "stderror";

Arguments = "Hi!";

VirtualOrganisation = "cms";

Пример запуска задачи

• Выполняем команду grid-proxy-init вводим в процессе выполнения данной команды свой пароль на

гридовски й сертификат получаем в результате Globus proxy – временный сертификат, дающий

право доступа к сервисам и ресурсам Grid

• Выполняем команду: edg-job-submit myjob1.jdl и получаем в результате уникальный идентификатор задачи (Job

Identifier), JobId

• По выполнению команды: edg-job-status JobId получаем статусную информацию о ходе выполнения задачи

• После завершения выполнения задачи можно выполнить команду

edg-job-get-output JobId в результате чего получаем имя временнго каталога на машине UI, где

находятся результаты выполнения задачи.

1) Получение proxy-сертификата: grid-proxy-initYour identity: /C=RU/O=DataGrid/OU=jinr.ru/CN=Tikhonenko Elena

Enter GRID pass phrase for this identity:

Creating proxy ................................................... Done

Your proxy is valid until: Fri Sep 2 04:40:02 2005

2) Запуск задачи: edg-job-submit myjob1.jdlSelected Virtual Organisation name (from JDL): cms

Connecting to host gdrb03.cern.ch, port 7772

Logging to host gdrb03.cern.ch, port 9002

*********************************************************************************************

JOB SUBMIT OUTCOME

The job has been successfully submitted to the Network Server.

Use edg-job-status command to check job current status. Your job identifier (edg_jobId) is: - https://gdrb03.cern.ch:9000/OADAXp3Vxet02vlqO29Xpg

*********************************************************************************************

Запуск задачи (1)

JobId

3) Если не указываем имя своей виртуальной в файле запуска (myjob1.jdl), то получаем диагностику вида:

**** Error: UI_NO_VOMS ****

Unable to determine a valid user's VO

Имя своей виртуальной организации можно указывать не в jdl-файле,а непосредственно в команде edg-job-submit: edg-job-submit --vo CMS myjob1.jdl

4) Запуск задачи с опцией --nomsg :

edg-job-submit --nomsg myjob1.jdl

https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg

Job SubmissionЗапуск задачи (2)

Получаем только сообщение о JobId

Результатом выполнения команды

edg-job-status https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItgбудет:*************************************************************BOOKKEEPING INFORMATION:Status info for the Job : https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItgCurrent Status: ScheduledStatus Reason: Job successfully submitted to GlobusDestination: ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-cmsreached on: Thu Sep 1 15:07:00 2005

************************************************************* Когда задача находится в процессе выполнения, в ответ на

edg-job-status https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItgполучаем:*************************************************************BOOKKEEPING INFORMATION:Status info for the Job : https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItgCurrent Status: RunningStatus Reason: Job successfully submitted to GlobusDestination: ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-cmsreached on: Thu Sep 1 15:10:19 2005*************************************************************

Job Submission

Получение информации о статусе задачи (1)

После успешного завершения задания в ответ на

edg-job-status https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg

получим:

*************************************************************

BOOKKEEPING INFORMATION:

Status info for the Job : https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg

Current Status: Done (Success)

Exit code: 0

Status Reason: Job terminated successfully

Destination: ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-cms

reached on: Thu Sep 1 15:11:36 2005

*************************************************************

Теперь мы можем ознакомиться с результатами

Job Submission

Получение информации о статусе задачи (2)

на выполнение команды

edg-job-get-output https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg

получаем на экране следующую информацию:

Retrieving files from host: gdrb03.cern.ch ( for https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg )

********************************************************************************* JOB GET OUTPUT OUTCOME

Output sandbox files for the job:

https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg

have been successfully retrieved and stored in the directory: /tmp/etikhone_26kIm7cU1F9eY0VVhfkItg

*********************************************************************************

Получение результатов (1)

Отправляемся в указанный каталог ( /tmp/etikhone_26kIm7cU1F9eY0VVhfkItg )

сd tmp/etikhone_26kIm7cU1F9eY0VVhfkItg

ls –lagtotal 484drwxr-xr-x 2 zh 4096 Sep 1 17:13 ./drwxrwxrwt 6262 root 483328 Sep 1 17:15 ../-rw-r--r-- 1 zh 0 Sep 1 17:13 stderror-rw-r--r-- 1 zh 4 Sep 1 17:13 stdout

Обнаруживаем там 2 файла: stderror (пустой, т.е. ошибок при выполнении задачи не было) и sdtout, содержащий собственно результат выполнения нашей задачи (в данном случае текст “ Hi! ”)

Получение результатов (2)

Job SubmissionНекоторые полезные команды UI

• edg-job-list-matchПолучение списка ресурсов, соответствующих описанию задачи

(запуск задачи при этом не требуется)

• edg-job-cancelпрекращение выполнения задачи

• edg-job-get-logging-infoполучение информации о прохождении задачи

полезно при отладке программы

• grid-proxy-destroyзакрытие временного сертификата (как выход из сеанса работы в

инфрастурктуре grid)

• В ОИЯИ UI - cервис доступен с lxpub03.jinr.ru

• В CERN при вхождении на lxplus.cern.ch следует выполнить скрипт grid_env.csh

командой

или

в результате чего установятся переменные окружения, необходимые для доступа к

сервису UI.

Примечание: при получении proxy-сертификата командой grid-proxy-init без параметров, proxy-сертификат обычно выдается на 12 часов. Можно указывать временной интервал, на который необходимо получение proxy-сертификата. Для этого следует использовать опцию –valid HH:MM, например:

grid-proxy-init -valid 150:00Your identity: /C=RU/O=DataGrid/OU=jinr.ru/CN=Tikhonenko ElenaEnter GRID pass phrase for this identity:Creating proxy .............................................. DoneYour proxy is valid until: Fri Sep 9 17:14:03 2005dateSat Sep 3 11:14:08 CEST 2005

Job SubmissionUI в ОИЯИ и в CERN

source /afs/cern.ch/project/gd/LCG-share/sl3/etc/profile.d/grid_env.csh

source /afs/cern.ch/cms/LCG/LCG-2/UI/cms_ui_env.csh

Job SubmissionРекомендуемые документы

• The LCG-2 User Guidehttps://edms.cern.ch/file/454439/1/LCG-2-UserGuide.pdf https://edms.cern.ch/file/454439/1/LCG-2-UserGuide.html

• LCG-2 User Scenario

https://edms.cern.ch/document/498081/1.0

• ClassAd language https://www.cs.wisc.edu/condor/classad

• LCG-2 Frequently Asked Questionshttps://edms.cern.ch/document/495216/

introduction to lcg-2 Введение в lcg-2 e.tikhonenko ( jinr )

Documents