Проведение а нализ а данных atlas с применением...
DESCRIPTION
Проведение а нализ а данных ATLAS с применением программы GANGA. Шиякова Мария Маринова НЭОВП - ATLAS. Данные ATLAS будут храниться в р азных вычислительных центрах (ВЦ) (~50). Доступ к данным будет осуществляться только средствами Грид - PowerPoint PPT PresentationTRANSCRIPT
22 декабря 2006 г. 1Рабочее совещание ATLAS
Проведение аПроведение анализнализаа данных данных
ATLAS с применением ATLAS с применением
программы GANGAпрограммы GANGA
Шиякова Мария МариноваНЭОВП - ATLAS
22 декабря 2006 г. 2Рабочее совещание ATLAS
● Данные ATLAS будут храниться в
разных вычислительных центрах
(ВЦ) (~50).
● Доступ к данным будет
осуществляться только средствами
Грид
● Задачи анализа будут запускаться
в тех же ВЦ, где находятся
данные, и для это нужно
подходящее программное
обеспечение.
22 декабря 2006 г. 3Рабочее совещание ATLAS
Запуск задачи анализа без Запуск задачи анализа без применения программы-интерфейсаприменения программы-интерфейса1.1. Найти, где находятся анализируемые данныеНайти, где находятся анализируемые данные
2.2. Проверить, установлено ли в этом ВЦ требуемое программное Проверить, установлено ли в этом ВЦ требуемое программное
обеспечение соответствующей версии обеспечение соответствующей версии
3.3. Написать сценарий на языке JDL, который будет управлять Написать сценарий на языке JDL, который будет управлять
удаленным запуском конкретной задачиудаленным запуском конкретной задачи
4.4. Запустить задачу на выполнение командами LCGЗапустить задачу на выполнение командами LCG
5.5. Проверить, что задача выполненаПроверить, что задача выполнена
6.6. Скопировать выходные файлы на локальный компьютер или SE Скопировать выходные файлы на локальный компьютер или SE
ГридГрид
7.7. При необходимости создать новый набор данных (dataset), и При необходимости создать новый набор данных (dataset), и
зарегистрировать в нем свои файлызарегистрировать в нем свои файлы
8.8. Повторить все действия для каждого набора анализируемых данных Повторить все действия для каждого набора анализируемых данных
и процедуры анализаи процедуры анализа
22 декабря 2006 г. 4Рабочее совещание ATLAS
Prodsys – ориентирована на массовые вычисления
(моделирование Монте-Карло). Мало пригодна для запуска
задач анализа
Panda – – создана американскими учеными и ориентирована на создана американскими учеными и ориентирована на
американские ВЦ и Грид (OSG)американские ВЦ и Грид (OSG)
GANGAGANGA – – создана в ЦЕРНе для работы в LCG. Пригодна для создана в ЦЕРНе для работы в LCG. Пригодна для
запуска как задач анализа, так и задач пользовательского запуска как задач анализа, так и задач пользовательского
моделированиямоделирования
Для упрощения раcпределенного
анализа данных ATLAS существуют
программы:
22 декабря 2006 г. 5Рабочее совещание ATLAS
Задача с точки зрения GANGAЗадача с точки зрения GANGA
Приложение
(Athena)
Вычислительная
платформа
Входной набор данных
Выходной набор данных
Исходные данные
Результаты вычислений
Грид, локальная ферма ...
Какую программу запустить
зад
ача
22 декабря 2006 г. 6Рабочее совещание ATLAS
Ganga формирует сценарий запуска задачи в гриде и его Ganga формирует сценарий запуска задачи в гриде и его
выполняетвыполняет::
находит исходные данныенаходит исходные данные
посылает задачу на вычисление в соответствующий ВЦ посылает задачу на вычисление в соответствующий ВЦ
и возвращает результат.и возвращает результат.
Одновременно обеспечивается мониторинг.Одновременно обеспечивается мониторинг.
Ganga ориентирована на тех физиков, которые хотят использовать Грид для Ganga ориентирована на тех физиков, которые хотят использовать Грид для
вычислений, но не хотят разбираться в деталях его устройствавычислений, но не хотят разбираться в деталях его устройства. .
22 декабря 2006 г. 7Рабочее совещание ATLAS
Способы работы с GANGAСпособы работы с GANGA
Командная строка Командная строка
gangaganga Ctrl+dCtrl+d Графическая оболочка Графическая оболочка
ganga --guiganga --gui меню Job/Quitменю Job/Quit
22 декабря 2006 г. Рабочее совещание ATLAS 8
Задача в командной строке
j = Job()j = Job()
j.name='athena_lcg_dq2, LYON, DQ2_LOCAL, 5300'j.name='athena_lcg_dq2, LYON, DQ2_LOCAL, 5300'
j.application=Athena()j.application=Athena()
j.application.prepare()j.application.prepare()
j.application.option_file='/afs/cern.ch/user/s/shiykov/athena/testarea/11.0.5/j.application.option_file='/afs/cern.ch/user/s/shiykov/athena/testarea/11.0.5/InstallAra/jobOptions/UserAnalysis/AnalysisSkeleton_jobOptions.pyInstallAra/jobOptions/UserAnalysis/AnalysisSkeleton_jobOptions.py''
j.inputdata=DQ2Dataset()j.inputdata=DQ2Dataset()
j.inputdata.type='DQ2_LOCAL'j.inputdata.type='DQ2_LOCAL'
j.inputdata.dataset="user.MariyaShiyakova.DrellYan.v001"j.inputdata.dataset="user.MariyaShiyakova.DrellYan.v001"
j.outputdata=DQ2OutputDataset()j.outputdata=DQ2OutputDataset()
j.outputdata.outputdata=['AnalysisSkeleton.root']j.outputdata.outputdata=['AnalysisSkeleton.root']
j.backend=LCG()j.backend=LCG()
#j.backend.CE='cclcgceli02.in2p3.fr:2119/jobmanager-bqs-short'#j.backend.CE='cclcgceli02.in2p3.fr:2119/jobmanager-bqs-short'
j.submit()j.submit()
22 декабря 2006 г. Рабочее совещание ATLAS 9
Все команды с предыдущего слайда можно Все команды с предыдущего слайда можно
объединить в исполняемой файл объединить в исполняемой файл primer.pyprimer.py и и
запустить в командной строке Ganga:запустить в командной строке Ganga:In[1]: execfile('/afs/cern.ch/user/s/shiykov/primer.py') In[1]: execfile('/afs/cern.ch/user/s/shiykov/primer.py')
j.submit()j.submit()
другие командыдругие команды::jobsjobs
print jobs[25]print jobs[25]
j26=j25.copy()j26=j25.copy()
jobs[25].kill()jobs[25].kill()
jobs[25].remove()jobs[25].remove()
22 декабря 2006 г. 10Рабочее совещание ATLAS
При запуске задачи Athena можно При запуске задачи Athena можно
дополнительно указать параметры:дополнительно указать параметры:
-Версия Athena-Число событий-Файл с
дополнительными
опциями-Название файла с
выходными данными
-Вычислительный центр (CE)-Системные требования (время CPU, …)-Версия программного обеспечения Грид
22 декабря 2006 г. 11Рабочее совещание ATLAS
Графическая среда GUIГрафическая среда GUI
22 декабря 2006 г. 12Рабочее совещание ATLAS
22 декабря 2006 г. 13Рабочее совещание ATLAS
22 декабря 2006 г. 14Рабочее совещание ATLAS
22 декабря 2006 г. 15Рабочее совещание ATLAS
22 декабря 2006 г. Рабочее совещание ATLAS 16
Где искать выходные данные?Где искать выходные данные?
GANGA может скопировать выходные файлы на компьютер, с GANGA может скопировать выходные файлы на компьютер, с
которого запускалась задача. В этом случае по завершении задачи которого запускалась задача. В этом случае по завершении задачи
результат можно найти в директории результат можно найти в директории
~/.gangadir/workspace/output/<jobId>~/.gangadir/workspace/output/<jobId>
Либо может оставить файлы на хранение в удаленном ВЦ, Либо может оставить файлы на хранение в удаленном ВЦ,
зарегистрировав их в каталоге Грид и создав новый набор данных зарегистрировав их в каталоге Грид и создав новый набор данных
( dataset ) в DQ2:( dataset ) в DQ2:
user.username.ganga.jobiduser.username.ganga.jobid
Удобно при больших объемах выходных данныхУдобно при больших объемах выходных данных
Доступ к данным средствами DQ2 ( Доступ к данным средствами DQ2 ( dq2_ls, dq2_getdq2_ls, dq2_get …) …)
22 декабря 2006 г. 17Рабочее совещание ATLAS
Что нужно, чтобы запустить GANGA прямо Что нужно, чтобы запустить GANGA прямо
сейчассейчас
ДействительнДействительныый сертификатй сертификат пользователя пользователя Грид Грид
Доступ к уДоступ к установленностановленномуму программно программномуму обеспечени обеспечениюю (Athena, (Athena,
DQ2, LCG, Ganga)DQ2, LCG, Ganga)
установлено на установлено на lxplus.cern.ch, lxpub.jinr.ru …lxplus.cern.ch, lxpub.jinr.ru …
Иметь свою программу анализа и знать какие данные Иметь свою программу анализа и знать какие данные
анализироватьанализировать
Для работы в командной строке нужно иметь представление о Для работы в командной строке нужно иметь представление о
языке Pythonязыке Python
22 декабря 2006 г. 18Рабочее совещание ATLAS
ЗаключениеЗаключение
В ОИЯИ накоплен опыт использования программы GANGA для В ОИЯИ накоплен опыт использования программы GANGA для
запуска задач анализа данных ATLASзапуска задач анализа данных ATLAS
Желающие использовать эту программу в своей работе могут Желающие использовать эту программу в своей работе могут
обращаться с вопросами ко мне (обращаться с вопросами ко мне ([email protected]@jinr.ru, т.63996, 4 корпус , т.63996, 4 корпус
ЛЯП, комната 330)ЛЯП, комната 330)
... или на форум ... или на форум http://atlasinfo.jinr.ru/forumhttp://atlasinfo.jinr.ru/forum
Можно организовать практическое учебное занятиеМожно организовать практическое учебное занятие