ПЛАНУВАЛЬНИК для задач з ємами...

ПЛАНУВАЛЬНИКПЛАНУВАЛЬНИК

для обробки задач для обробки задач

з великими об'ємами даних з великими об'ємами даних

і мінімальним часом передачі файлів і мінімальним часом передачі файлів

для NorduGridдля NorduGrid

Кучер ВладКучер Влад Київ 2011Київ 2011 УНК ”ІПСА” НТУУ ”КПІ”УНК ”ІПСА” НТУУ ”КПІ”

Планувальник для обробки задач з великими об'ємами даних та Планувальник для обробки задач з великими об'ємами даних та мінімальним часом передачі файлів для NorduGridмінімальним часом передачі файлів для NorduGrid


Зміст● Характеристика проблемної області● Моделювання процесу планування виконання

завдань в Gridсистемах● Обчислювальні ресурси;● Ресурси зберігання;● Системна мережа;● Черга завдань до постачальника ресурсів;

● Алгоритм і програмна реалізація● Модулі програмної реалізації



Цілі проекту KnowARCЦілі проекту KnowARC● створення нового, потужного Grid наступного

покоління на основі ARC;

● сприяння стандартизації та сумісності Grid;

● сприяння подальшому розвитку Grid технологій.



Потреби віртуальних організаційПотреби віртуальних організацій● у гнучких розподілюваних зв'язках, ранжируваних

від клієнтсерверних до точкаточка;

● в складних і точних рівнях контролю над використовуваними ресурсами, включаючи доступ до сховищ, делегування прав, застосування локальних і глобальних політик;

● у поділі різноманітних ресурсів (програм, файлів, даних для комп'ютерів, датчиків, мереж);

● у різнотипних групах користувачів;

● у плануванні, спільному виділенні ресурсів, обліку.



ММоделювання процесу планування оделювання процесу планування виконання завдань в Gridсистемахвиконання завдань в Gridсистемах

Обчислювальні ресурси

, ім'я/iрадреса;

Складові компоненти:

кількість обчислювальних вузлів/процесорів;

, пікова виробнича потужність го обчислювального вузла/процесора,

z1i(t) (i=1,2 ,...)

z11i(t)

z2j1i(t)

j( j=1, z1

1i(t))



Моделювання процесу планування Моделювання процесу планування виконання завдань в Gridсистемахвиконання завдань в Gridсистемах

(у випадку гомогенних ресурсів: );

вирбнича потужність у тесті

(% від пікової),

(у випадку гомогенних ресурсів: );

оперативна пам'ять;

розмір жорсткого диску;

z21i(t)

z3j1i(t)

( j=1, z11i(t))

z31i(t)

z8j1i(t)

z9j1i(t)




Ресурси зберігання

, ім'я/iрадреса


тип системи зберігання даних (зберігання на єдиному жорсткому диску в кожному вузлі, розподіл даних між вузлами кластеру і т.д.),

об'єм системи зберігання даних,

z2i(t) (i=1,2 ,...)

z1l2i(t)

(l=1,2 , ...)

z2l2i(t) (l=1,2 , ...)




Системна мережа


пропускна спроможність каналів зв'язку між ресурсами постачальників;

середня пропускна спроможність;

z3(t)

z13mn

(t )

z23mn

(t )



ММоделювання процесу планування виконання оделювання процесу планування виконання завдань в Gridсистемахзавдань в Gridсистемах

Завдания ідентифікація


кількість вузлів;,

виробнича потужність;

розмір оперативної пам'яті;

розмір пам'яті на жорсткому диску;

об'єм використовуваного проблемноорієнтовного ПЗ;

об'єм файлів користувача для виконания завдання.

z4s(t)

z54s(t)

z64s(t)

z74s(t)

z84s(t)

z94s(t)

z104s(t )




Черга завдань до постачальника

ресурсів .


статус завдання , ; кількість завдань у черзі в момент часу ;

координата довжини завдання;

координата ширини завдання ;

z5i(t)

z i(t)

z4s zz 4sr5i

(t ) (r=1,2, ...)z2

5i(t) t

z3s5i( t)

z4s5i(t) z4s



Алгоритм і програмна реалізація планування виконання завдань в Gridсистемах

,

тривалості передачі даних між власниками використовуваних баз даних (L число постачальників даних);

тривалість доставки файлів користувача для виконання завдання ;

{d il ,ik=z124s,2 il / z1

3, z2il ,z

2ik

} ( l,k=1, L, l≠k )

{d il=z104s/ z2

3, il }z4s (t )




тривалість проміжків часу обслуговування черг у постачальників , бази даних яких використовуються при виконанні завдання

.

{d 0,i l=∑s=1

z 25il

z 4s5i l z3s

5il / z11, il }

{ z2i l }

z4s (t )




, де

тривалість проміжку часу до початку обробки завдання , постачальником

Di l=max {Rmaxik {d ik , i l}+(1−R)

∑ik , ik≠i l

z124s,2 ik

z23il

, d 0, il }R=signmax {0, [maxik {d ik , i l}−

∑ik , ik≠i l

z124s,2 ik

z23il ]}

z4s (t ) z2i l




та найкоротший проміжок часу до початку обробки завдання постачальником .

Тепер обраний виконавець для виконання завдання:

.

D i j=minil

{D il}z4s (t )

z2i j

z1i4s=[1−signmax {0, L−1 } ] z2i1+signmax {0, L−1} z i j



Модуль підключення планувальників#ifdef HAVE_CONFIG_H#include <config.h>#endif#include "FastestQueueBroker.h"#include "RandomBroker.h"#include "BenchmarkBroker.h"#include "DataBroker.h"#include "TrafficBroker.h"Arc::PluginDescriptor PLUGINS_TABLE_NAME[] = { { "FastestQueue", "HED:Broker", 0, &Arc::FastestQueueBroker::Instance }, { "Random", "HED:Broker", 0, &Arc::RandomBroker::Instance }, { "Benchmark", "HED:Broker", 0, &Arc::BenchmarkBroker::Instance }, { "Data", "HED:Broker", 0, &Arc::DataBroker::Instance }, { "Traffic", "HED:Broker", 0, &Arc::TrafficBroker::Instance }, { NULL, NULL, 0, NULL }};



Модуль підключення планувальника TrafficBroker #ifndef __ARC_TRAFFICBROKER_H__

#define __ARC_TRAFFICBROKER_H__#include <map>#include <arc/client/Broker.h>namespace Arc { class TrafficBroker : public Broker { public: TrafficBroker(const UserConfig& usercfg); ~TrafficBroker(); static Plugin* Instance(PluginArgument *arg); bool DataSet(void); bool CacheAndQueue(void); protected: void SortTargets(); };}endif



ЛітератураПетренко А.I. Моделювання грiдсистем / Петренко А.І. // Системный анализ и информационные технологии: «САИТ2010», 25–29 мая 2010, Киев, Украина : материалы. – К. : УНК "ИПСА" НТУУ "КПИ", 2010. – C. 3133.

Петренко А.І., Свистунов С.Я., Свірін П. Алгоритми балансування навантаження в грідсистемах / Петренко А.І., Свистунов С.Я., Свірін П. // Системні дослідження і інформаційні технології. 2011. №4. (Препринт) .

Пономаренко В.С. Методы и модели планирования ресурсов в GRIDсистемах. : Монография / В.С. Пономаренко, С.В. Листровой, С.В. Минухин, С.В. Знахур. Х. : ВД «ІНЖЕК», 2008. 408 с.



ЛітератураОфициальный сайт компании The Globus Alliance. Режим доступа : http://www.globus.org/. Дата доступа : 19.04.2011.

Официальный сайт Python Programming Language. Режим доступа : http://python.org/. – Дата доступа : 29.05.2011.

Laurence Field Grid Information System Interoperability: The Need For A Common Information Model / Laurence Field, Sergio Andreozzi, Balázs Kónya // eScience : 4th International Conference : PROC. 2008. P. 501507.

Xin Zhou An Easy Setup for Parallel Medical Image Processing: Using Taverna and ARC / Xin Zhou // Studies in Health Technology and Informatics Geneva : IOS Press, 2009. P. 4150.



Дякую за увагу!



DataBroker vs. TrafficBroker

ПЛАНУВАЛЬНИК для задач з ємами...

Documents