Baseline Study Report

1

Українська асоціація оцінювання Об'єднання зусиль для ефективного прийняття рішень

«СТАН РОЗВИТКУ ОЦІНЮВАННЯ В

УКРАЇНІ: ПОПИТ, ПРОПОЗИЦІЯ,

ІНСТИТУЦІОНАЛІЗАЦІЯ»

17 жовтня 2012 рік Київ, Україна

Базове дослідження

2

АВТОРИ Катерина Столяренко, спеціаліст з моніторингу та оцінювання, Міжнародна організація з міграції (керівник робочої групи) Ольга Щетініна, директор департаменту аналізу, планування та оцінювання Благодійного Фонду «Розвиток України» (член робочої групи) Ірина Кравчук, к. н. державного управління, докторант Національної академії державного управління при Президентові України (член робочої групи) Ірина Озимок, заступник директора Постійного представництва Агентства міжнародного технічного співробітництва Міністерства економіки та фінансів Франції – ADETEF (мережі національних експертів з економіки та фінансів) в Україні (член робочої групи) Володимир Тарнай, аспірант Національної академії державного управління при Президентові України (член робочої групи) Наталія Ходько, к. соц. н., консультант зі статистичного аналізу проекту «Розбудова спроможності до економічно обґрунтованого планування розвитку областей і міст України" (РЕОП)» (член робочої групи) Альона Горошко, координатор проектів, Київський міжнародний інститут соціології (член робочої групи)

Базове дослідження

3

ЗМІСТ

Абревіатури 4

I. Стислий огляд 5-6

II. Вступ 7-8

2.1. Передумови дослідження 7-8

2.2. Цілі дослідження 8

2.3. Структура звіту 8

III. Методологія оцінювання 9-11

3.1. Обсяг оцінювання 9

3.2. Період проведення оцінювання 9

3.3. Методи проведення оцінювання 9-10

3.4. Засоби збору та аналізу даних 10

3.5. Обмеження базового дослідження 10-11

IV. Основні поняття 11

V. Результати дослідження 12-32

5.1. Спроможність до оцінювання у державному секторі 12-21

5.2. Спроможність оцінювання у донорських організаціях та проектах технічної допомоги 22-26

5.3. Спроможність до оцінювання у третьому секторі 27-31

5.4. Загальна оцінювання 32

VI. Висновки 33

VII. Рекомендації 34

VIII. Додатки 35-49

Додаток 1. Перелік використаної літератури 35-37

Додаток 2. Перелік інтерв’ю 38-39

Додаток 3. Система критеріїв розвитку спроможності до оцінювання 40

Додаток 4. Матриця шкали оцінювання 41

Додаток 5. Опитувальники 42-49

Базове дослідження

4

АБРЕВІАТУРИ

ВІЛ/СНІД Вірус імунодефіциту людини / Синдром набутого імунодефіциту

ЄС Європейський Союз

КАМР Канадське агентство міжнародного розвитку

КСР ОЕСР Комітету сприяння розвитку Організації економічного співробітництва та розвитку

МіО Моніторинг та оцінювання

МОМ Міжнародна організація з міграції

НУО Неурядові організації

ООН Організація об’єднаних націй

ПРООН Програма розвитку Організації Об’єднаних Націй

ТЗ Технічне завдання

УАО Українська асоціація оцінювання

УНЗ ООН Управління ООН з наркотиків та злочинності

ШАМР Шведське агентство з питань міжнародної співпраці та розвитку

ШАПР Швейцарське агенство з міжнадордного розвитку

ЮНЕЙДС Об'єднана Програма ООН з ВІЛ/СНІДу в Україні

ЮНЕП Програма ООН з навколишнього середовища

ЮНІСЕФ Дитячий фонд ООН

UNITER Проект «Об'єднуємося заради реформ»

USAID Агентство США з міжнародного розвитку

Базове дослідження

5

I. СТИСЛИЙ ОГЛЯД

Українська асоціація оцінювання є всеукраїнською неурядовою професійною мережею у сфері моніторингу та оцінювання. У лютому-жовтні 2012 р. асоціацією було проведено базове дослідження «Стан розвитку оцінювання в Україні: попит, пропозиція, інституціоналізація» у межах стратегічної діяльності асоціації у 2012 р. Метою дослідження було визначення стадії розвитку спроможності до моніторингу та оцінювання в Україні у трьох секторах (державні установи, донорські організації та проекти технічної допомоги, та третій сектори), зокрема, через (1) з’ясування розуміння термінів «моніторинг» та «оцінювання», (2) аналіз попиту та пропозиції на МіО, та (3) оцінку рівня організаційного оформлення (інституціоналізації) МіО. Дослідження охоплює п’ятирічний період (2007-2011). В рамках дослідження були проведені аналітичний огляд тридцяти дев’яти документів та двадцять сім глибинних напівструктурованих інтерв’ю з представниками та експертами з державних установ, донорських та неурядових організацій. Дослідження показало, що розвиток спроможності до оцінювання в Україні залишається на доволі низькому рівні: брак людських та фінансових ресурсів обмежую використання та головною рушійною силою є потреби донорів у звітності та управлінні програмами. Розуміння термінів «моніторинг та «оцінювання» різниться в усіх трьох секторах. У державному секторі поняття «моніторинг» та «оцінювання» часто плутають із термінами «контроль» та «перевірка». Чітке розуміння цих термінів характерне для донорських організацій та проектів технічної допомоги, так само як і для тих НУО, де здійснюють МіО. Значно різняться в цих секторах також ступінь застосування оцінювання та забезпеченість кваліфікованим персоналом та фінансовими ресурсами. Нормативно-правова база щодо моніторингу та оцінювання існує у державному секторі України, проте на практиці оцінювання проводиться нерегулярно та виконується формально. Крім того, існує певний брак чітких та ефективних показників і механізмів для збору даних. Державні органи не замовляють зовнішнє оцінювання державних програм з власної ініціативи. Рівень політичної волі щодо розвитку оцінювання в Україні низький. Керівники вищої ланки державної служби та представники урядових структур не в повній мірі розуміють і визнають важливість оцінювання. Тому результати моніторингу та оцінювання практично не використовують у прийнятті політичних рішень. Людські ресурси та бюджети для проведення МіО відсутні, до того ж, місцевим кадрам бракує досвіду. Міжнародні експерти з оцінювання «котируються» вище за вітчизняних. Кінцеві результати оцінювання державних програм недоступні для громадськості. Культура оцінювання у третьому секторі України не дуже добре розвинута, хоча існує тенденція до її зростання. Попит на моніторинг та, особливо, оцінювання формується переважно міжнародними донорськими організаціями. В третьому секторі бракує фінансування та людських ресурсів для здійснення МіО. Частіше використовується моніторинг, оскільки він зазвичай не потребує зовнішнього фінансування та виконується персоналом проекту. Оцінювання фінансується головним чином за рахунок міжнародних донорських організацій та виконується зовнішніми консультантами, здебільшого також міжнародними. Застосування оцінювання залежить від замовника та цілей оцінювання. Якщо оцінювання виконують для цілей управління проектом, то звіт за його результатами рідко оприлюднюються, оскільки він використовується для прийняття внутрішніх

Базове дослідження

6

адміністративних рішень. Деякі звіти з оцінювання стають доступні для громадськості, але багато з них написані англійською мовою. Підсумовуючи, попит на МіО формується здебільшого міжнародними донорськими організаціями та проектами технічної допомоги як у державному, так і у третьому секторах. Ці організації забезпечують залучення міжнародних експертів для проведення оцінювання. Донорські організації та сектор технічної допомоги мають добре розуміння МіО (зазвичай різні донори мають свої власні стандарти та процедури МіО) та застосовують його для прийняття стратегічних адміністративних рішень у державному секторі та секторі НУО. Результати оцінювання доступні для громадськості для ознайомлення, а також для забезпечення прозорості, однак більшість звітів складена англійською мовою. Донорські організації зазвичай виділяють для МіО достатній обсяг ресурсів. Об’єм виділених ресурсів на МіО залежить від самого донора, проекту/програми та тематичної сфери. Проте, зважаючи на поступове зменшення донорськими організаціями допомоги Україні, можна припустити, що це джерело ресурсів рано чи пізно буде вичерпане. Більш того, різниця у стандартах донорів призводить до безсистемності у замовленні та використанні результатів оцінювання представниками державного та третього секторів. В результаті, ступінь розвитку спроможності до оцінювання в трьох секторах різниться: 1) в державному секторі – попит та пропозиція на оцінювання є помірно задовільними та супроводжуються низьким рівнем інституціоналізації; 2) у третьому секторі - попит та пропозиція на оцінювання є помірно задовільними, тоді як рівень інституціоналізації є задовільним; 3) у донорських організаціях та проектах технічної допомоги – попит, пропозиція та рівень інституціоналізації є задовільними. Отже, в Україні існує гостра потреба у стимулюванні попиту на МіО у державному та третьому секторах та у збільшенні кількості місцевих експертів в країні. У зв'язку з цим рекомендується сприяти розвитку культури МіО, а також створювати професійну платформу оцінювачів в Україні шляхом:

o Збільшення обізнаності та розуміння щодо МіО у державному секторі та секторі НУО; o Створення структури МіО на державному рівні; o Вивчення міжнародного досвіду та адаптації його до реалій України; o Розроблення та узгодження глосарію термінів на українській мові та використання його як

стандарту; o Ініціації професійних дискусій щодо оцінювання серед вітчизняних та міжнародних

експертів; o Інституціоналізації та формалізації мережі оцінювання в Україні; o Збільшення спроможності до оцінювання через освітню діяльність; o Розроблення механізму дій для використання результатів оцінювання; демонстрація того, як

рекомендації, отримані в результатів проведення МіО використовуються для організаційного та інституційного розвитку.

Це базове дослідження буде широко розповсюджене серед представників усіх трьох секторів та представлено на міжнародних конференціях. Рекомендації дослідження також стануть основою для подальшої роботи та розвитку Української асоціації оцінювання у найближчі роки.

Базове дослідження

7

II. ВСТУП

2.1. Передумови дослідження На сьогоднішній день як у розвинутих країнах, так і у країнах, що розвиваються, відбувається зростання рівня обізнаності щодо потенційної ролі, яку може відігравати оцінювання у покращенні якості прийняття рішень у державному секторі. Оцінювання все частіше визнається як важливий фактор у сприянні прозорості та звітності; у деяких випадках воно навіть розглядається як невід’ємна частина розвитку громадянського суспільства. Інакше кажучи, оцінювання ефективності державної політики є важливим інструментом ефективного державного управління. На даний момент спроможність до оцінювання в Україні мало розвинута. Оцінювання здійснюються рідко, та й ті нечисленні випадки, коли воно проводиться, є здебільшого наслідком попиту з боку донорських організацій. Таким чином, є потреба в розвитку культури оцінювання в Україні: це дасть можливість аналізувати, які державні ініціативи працюють ефективно, а які ні і, найголовніше, чому так відбувається. Проте перед тим, як це здійснити, важливо оцінити поточний стан розвитку спроможності до оцінювання в Україні. У цьому контексті було ініційоване базове дослідження «Стан розвитку оцінювання в Україні: попит, пропозиція та інституціоналізація». Це дослідження фокусується на усвідомленні існуючого попиту та пропозиції щодо моніторингу та оцінювання, а також на визначенні рівня інституціоналізації моніторингу та оцінювання в державних установах, міжнародних донорських організаціях та НУО. Цей аналіз також має на меті створити підґрунтя для необхідних напрямків роботи в цій сфері, й тому було націлене передусім на збір інформації. Також дане дослідження надасть інформацію, котру можна бути використовувати представниками різних секторів під час розробки стратегій та визначення конкретних ініціатив, націлених на підтримку та інституціоналізацію культури

оцінювання в Україні. Базове дослідження було виконане Українською асоціацією оцінювання (УАО) як обов’язковий захід, спланований згідно з її стратегічними завданнями на 2012 рік. Українська асоціація оцінювання є всеукраїнською неурядовою професійною мережею в сфері оцінювання, що була заснована у липні 2011 р. та нараховує більше 100 членів станом на вересень 2012 р. Її діяльність спрямована на розвиток та зміцнення спроможності до оцінювання у державному, приватному та третьому секторах в Україні, а також сприяння застосуванню оцінювання як інструменту належного врядування, що базується на засадах прозорості, звітності, ефективності та результативності державно-адміністративної діяльності, розвитку громадянського суспільства та приватного сектору. Висновки базового дослідження стануть основою для ініціатив УАО на підтримку розвитку спроможності оцінювання в Україні. Результати дослідження будуть широко розповсюджені. Зокрема, результати оцінки будуть представлені: (1) на міжнародних конференціях – Міжнародної мережі «Оцінювання програм» (IPEN) в Астані, Казахстан (26-28 вересня 2012 р.) та 10-й конференції Європейської асоціації оцінювання у Гельсінкі, Фінляндія (3-5 жовтня 2012 р.); (2) на офіційній презентації дослідження для представників державного сектору, донорських організацій та НУО у Національній Академії державного управління при Президентові України у Києві, Україна (14 листопада 2012 р.); (3) на різних Інтернет-ресурсах, включаючи Facebook, Живий Журнал, Ресурсний центр ГУРТ, порталі ―Громадський простір‖, (4) на семінарі «Абетка оцінки для благодійних проектів та програм» для представників третього сектору

Базове дослідження

8

у Києві, Україна (січень-лютий 2013 р.); а також (5) у Інтернет-розсилці «Інформаційний дайджест Центру політичних студій та аналітики та у бюлетені IPEN у жовтні 2012 р.

2.2. Завдання дослідження

Метою цього базового дослідження є визначення стадії розвитку спроможності до моніторингу та оцінювання в Україні.

Дослідження спрямоване на виконання таких завдань:

З'ясувати розуміння термінів «моніторинг» та «оцінювання» представниками зацікавлених сторін;

Проаналізувати попит та пропозицію на МіО окремо по різних секторах (державні установи, донорські організації та НУО);

Оцінити ступінь інституціоналізації МіО у практиці різних зацікавлених сторін (типи оцінювання, функції, процедури, вимоги і т.д.).

2.3. Структура звіту

Цей документ складається з наступних розділів:

Розділ 1 стисло окреслює результати базового дослідження; Розділ 2 описує завдання дослідження та використані методи; Розділ 3 пропонує тлумачення ключових понять та термінів в області розвитку спроможності до оцінювання, враховуючи використання мови як важливого компоненту для уникнення можливих непорозумінь; Розділ 4 надає загальний опис головних результатів аналізу спроможності оцінювання у трьох секторах (державні установи, донорські організації/проекти технічної підтримки та НУО); Розділ 5 містить загальний висновок щодо стану розвитку спроможності до оцінювання в Україні та стислий опис головних рекомендацій. У Додатках представлені перелік джерел інформації, використаної при написанні цього звіту, а також список респондентів.

Базове дослідження

9

III. МЕТОДОЛОГІЯ ОЦІНЮВАННЯ

В цьому розділі викладений огляд методологічного підходу, використаного в цьому дослідженні. Обсяг оцінювання Це базове дослідження охоплює три сектори: 1) державний сектор, 2) донорські організації та проекти технічної допомоги 3) сектор НУО в Україні. Розглядається п’ятирічний період, тобто роки 2007-2011. Період проведення дослідження Оцінювання провадилося протягом лютого-жовтня 2012 р. Аналіз виконувався у чотири етапи:

Етап 1: Розробка Технічного завдання (лютий-квітень 2012 р.);

Етап 2: Аналіз документів (лютий-липень 2012 р.);

Етап 3: Збір даних (червень-серпень 2012 р.);

Етап 4: Аналіз даних та написання звіту (серпень-жовтень 2012 р.). Методи проведення оцінювання Для даного дослідження використовувались виключно якісні методи збору даних. Зокрема, оцінювання основувалося на таких джерелах інформації, як:

1. Аналіз документів; 2. Інтерв’ю з експертами кожного з трьох секторів.

Аналіз документівДля збору та аналізу доступної фактичної інформації щодо розвитку спроможності до оцінювання був застосований огляд документів. Він складався з розгляду таких джерел: 1.1. Керівні документи, розроблені центральними органами державної влади (стратегічні робочі

плани центральних органів виконавчої влади, щорічні робочі плани центральних органів влади, державний бюджет, план заходів щодо впровадження програми Кабінету Міністрів);

1.2. Звіти Міністерств про виконання програм; 1.3. Аналітичні дослідження стану розвитку оцінювання, виконані спеціалістами в цій сфері; 1.4. Статистичні дані, опубліковані Міністерствами та Національним бюро статистики; 1.5. Методики оцінювання, що використовуються різними донорськими організаціями; 1.6. Нормативно-правова база щодо функціонування НУО в Україні та аналітичні звіти про їхню

роботу. Докладний перелік розглянутих документів надається у Додатку 1. Інтерв’ю Були проведені глибинні напівструктуровані інтерв’ю з представниками кожного сектору, а саме спеціалістами державних закладів, донорських організацій та неурядових організацій. Всього проведено 27 особистих та телефонних інтерв’ю, зокрема:

o Державний сектор:

Базове дослідження

10

5 інтерв’ю з представниками Секретаріату Кабінету Міністрів України, Міністерства економічного розвитку і торгівлі, Міністерства фінансів, Українського центру розвитку допомоги

4 експертних інтерв’ю з представниками Міністерства охорони здоров’я, Міністерства освіти, Центру політичних студій та аналітики, Центру аналізу політики та стратегій

o Донорські організації:

8 інтерв’ю з представниками КАМР та проектів технічної допомоги, що фінансуються USAID, ЮНІСЕФ, УНЗ ООН та МОМ

2 експертних інтерв’ю з представниками Європейської служби зовнішньополітичній діяльності та UNITER

o НУО:

5 інтерв’ю з представниками Міжнародного альянсу з ВІЛ/СНІД в Україні, Творчого центру Каунтерпарт, БФ «Розвиток України» та Українського центру порозуміння

3 експертних інтерв’ю з представниками Творчого центру Каунтерпарт, Українського форуму благодійників та Фонду «Демократичні ініціативи»

У Додатку 2 надається повний перелік осіб, що погодилися взяти участь у інтерв’ю. Засоби збору даних та аналіз даних Основою для розробки інструментарію базового дослідження став польський досвід аналізу розвитку спроможності оцінювання у країнах – членах ЄС.1 Були розроблені два типи опитувальників; один для представників трьох досліджуваних секторів, а другий для експертів (див. Додаток 5). Обидва опитувальники були напівструктурованими, тобто містили як відкриті, так і закриті запитання. Було виділено 4 тематичні розділи, а саме: (1) розуміння термінів «моніторинг» та «оцінювання»; (2) аналіз аспекту попиту на оцінювання; (3) огляд масштабів пропозиції щодо оцінювання; та (4) виявлення ступеня інституціоналізації оцінювання. Для аналізу результатів дослідження про стан розвитку спроможності до оцінювання у державному секторі, донорських організаціях та третьому секторі була розроблена системи критеріїв оцінки розвитку спроможності до оцінювання, котра описана у Додатку 3. Крім того, для полегшення порівняння даних була введена 4-бальна шкала оцінки по кожному з аспектів розвитку спроможності до оцінювання (попит, пропозиція, інституціоналізація), за якою 4 вважалось за найвищий бал, а 1 – за найнижчий. Детальніша матриця оціночної шкали наведена у Додатку 4. Обмеження базового дослідження Це базове дослідження має ряд обмежень:

Методологічні інструменти були заново розроблені та були апробовані тільки упродовж проведення даного дослідження.

1 Методологія дослідження: Karol Oleiniczak. Statisław Bienias. Piotr Strzeboszewski (2012). (eds.) Evaluation of Cohesion Policy.

(Оцінювання політики згуртування)

Базове дослідження

11

Обсяг вибірки був обмежений наявними кадровими та фінансовими ресурсами команди дослідників. Всі опитані респонденти були залучені до дослідження завдяки професійним контактам та зв’язкам членів УАО.

Аналіз нормативно-правової бази у державному секторі був обмежений розглядом основних законів, норм та постанов, що регулюють роботу державних закладів на функціональному рівні, виключаючи галузеве регулювання на рівні міністерств та центральних органів виконавчої влади .

Системи МіО на місцевому та обласному рівні не були охоплені, оскільки це потребувало б окремого поглибленого дослідження.

Дослідження охоплює лише стан розвитку спроможності до оцінювання на рівні проекту, програми, політики та стратегії. Воно не включало оцінку стану організаційного розвитку у трьох секторах.

Приватний сектор не був включений у дослідження.

IV. КЛЮЧОВІ ПОНЯТТЯ

У межах цього дослідження термін «моніторинг та оцінювання» (МіО) розумітиметься згідно з визначенням, наданим у глосарії КСР ОЕСР, за яким «моніторинг» - це постійна функція, що застосовує систематичний збір даних для забезпечення досягнення визначених завдань проекту/програми у межах запланованих строків та бюджету, а «оцінювання» - це системний та об’єктивний аналіз здійснюваного або завершеного проекту, програми або політики, їх плану, процесу реалізації та результатів, який провадиться з метою визначення актуальності та міри виконання завдань, ефективності, результативності, наслідків та стабільності. У свою чергу «система моніторингу та оцінювання» розглядалася як низка організаційних структур, процесів управління, стандартів, стратегій, планів, показників, інформаційних систем, ліній підпорядкування та відносин підзвітності, які взаємодіють для вчасного надання інформації особам, уповноваженим для прийняття рішень. При цьому під визначенням «розвиток спроможності до оцінювання»2 розуміється процес створення систем та інфраструктури, необхідної для здійснення оцінювання, що складається з трьох аспектів: (1) попит на оцінювання – спроможність та готовність організацій замовляти та застосовувати оцінювання, коли вони або переконані у користі оцінювання, або відчувають тиск з боку надавачів зовнішньої допомоги; (2) пропозиція оцінювання – акцент робиться на доступності ресурсів, професійних знань та інформаційної інфраструктури, потрібних для ефективного реагування на існуючий попит; та (3) інстітуціоналізація – створення системи моніторингу та оцінювання, яка надає релевантну моніторингову інформацію для проведення якісного оцінювання, результати якого використовуються основними стейкхолдерами для впровадження принципів належного врядування. Розуміння різних аспектів розвитку спроможності до оцінювання потребує урахування цілого комплексу критеріїв. Аспект попиту аналізувався за трьома критеріями: структура, ресурси оцінювання та якість систем моніторингу. Аспект пропозиції оцінювався за якістю зовнішніх джерел соціо-економічних даних та доступністю та якістю спеціальних знань з оцінювання, тоді як інституціоналізація розглядалася через призму розповсюдження та використання результатів оцінювання.

2 Кейт Маккей. Розвиток спроможності до оцінювання: Інституціоналізація систем моніторингу та оцінки як інструмент покращення

управління у державному секторі. Робоча доповідь з розвитку спроможності до оцінювання, серія 15, Всесвітній банк, січень 2006 р.

Базове дослідження

12

Baseline Study Report

13

V. РЕЗУЛЬТАТИ ДОСЛІДЖЕННЯ

У цьому розділі викладені основні результати базового дослідження. Дані були скомпоновані окремо по кожному з секторів (спроможності до оцінювання у державному секторі, секторі донорських організацій та проектів технічної допомоги, а також НУО) та структуровані таким чином: а) стислий огляд літератури, b) розуміння термінів «моніторинг» та «оцінювання», c) аналіз аспектів спроможності до оцінювання, d) загальний висновок по сектору та e) загальні рекомендації. Наприкінці розділу надається також загальний аналіз усіх трьох секторів.

5.1. Спроможність до оцінювання у державному секторі а) Стислий огляд літератури

Аналіз оцінювання у державному секторі України ґрунтувався на аналізі чинного законодавства, що формує юридично-організаційний механізм оцінювання державної політики в Україні. До його складу входять як (1) правові засади функціонування оцінювання, так і (2) інституційний/організаційний механізм. Правові засади оцінювання державної політики враховувалися при аналізі нормативно-правових документів, пов’язаних з оцінюванням стратегічних документів та бюджетних програм, тоді як інституційний механізм оцінювання державної політики включав аналіз державних інститутів, які мають повноваження ініціювати та провадити оцінювання державної політики та програм. У зв’язку з цим було важливо проаналізувати повноваження державних органів влади у сфері оцінювання державної політики та програм та розглянути базові передумови, необхідні для функціонування інституційного механізму оцінювання. Огляд літератури показав, що державна політика в Україні проводиться за багатьма стратегіями, програмами та планами дій. Її реалізація оцінюється здебільшого на рівні безпосередніх результатів. Причини успіху або провалу законів та програм належним чином не аналізуються. Оцінювання фрагментарно застосовується на всіх етапах та рівнях державного сектору в Україні. Оцінювання фрагментарно використовується на всіх етапах та рівнях державного сектору в Україні. Лише окремі елементи використання оцінювання присутні у стратегічному плануванні, аналізі державної політики, аналізі впливу нормативних правових актів, прийнятті рішень та складанні бюджету.

Планування Процес прийняття рішень

Контроль використання державних ресурсів

Стратегічний рівень

Стратегічне планування та прогнозування

Використання результатів оцінювання

Аналіз державної політики; аудит ефективності, оцінювання впливів

Тактичний рівень

Планування регіонального розвитку та розробка місцевих нормативних актів

Моніторинг та оцінювання урядових проектів та програм; аналіз впливу регуляторних актів

Перш за все, Конституція України та Бюджетний Кодекс України створюють законодавчу основу для урядового правового акту щодо використання оцінювання в Україні. По-друге, деякі елементи використання оцінювання у стратегічному плануванні регулюються такими нормативно-правовими актами, як:

Базове дослідження

14

Закон України «Про державне прогнозування та розроблення програм економічного і соціального розвитку України» - регулює розробку прогностичних та програмних документів економічного та соціального зростання на короткий та середній термін.

Закон України «Про стимулювання розвитку регіонів», - визначає обов’язкове застосування соціально-економічної ефективності реалізації урядової програми, яка використовується для оздоровлення депресивних регіонів.

Згідно з Постановою КМУ від 26 квітня 2003 р. № 621 "Про розроблення прогнозних і програмних

документів економічного і соціального розвитку та складання проекту державного бюджету" програми соціально-економічного розвитку на короткотерміновий період мають впровадити оцінювання тенденцій економічного розвитку.

Розпорядження КМУ від 4 жовтня 2006 р. № 504-р "Про схвалення Концепції вдосконалення системи прогнозних і програмних документів з питань соціально-економічного розвитку України" - визначає перелік стратегічних документів та закладає основу для розвитку стратегічного планування та попиту на оцінювання.

По-третє, деякі урядові акти можуть бути умовно віднесені до категорії аналізу державної політики, що ґрунтується на оцінюванні:

Закон України "Про державні цільові програми" - визначає обов’язкове оцінювання ефективності програм за економічними, соціальними та екологічними показниками.

Розпорядження КМУ від 14 вересня 2002 р. № 538-р "Про схвалення Концепції застосування програмно-цільового методу в бюджетному процесі" впроваджує оцінювання діяльності учасників складання бюджету, аналіз ступеня реалізації цілей.

Постанова КМУ від 31 січня 2007 р. N 106 "Про затвердження Порядку розроблення та виконання державних цільових програм" - затверджує порядок розробки державних програм, а також паспорт державної програми, який має містити блок оцінювання.

Наказ Міністерства Фінансів України від 17.05.2011№ 608 "Про затвердження Методичних рекомендацій щодо здійснення оцінки ефективності бюджетних програм" - регулює оцінювання ефективності державних програм у процесі складання державного бюджету та безпосередньо під час її виконання.

Наказ Міністерства Економіки України від 24.06.2010 № 742 "Про затвердження Методичних рекомендацій щодо проведення оцінки економічної і соціальної ефективності виконання державних цільових програм" - визначає алгоритм оцінювання ефективності програм місцевого рівня, методи оцінки синергетичних ефектів взаємодії програм місцевого рівня та оцінки інтегральних показників соціальної та економічної ефективності.

Наказ Міністерства Фінансів України від 10.12.2010 N 1536 "Про результативні показники бюджетної програми" схвалює загальні вимоги до результативних показників державної програми для головних розпорядників бюджетних коштів (Міністерства та інші). Крім того, ряд законів регулюють діяльність ключових державних органів влади, які мають проводити оцінку ефективності, зокрема Указ Президента України Про Положення про Міністерство фінансів України (проведення аналізу фінансово-економічного стану держави); Закон України "Про Рахункову палату" (аналіз зовнішнього фінансового контролю за використанням ресурсів, що виділяються з Державного бюджету); "Про державну фінансову інспекцію в Україні"(здійснення внутрішнього контролю за ефективним використанням бюджетних ресурсів, надійністю та достовірністю фінансової звітності, паспортів бюджетних програм та звітів про їх реалізацію).

Базове дослідження

15

По-четверте, Секретаріат Кабінету Міністрів України певною мірою використовує елементи раніше проведеного оцінювання у розробці проектів постанов правових актів. Пояснювальна записка до проекту правового акту містить підстави, обґрунтування, аналіз проблем, фінансові розрахунки та очікувані соціальні та економічні результати, які витікають з Постанови від 8 липня 2009 р. № 712 . Постанова від 11 березня 2004 р. № 308 "Про затвердження методик проведення аналізу впливу та відстеження результативності регуляторного акта" затверджує комплекс дій та методів процесу прийняття рішень та відслідковування їх результатів. Розпорядження від 17 жовтня 2007 р. N 888-р "Про схвалення Стратегії модернізації системи управління державними фінансами" визначає, що рішення мають базуватися на результатах оцінки, досвіді та оцінці майбутнього впливу. Процедури мають бути відкритими, прозорими та доступними для засобів масової інформації та громадянського сектору. Цей перелік правових актів неповний; він наведений з метою надати загальну уяву про ступінь правової урегульованості оцінювання у різних сферах державного сектору в Україні. Враховуючи відсутність деяких законів, таких як закон про стратегічне планування або закон про внутрішній контроль, та з огляду на Конституцію 1996 р., що обмежує доступ Рахункової палати до оцінювання надходжень до бюджету та бюджетних установ, можна зробити висновок про недостатнє застосування оцінювання у роботі державних органів влади.

a) Розуміння термінів «моніторинг» та «оцінювання» Опитувані державні чиновники, які охоплюють як якісні, так і кількісні аспекти їх роботи і роблять це систематично, досить добре розуміють термін «моніторинг». Багато респондентів дуже близькі до чіткого розуміння оцінювання як оцінки ефективності, результативності, впливу програм та заходів, кореляції результатів із запланованими цілями і показниками. Проте, точне розуміння терміна «оцінювання» серед представників органів державної влади відсутнє. Не розуміють особливостей оцінки, таких як періодичність та систематичність незалежного оцінювання, оцінювання плутають з перевіркою і контролем. Бракує розуміння того, що оцінювання є регулярним інструментом навчання та управління. Розуміння цих термінів потребує небагатьох дій. Перший крок – мати відносно постійний персонал в цих державних установах, який би не змінювався кожний рік або два. Другий крок - забезпечити належне навчання цього персоналу в області MіО, але спочатку вони повинні навчитися проводити оцінку, вивчити, які є технології та інструменти оцінки, і тільки тоді, коли вони пройдуть цей перший крок, вони повинні почати вивчення моніторингу, його методів та типів, після цього треба вибрати найбільш здібних для виконання такої роботи, надати їм посади і дозволити їм брати участь у моніторингових дослідженнях. Без цього процес державного управління в будь-якій галузі і в країні в цілому неможливий.

b) Аналіз аспектів розвитку спроможності до оцінювання

Аспект попиту 1.1. Структура, ресурси оцінювання, якість систем моніторингу Всі респонденти вважають, що оцінювання допомагає в ефективному здійсненні та вдосконаленні проекту, програми або політики, і їхні організації таки проводять оцінювання політики (програм, проектів). Зовнішні експерти налаштовані більш скептично та вважають, що культура оцінювання практично відсутня, як відсутній і попит на оцінювання з боку державних управлінців в Україні.

Базове дослідження

16

Більшість представників державних установ та зовнішні експерти сходяться на думці, що моніторинг в державному секторі більш розвинутий порівняно з оцінюванням. Кожна сфера політики має свої власні показники, щодо яких здійснюється моніторинг. Більшість показників, що використовуються державними установами, є кількісними, а не якісними. Дуже мало органів використовують якісні показники. Оцінювання застосовується рідше. Тільки деякі програми мають систему MіО. Але існує система контролю реалізації державних планів, програм і різних завдань. Основна функція цієї старомодної радянської системи полягає в реєстрації реалізації різних заходів. Навряд чи можна говорити про сучасну систему моніторингу, яка може дозволити прогнозувати і оцінювати короткострокові, середньострокові та довгострокові результати. Вимоги до MіО встановлюються або законодавчими вимогами, внутрішньою необхідністю, та/або рішеннями Кабінету міністрів. Деякі експерти вважають, що немає ніякої внутрішньої необхідності, є тільки законодавчі вимоги та вимоги донорських організацій. Проте оцінювання здійснюється здебільшого формально. Дуже часто це формальне оцінювання з висновками та рекомендаціями, що не мають обов'язкової сили. У випадках, коли застосовується оцінювання, вона не впливає на програму чи політику. Існує величезна прірва між процесом моніторингу й оцінювання та прийняттям рішень. Експерти кажуть, що деякі нові програми починаються, коли попередні програми реалізовані менш ніж на 8, 10, 12%, без оцінювання їхньої ефективності та результативності. Багато проблем викликано зміною політичного курсу, плинністю кадрів. Не вистачає також кваліфікованих фахівців з оцінювання і методик. Сфери освіти та охорони здоров'я є винятками - вони є більш розвиненими та мають свої власні системи MіО, частково внаслідок вимог з боку донорських організацій. Щодо зовнішнього громадського моніторингу та оцінювання, експерти відзначають, що державні установи не використовують результати моніторингу та оцінювання, підготовлені НУО. Громадський моніторинг може виявити корупційні зв’язки . НУО можуть формулювати свої пропозиції та знаходити порушення, але немає правового механізму для прямого впливу використання результатів моніторингу. Відсутня політична воля використовувати результати громадського моніторингу. Представники державних установ та експерти вважають, що в державному секторі використовуються практично всі види оцінювання. Найчастіше внутрішні, середньострокові і підсумкові оцінки застосовуються до проектів. Зовнішні оцінювання та оцінювання впливу використовуються рідко, оскільки це може показати погану реалізацію проектів. Коли це можливо, зовнішнього оцінювання намагаються уникнути. Для програм застосовується як внутрішнє, так і зовнішнє оцінювання. Але інколи зовнішнє оцінювання сприймається як контрольна функція управління вищих державних органів, таких як Адміністрація Президента або Кабінет Міністрів. Найчастіше застосовується підсумкове оцінювання програм. Оцінювання очікуваних результатів, середньострокова оцінювання та оцінювання впливу застосовуються рідко. Щодо політик, більшість експертів підкреслюють, що моніторинг застосовується частіше ніж оцінювання. Найбільш популярним є внутрішнє оцінювання політики, рідко зовнішнє. Багато респондентів відзначили, що до політик застосовується оцінювання впливу. Експерти також вказали

Базове дослідження

17

оцінювання очікуваних результатів, середньострокове оцінювання і підсумкове оцінювання політик. В деяких відповідях оцінювання пов’язують з дослідженням. Було наведено такі приклади оцінювання:

оцінювання результатів функціонування окремих робочих сфер чи державних органів, щодо виконання певних завдань і цілей, аналіз виконання бюджету з урахуванням якісних та кількісних показників;

оцінювання проектів правових актів, розрахунки Міністерства торгівлі та економічного розвитку щодо готовності економіки до здійснення заходів та наслідків для економіки (прогностична оцінювання/оцінювання очікуваного впливу);

здійснення Національного плану дій на 2011-2012 роки щодо реалізації Програми економічних реформ на 2010-2014 роки «Багате суспільство, конкурентоспроможна економіка, ефективна держава» передбачає деякі вимоги щодо моніторингу;

оцінювання державних цільових програм; оцінювання будь-якого рішення уряду або законопроекту про показники бюджету, вплив і витрати; законопроекту про бюджет; урахування внутрішніх і зовнішніх чинників у процесі розробки політики; підготовка правових актів про бюджет та інших правових актів є певною мірою оцінюванням доцільності та необхідності прийняття рішення по них;

Проміжне і підсумкове оцінювання державної цільової програми по боротьбі з ВІЛ-інфекцією.

Жодних загальних стандартів для оцінювання якості доповідей не існує. Немає чітких критеріїв для структури звітів. Є вимоги до структури звітів про державні цільові програми та бюджетні програми. Проте, відсутня будь-яка практика оцінки якості звітів. Звіти не мають стандартизованого формату. Як правило, необхідну структуру і формат звіту встановлює той, хто фінансує оцінювання. Бюджетні звіти готуються як оцінювання бюджетних витрат шляхом опису кількісних і якісних показників бюджетних програм, рівня фінансування у даному звітному періоді та причин недофінансування. Крім того, звіти намагаються показати ситуацію в більш позитивному вигляді. Більше уваги приділяється успішним сферам і менше неуспішним. Зазвичай звіти описують факти, яскраві приклади, які демонструють успіх цієї діяльності. Їм не вистачає конкретики, аналізу тенденцій, статистичних матеріалів, аналізу динаміки процесів, загальної картини реалізації програми. У більшості випадків державні установи не мають спеціального програмного забезпечення для MіО. У деяких випадках для оцінки впливу використовуються прогностичні моделі. Міністерство фінансів має програмне забезпечення для бюджету (АІС). Іншим прикладом є DevInfo – Національні базові показники MіО з ВІЛ-інфекції. Крім того, для аналізу біологічних і поведінкових досліджень використовується пакет SPSS. Деякі гранти і проекти мають свої власні системи моніторингу. Виділення фінансових і людських ресурсів для моніторингу оцінювалось як достатнє. Між тим, виділення фінансових і особливо людських ресурсів для оцінки було розцінено як недостатнє. Усі міністерства і відомства мають підрозділи з контролю, але рідко підрозділи з моніторингу. Практично кожен структурний підрозділ в межах своєї компетентності має фахівців з моніторингу. Міністерство фінансів має окремий департамент з моніторингу. В кожній області політики є приблизно 2-3 особи, що відповідають за моніторинг. В міністерствах немає підрозділів з оцінювання. Винятком є Центр моніторингу та оцінювання, що діє як структурний підрозділ Українського центру профілактики СНІДу Міністерства охорони здоров'я України.

Базове дослідження

18

Багато експертів відзначили, що немає достатньої кількості кваліфікованих оцінювачів, які могли б здійснювати оцінку державних програм та політики. Кількість спеціальних навчальних програм також обмежена. Крім того, експерти потребують методологічної підтримки. Таким чином, фахівці підкреслили своєчасність створення Української асоціації оцінювання. Створення асоціації оцінювання є великим кроком - це показує, що є певна кількість людей з прогресивними поглядами, які готові працювати для позитивних змін. До УАО входять представники різних секторів, і це створює синергію.

Аспект пропозиції

1.2. Наявність та якість професійних знань в галузі оцінювання Більшість опитаних представників державного сектора вважають, що рівень пропозиції в сфері MіО залежить від сектору і виду MіО. Деякі експерти оцінюють рівень пропозиції як посередній.

Головними характеристиками, що згадувались експертами як необхідні для оцінювання, були:

- Прозорість (всі висновки доступні для суспільства, якщо немає важливих причин, що суперечать цьому принципу);

- Підзвітність (інформація про використовувані ресурси також відкрита для суспільства);

- Підхід, що передбачає спільну участь (суспільство має можливість приймати участь і висловлювати свою думку);

- Залученість (традиційно виключені інтереси представлені через MіО). Це потребує цілого ряду ресурсів: людських, фінансових, законодавчих, а також доступу до даних потрібної інформації. Відповідно до цих критеріїв і враховуючи все ще дуже бюрократичну систему державного управління, пропозиція щодо оцінки в Україні є досить слабкою, бракує об'єктивних даних з державних установ, рівень участі представників громадянського суспільства низький. Проте, основна перешкода полягає в сприйнятті ролі оцінки. Рекомендації експертів не є обов'язковими для виконання і рідко служать основою для прийняття рішень в галузі стратегічного планування та розробки політики. Потрібна підтримка державного керівництва на найвищому рівні. Участь міжнародних організацій, що спеціалізуються на MіО, в Україні розглядається як вельми обмежена. Деякі експерти не бачать жодної присутності зовнішніх оцінювачів в українському державному секторі. Аналогічна ситуація спостерігається і щодо участі університетів, науково-дослідних та науково-аналітичних центрів.

Як зазначалося раніше, рекомендації після проведення оцінки не є обов'язковими для виконання, а їх вплив на процес прийняття рішень є досить низьким. Водночас, якість звітів по зовнішньому оцінюванню національних і міжнародних експертів, оцінюється не дуже високо. Різниця в оцінюваннях досить невелика і становить 2,6 для національного і 3,2 для міжнародного рівня відповідно (за шкалою з найвищим балом 5). Хоча експерти мають різні думки про поточні тенденції в пропозиції щодо оцінки в Україні за останні 5 років? в більшості своїй вони згодні, що в державному секторі MіО розглядається як елемент контролю і його розвиток значною мірою залежить від політичної волі до підтримки політики управління, орієнтованої на результативність. Певна активізація, що спостерігалася останнім часом у цій сфері, на думку опитаних, пов'язана з бюрократичною діяльністю. Небагато експертів підкреслюють також невеликий, але позитивний прогрес у цій сфері - наприклад, розробку системи

Базове дослідження

19

контролю Національного плану дій на 2011-2012 роки щодо реалізації Програми економічних реформ на 2010-2014 роки «Багате суспільство, конкурентоспроможна економіка, ефективна держава» з елементами оцінювання. У той же час, поширення методів MіО в державному секторі йде набагато повільніше, ніж в НУО або донорських організаціях.

Аспект інституціоналізації

1.3. Поширення та застосування Результати оцінки у державному секторі в основному готуються для керівництва різних рівнів. На думку деяких респондентів, ці результати використовуються у процесі прийняття рішень або планування бюджету структурними підрозділами міністерства. Інші кажуть, що вони використовуються як супроводжуючі рекомендації або пояснювальна інформація з певної теми. Звіти можуть бути також доступні для суспільства відповідно до Закону про доступ до публічної інформації. Основним каналом повідомлення про Результати оцінки є веб-сайт міністерства або державного відомства. Один з експертів розповів про бюлетень моніторингу, який доступний в друкованому вигляді та в електронній формі на веб-сторінці. Як результат, допоки результати оцінки використовуються як рекомендації що не є не обов'язковими для виконання, неможливо відстежити, якою мірою ці результати були корисними і впливовими у розробці державних програм та політики. Всі експерти одностайні у підкресленні відсутності системи або процедури, що дозволили б стежити за виконанням рекомендацій в рамках проведеного оцінювання. На відміну від третього сектору та донорських організацій процес поширення результатів оцінки у державному секторі є предметом суворих бюрократичних процедур. Таким чином, звіти з MіО в основному повідомляються через офіційні листи і доручення та внутрішні меморандуми, і є радше документами для внутрішнього користування міністерства та інших зацікавлених сторін. Деяка інформація може бути опублікована на веб-сайті міністерства, але більшість документів залишається недоступною для громадськості. Новий закон про доступ до публічної інформації полегшує доступ до офіційних документів. Прийняття стандартів щодо оцінювання всі респонденти оцінили як важливий крок у розвитку оцінювання та забезпеченні якості результатів оцінки. Ці стандарти повинні включати показники, що можна перевірити, та шляхи поширення в суспільстві (ЗМІ, громадянське суспільство). До розробки таких стандартів необхідно залучати різних фахівців: практиків, науковців, державних службовців, підприємців). Крім того, одним із ключових кроків є необхідність підвищення зацікавленості в оцінюванні. Проведення оцінювання стикається з численними труднощами і перешкодами. Основні проблеми пов’язані з відсутністю потреби в оцінюванні в державних закладах, і, отже, готовності державних службовців до участі в оцінюванні. Нерідко оцінювання сприймається як додаткове навантаження. Відсутні будь-які спеціальні процедури проведення оцінки для підготовки документів міністерствами або державними закладами. Часто спостерігаються затримки у наданні інформації, а в деяких випадках дані є неповними та потребують додаткового аналізу для надання адекватних висновків. Деякі експерти серед чинників негативного впливу на оцінювання зазначають також заплутаність законодавства та хитку політичну ситуацію в країні. Навіть якщо оцінювання провадяться, бракує «традиції» оцінювання, вони не провадяться на регулярній основі та не дозволяють побачити динаміку змін в обраній сфері.

Базове дослідження

20

Інституціоналізація практики оцінювання в Україні в даний час є дуже слабкою. На думку деяких експертів, важливо забезпечити ліцензування або сертифікацію оцінювальної діяльності з комплексом формальних ознак і спеціальною освітою та/або підготовкою (за аналогією з аудиторами). На думку експертів, розвиток культури оцінювання та його зростаюче значення в Україні пов'язані з конкурентоспроможністю та прямим зв’язком з процесом прийняття рішень на основі результатів оцінки. Вирішальне значення для прогресу оцінювання в Україні має просування і створення кількох центрів, які дозволили б об'єднати професіоналів у галузі MіО для сприяння розвитку культури оцінювання й просування послуг з оцінювання, а також демонстрації передового досвіду і успішних ситуаційних досліджень. На думку експертів, основними чинниками, які визначили загальний розвиток оцінювання в Україні в останні 5 років (2007-2011), є зовнішні вимоги (іноземні клієнти та донорські організації) до проектів і програм, що реалізуються в Україні. Донорські організації керуються бажанням отримати об'єктивну картину про події в окремих сферах державного сектору в Україні. Таким чином, для того, щоб отримати гранти проектів технічної допомоги або фінансову підтримку з боку Світового банку, Європейського Союзу, МВФ, українські органи влади забезпечували проведення оцінок. d) Загальний висновок для державного сектора

Оцінювання державної політики та програм є фрагментарним. Деякі елементи використання оцінювання присутні в галузі стратегічного планування, аналізу політики; аналізу впливу нормативно-правових актів, процесах прийняття рішень і розробки бюджету.

Розуміння терміну «моніторинг» є досить вірним. Більшість респондентів дуже близька до чіткого розуміння оцінювання як оцінки ефективності, результативності, впливу програм та заходів, кореляції результатів із запланованими цілями і показниками. Але такі характеристики оцінювання як періодичні та систематичні незалежні оцінки, представниками державного сектору не вказувалися, та нерідко оцінювання розглядається або як перевірка, або як контрольна функція. Немає розуміння того, що оцінювання є постійним інструментом навчання та управління. Це призводить до непорозумінь щодо цінності та цілей оцінювання і викликає небажання державних службовців до участі в оцінюванні, яке сприймається як додаткове навантаження.

Моніторинг є більш поширеним в державному секторі, ніж оцінювання. Кожна область політики має свої власні показники, щодо яких здійснюється моніторинг. Тільки деякі програми мають систему MіО. Але є система контролю реалізації державних планів, програм і різних завдань. Вимоги до MіО встановлюються правовими вимогами, внутрішньою необхідністю і рішеннями Кабінету Міністрів.

Державний сектор в Україні зосереджений більш на процесах, ніж на результатах і наслідках політики.

Державному сектору в Україні бракує як культури оцінювання, так і попиту на оцінювання, йому властиві слабка пропозиція та відсутність інституціоналізації через відсутність політичної волі до підтримки політики управління, орієнтованого на результативність.

Базове дослідження

21

Оцінювання здійснюється здебільшого формально. Для нього не вистачає кваліфікованих фахівців і методик, а також надійних даних

Висновки оцінювання не використовуються належним чином керівництвом міністерств на різних рівнях. Рекомендації оцінювання не є обов'язковими для виконання, а їх вплив на процес прийняття рішень є досить низьким. Крім того, в Україні відсутня система або процедура, яка дозволила б стежити за виконанням рекомендацій в рамках проведеного оцінювання. Таким чином, звіти з MіО в основному передаються через офіційні листи і доручення, внутрішні меморандуми і є радше документами для внутрішнього використання для міністерств та інших зацікавлених сторін. Бюлетень моніторингу розповсюджується в сфері боротьби з ВІЛ-СНІД .

Рівень використання спеціального програмного забезпечення для MіО є досить низьким.

Відсутні стандарти для оцінювання якості звітів. Чітких критеріїв для структури звітів немає; як наслідок, в складених звітах є спроби показати ситуацію в більш позитивному вигляді, не демонструючи динаміку, тенденції та загальну картину проекту. Відсутні спеціальні процедури оцінювання для підготовки документів міністерств або державних закладів. Оцінювання викликається зовнішніми вимогами.

Переважна більшість документів з оцінювання не доступна для громадськості.

e) Загальні рекомендації o Перш за все, розвиток оцінювання починається з попиту на оцінювання з боку політичних

лідерів, керівництва та громадянського суспільства. Сфера державного управління вимагає «культурних змін», щоб оцінювання сприймалось як інструмент управління і частина політичного кола. Крім того, одним із ключових кроків є необхідність підвищення зацікавленості в оцінюванні з боку уряду та суспільства. Для цього потрібне проведення кампанії з інформування громадськості про оцінювання.

o Якщо попит на оцінювання існує, дуже важливо знайти таких «прихильників оцінювання» або

«точки зростання». Такими точками зростання культури оцінювання можуть бути Адміністрація Президента та Секретаріат Кабінету міністрів, оскільки їм потрібна консолідована інформація про програми та політики. Іншими важливими учасниками та прихильниками оцінювання можуть бути Міністерство економічного розвитку і торгівлі, Міністерство фінансів, що відповідає за належне планування, програмування та бюджетування розвитку України. Міністерство освіти та Міністерство охорони здоров'я мають більш розвинуту систему MіО через вимоги донорських організацій та внутрішню потребу.

o Було б доцільно ініціювати міжнародний проект з діагностики функцій оцінювання в

українському уряді з використанням методології Світового банку та розробки плану дій для нарощування спроможності до оцінювання в державному секторі. Цей проект може розроблятися у співпраці і за підтримки з боку міжнародних організацій.

o Треба розробити міжнародні проекти з обміну досвідом та передовими практиками щодо

нарощування спроможності до оцінювання в державному секторі.

o Дуже важливо розробити спеціальні навчальні програми і курси з оцінювання для різних цільових груп, що використовують, замовляють та проводять оцінювання в державному секторі.

Базове дослідження

22

o Прийняття стандартів оцінювання було оцінено всіма респондентами як важливий крок у

розвитку оцінювання та забезпеченні якості результатів оцінки.

o На думку респондентів, нарощування культури оцінювання в державному секторі можливе за рахунок створення таких елементів, яких на сьогодні не вистачає:

- Введення в законодавство спеціального положення, що визначає оцінювання як частину процесу прийняття рішень на національному, регіональному та місцевому рівнях в державному секторі (це передбачає також перехід від формального статусу оцінювання до реального);

- Залучення Кваліфікованих спеціалістів з MіО в державні установи;

- Розробка методології оцінювання в різних галузях оцінювання державного сектору;

- Додаткова система премій за високу якість звітів;

- Видимі переваги оцінювання і практичні вигоди;

- Створення конкурентного ринку послуг з оцінювання;

- Забезпечення достатнього рівня розуміння оцінювання на найвищому рівні структури державних установ;

- Просування практик оцінювання у широкому колі неурядових організацій з метою створення активного середовища, яке б стимулювало державні установи до проведення оцінювання;

- Міжнародний досвід (зокрема, через структурні фонди);

- Забезпечення громадського доступу до документів з оцінювання в режимі он-лайн.

- популяризація оцінювання серед широкого загалу як інструменту ефективного управління, інструменту, що робить державний сектор більш прозорим і підзвітним.

o Вирішальне значення для прогресу оцінювання в Україні має просування і створення

кількох центрів, які б дозволили об'єднати фахівців у сфері MіО для сприяння розвитку культури оцінювання й просування послуг з оцінювання, а також демонстрації передового досвіду і успішних ситуаційних досліджень.

Базове дослідження

23

5.2. Спроможності до оцінювання в донорських організаціях та проектах технічної

допомоги

a) Стислий огляд літератури В Україні працюють до тридцяти донорських організацій та проектів технічної допомоги. Загальний обсяг міжнародної допомоги в 2012 році становить 500 млн. дол. США і має наступну структуру: 65% проектів міжнародної технічної допомоги діють в галузі ядерної безпеки та енергоефективності, 14% - національної безпеки; 9% - економічної конкурентоспроможності та інвестиційного середовища, 5% - соціального розвитку суспільства, місцевого самоврядування, правової реформи, боротьби з корупцією тощо; 42% від загальної міжнародної фінансової допомоги йде в транспортну галузь, 40% - в енергетику та забезпечення енергоефективності3. Лідерами за обсягами наданої допомоги є уряд США та Європейська Комісія. За ними слідують такі країни донори як Канада, Німеччина, Великобританія, Швеція та Нідерланди. Україна також отримує допомогу від міжнародних організацій, що працюють в країні, а саме: Рада Європи, ОБСЄ та Організація Об'єднаних Націй. Зовнішня допомога йде у різні сфери з метою вдосконалення методів управління та підвищення рівня життя, а також використовується як гуманітарна допомога. Загалом, двосторонні та багатосторонні агенції з надання допомоги мають довгу традицію оцінювання, що має початок в п'ятдесятих роках і стала інституціоналізованою і систематичною в середині шістдесятих років ХХ сторіччя. Проте, оцінювання офіційних програм розвитку зросло ще більше протягом останніх двох десятиліть, оскільки громадськість і платники податків все частіше вимагають надійної, неупередженої оцінки результатів бюджетних витрат на допомогу. Розширення масштабів надання допомоги, а також нових механізмів та підходів до допомоги в цілях розвитку, також сприяли збільшенню вимог до оцінювання як ключового компоненту системи підзвітності, управління та навчальних структур агенцій з питань розвитку. В результаті підрозділи з оцінювання були створені в штаб-квартирах більшості ключових агенцій з надання допомоги. Різні донорські організації запровадили свої власні керівні вказівки та принципи оцінювання – ось лише деякі з них: ЄС (Оцінювання діяльності ЄС. Практичний посібник для служб Комісії), програма Європейської Допомоги (Europe Aid) (Керівні вказівки з оцінювання проектів для груп оцінювання), Агентство США з міжнародного розвитку (Керівні вказівки з оцінювання для надання зовнішньої допомоги), Світовий банк (Моніторинг та оцінювання: деякі інструменти, методи та підходи), ООН (Стандарти і норми оцінювання в системі ООН), ПРООН (Довідник з планування, моніторингу та оцінювання результатів розвитку та політики оцінювання), ЮНЕЙДС (Посібник з моніторингу та оцінки), ЮНІСЕФ (Посібник з

3 Примітки із зустрічі «Україна-Консультації старших експертів донорських організацій щодо сприяння розвитку в Україні», 12 жовтня

2012 р.

Базове дослідження

24

моніторингу та оцінки), Глобальний фонд по боротьбі з ВІЛ/СНІД, малярією і туберкульозом (Керівні принципи та інструменти моніторингу та оцінювання), МОМ (Керівні принципи оцінювання), КАМР (Посібник з оцінювання), ШАРС (Політика оцінювання Швейцарської агенції розвитку та співробітництва) і ШАМР (Посібник з оцінювання. «Озираючись назад та рухаючись вперед»). Більш того, бюджети MіО істотно відрізняються у різних агенцій розвитку та залежать від системи MіО, що використовується, масштабів проекту, програми або політики, типу оцінювання та його методології. Як правило, бюджети визначаються у межах 5-10%, зокрема посібник ПРООН вказує 5% для моніторингу і 35 000 – 40 000 дол. США для оцінки проекту; Керівні вказівки Фонду демократії ООН вказують 10% від бюджету проекту - максимум 25,000 дол. США для проектів вартістю понад 250,000 дол. США; в Керівних принципах ЮНЕП вказують зазвичай 5-7%; USAID пропонує 3% на зовнішнє оцінювання результативності та впливу без урахування витрат на моніторинг. Проте, досвід показує, що важко переконати органи, відповідальні за прийняття рішень в організації, що надає фінансування, в необхідності досягнути цього рівня, і зазвичай бюджет МіО обмежується 3%. Крім того, слід зазначити, що донорські організації на рівні країни, особливо в Україні, не мають незалежних підрозділів з оцінювання на організаційному рівні. MіО працює тільки на рівні проекту або програми. Це означає, що загальне оцінювання проектних заходів та ефективності допомоги на інституційному рівні донорами не проводиться; аналіз робиться конкретно для проекту або тематичної сфери. Крім того, відповідальність за MіО часто лежить на керівникові програми на додаток до інших його функцій; особливо чітко це можна побачити у проектах технічної допомоги. Ясно також, що в такій ситуації персоналу може бракувати належних навичок з MіО, що обмежує адекватне та кваліфіковане керівництво в сфері MіО на рівні проекту або програми. Невідповідність останнього ставить під загрозу можливість проведення належного оцінювання та охоплення всіх досягнутих результатів. Крім того, різноманітні «керівні вказівки» з оцінювання, запроваджені різними донорськими організаціями, іноді додають плутанини на рівні беніфіціарів через використання різних термінів і жаргону. b) Розуміння термінів «моніторинг» та «оцінювання» Представники донорських організацій та проектів технічної допомоги мають досить слушне розуміння термінів «моніторинг» і «оцінювання». Моніторинг розглядається ними як невід'ємна частина кожного проекту/ або програми, без якої неможливо проаналізувати досягнення результатів, наслідків та цілей. Між тим, оцінювання розглядається як інструмент управління для збору інформації та накопичення знань для висвітлення здійсненності, труднощів реалізації та/або результативності проекту або програми на різних рівнях, у тому числі на рівні впливу та наслідків для учасників. Моніторинг є постійним контролем, що забезпечує так звану «ефективність», тобто чи проект своєчасно виконує поставлені цілі в рамках затвердженого бюджету, тому він більшою мірою відслідковує технічний процес реалізації. Між тим, оцінювання є виміром «результативності» - тобто, якою мірою проект досягає своїх цілей або завдань і завдяки чому. f) Аналіз аспектів розвитку спроможності оцінювання

Аспект попиту

Базове дослідження

25

1.1. Структура, ресурси оцінювання, якість систем моніторингу Представники донорських організацій та проектів технічної допомоги поділяють думку щодо корисності моніторингу та оцінювання. Існує стійка тенденція, згідно якої всі проекти та програми донорських організацій мають систему MіО і часто використовують всі види оцінки, як внутрішньої, так і зовнішньої. Вони виділяють для цього достатній бюджет та зазвичай запрошують групу незалежних консультантів для проведення цих робіт. Більшість донорських організацій мають свої власні стандарти оцінки якості звітів про оцінювання і використовують їх для оцінки якості звітів, підготовлених як внутрішніми, так і зовнішніми експертами. Як правило, вимоги до систем MіО формуються штаб-квартирами і використовуються представництвами у країні. Опитані донори не мають незалежних підрозділів оцінки на організаційному рівні, за винятком МОМ, тому бюджет MіО формується окремо для кожного проекту, а його розмір залежить від стандартів і норм, яких дотримується конкретна донорська організація. Вимоги щодо МіО, як правило, є внутрішньою необхідністю та включають в себе вимоги законодавства в країнах діяльності, а також стратегії співпраці з урядами приймаючих країн. В більшості випадків донорські організації мають плани щодо підвищення кваліфікації персоналу; тому, як правило, відповідальні за МіО в рамках проекту чи програми проходять тренінги і семінари з МіО, які здебільшого розробляються самими донорами (штаб-квартирами або регіональними представництвами) та є обов’язковими для проходження персоналом цих організацій. Водночас, картина з проектами технічної допомоги дещо інша. Вони добре знайомі з системами моніторингу, оскільки проекти так чи інакше мають системи моніторингу. Проте, оцінювання вони проводять рідше, і воно переважно обумовлюється вимогами донорських організацій. Проекти технічної допомоги використовують різні механізми оцінювання. Перш за все, вони практикують оцінювання проекту або його компонентів завжди за запитом донора. По-друге, вони проводять або залучаються до проведення оцінки результативності державної політики та роботи місцевих органів влади у певних сферах суспільного та економічного життя. Деякі проекти технічної допомоги здійснюють оцінювання ефективності політики або збирають статистичні дані, які використовуються для оцінки рівня проблем на рівні країни або регіону (наприклад, Всесвітній звіт з питань наркотиків, який готує ВООЗ). Більш того, проекти технічної допомоги застосовують практично всі види оцінки, за винятком формуючої оцінки. Великі проекти, які діють на великих територіях та з громадами, використовують не тільки внутрішнє оцінювання, але й оцінку впливу (принаймні деякі з її елементів). Невеликі проекти проходять середньострокові або підсумкові зовнішні оцінювання на вимогу донорських організацій. Результати таких оцінювань досить часто впливають на рішення про підтримку наступного етапу проекту або розширення проекту. Таким чином, стандарти для оцінювання якості звітів відсутні. Найвищим стандартом якості залишається думка менеджменту проекту (наприклад, достатність та адекватність оцінки згідно до потреб менеджменту проекту). У всіх проектах є певна кількість ресурсів, що виділяються для моніторингу, але немає окремого бюджету MіО. У більшості випадків оцінювання не включене до бюджету проекту, і провадиться за спеціальним запитом донора. Спеціальне програмне забезпечення для моніторингу та оцінювання, як правило, не використовується. Іноді використовуються внутрішні інформаційні системи і бази даних. Кажучи коротко, у всіх проектах технічної допомоги системи MіО залежать від вимог донорських організацій і внутрішньої необхідності. Рівень стандартизації вимог донорських організацій різниться, але в усіх випадках система моніторингу проекту є поєднанням вимог донорської організації та внутрішньої необхідності, продиктованої структурою та цілями проекту.

Базове дослідження

26

Пропозиція 1.2. Наявність та якість професійних знань в сфері оцінювання Серед респондентів донорських організацій та проектів технічної допомоги поширена думка по недостатність пропозиції місцевих послуг з оцінювання та професійних знань в сфері оцінювання на вітчизняному ринку України. Наявність місцевих експертів залежить головним чином від сектору, масштабу проекту чи програми та/або цілей оцінювання. Було відзначено, що пропозиція з боку українських фахівців з оцінювання за останні 5 років покращилася в таких сферах, як охорона здоров'я, освіта і прикордонний контроль. Представники донорських організацій і проектів технічної допомоги, , що мають досвід співпраці з українськими та міжнародними експертами з оцінювання, також вважають, що останні мають вищу кваліфікацію. Якість звітів про оцінювання, виконаних зовнішніми міжнародними фахівцями з оцінювання, оцінювалась як «дуже добра», а складених українськими фахівцями з оцінювання - лише як «добра». Іноземні консалтингові компанії в обмеженій мірі беруть участь у наданні послуг з оцінювання на національному ринку оцінювання. Опитаним респондентам невідомо про будь-які університети або дослідні інститути, що беруть участь у наданні послуг з оцінювання в Україні. Тенденції у розвитку пропозиційного аспекту оцінювання в Україні за останні 5 років не дуже чіткі. Оцінювання в державному секторі розвивається повільно, «дані збираються, але є проблема з аналізом даних та їх використанням. Загалом, в державному секторі практично не відбулося жодних змін, можна казати лише про деякі поодинокі випадки застосування оцінки, та й те це не є стабільною практикою; люди, що відповідають за це, йдуть і всі ефективні практичні методи йдуть разом з ними». До того ж оцінювання в секторі НУО також практично не розвивається, хоча очевидно, що така необхідність існує, беручи до уваги неефективність і відсутність прозорості в державних інституціях. «Оцінювання в галузі НУО майже відсутнє, воно проводиться в деяких проектах і тільки на вимогу донорських організацій. Оцінювання НУО не відбувається, стратегічне планування також знаходиться на низькому рівні». Отже, в ролі стимулюючого фактору для розвитку оцінювання в секторі НУО донорські організації бачать тільки себе. Основні офіційні статистичні дані національного та регіонального рівня доступні фахівцям з оцінювання або повністю, або у певній мірі. На думку опитаних, «новий закон про публічну інформацію мав позитивний вплив на рівень реагування з боку різних державних установ».

Аспект інституціоналізації 1.3. Розповсюдження та використання

Базове дослідження

27

Опитані відзначають, що Результати оцінки використовуються двома основними групами: командами управління проектів та різними зацікавленими сторонами (донорські організації та особи, відповідальні за прийняття рішень в державному секторі та секторі НУО). Крім того, вид оцінювання мав безпосередній вплив на використання його результатів. Якщо проект або програма піддається оцінці, то головним користувачем цього оцінювання є група управління проектом, керівний персонал та/або регіональні представництва. Якщо це оцінювання політики або державної програми, то головними користувачами є особи, що відповідають за прийняття рішень, органи державної влади та органи, що формують політичний курс. Зазвичай результати оцінки обговорюються під час внутрішніх нарад старшого керівництва або під час круглих столів, семінарів, конференцій та презентацій. Донорські організації та проекти технічної допомоги не мають інституційної системи або процедури для відстеження реалізації висновків та рекомендацій оцінювання. Зазвичай для відстеження реалізації результатів оцінки використовують два методи: (1) підготовка плану дій на основі результатів оцінки або внесення змін в існуючий план дій; (2) результати оцінки обговорюються і використовуються керівництвом для внутрішніх цілей без інституціоналізації. Політика щодо публічного висвітлення результатів оцінки різниться. Деякі звіті про оцінювання опубліковуються на веб-сайтах організації або проекту або поширюються через список розсилки між зацікавленими сторонами. Деякі оцінювання залишаються закритими і використовуються тільки донорськими організаціями і групами управління проектом. Респонденти зазначають, що серед основних труднощів у проведенні оцінювання переважно були: (1) Технічні умови («вони дуже складні - забагато питань з оцінювання, недостатньо визначені пріоритети») та (2) Якість професійних знань зовнішніх експертів («Зовнішнім фахівцям з оцінювання іноді не вистачає розуміння потреб і цілей клієнта. Крім того, в більшості випадків міжнародні консультанти мають низький рівень знань про місцеві умови і проблеми в реалізації програми. До того ж пропозиція професійних знань у сфері оцінювання на регіональному рівні є слабкою»). Недостатність або застарілість даних, а також матеріально-технічні проблеми також відносилися до основних перешкод в проведенні оцінювання, хоча вони і не розглядаються як критичні. c) Загальний висновок для сектору донорських організацій та проектів технічної допомоги

Представники донорських організацій мають добре розуміння термінів MіО.

В рамках донорських організацій існує добре розвинена культура оцінювання, яка регулюється цілим комплексом внутрішніх стандартів, норм і процедур.

Донорські організації формують попит на оцінювання в інших галузях, наприклад, в секторі НУО та державному секторі, а також у проектах технічної допомоги. Функція MіО часто виконується з ініціативи та за фінансування донорських організацій.

Донорські організації в цілому виділяють достатню кількість ресурсів для проведення оцінки. Їх обсяг залежить від донора, масштабу проектного заходу та сфери його реалізації.

Зовнішні міжнародні консультанти, як правило, беруть участь в оцінюванні проектних заходів донорських організацій і сприймаються ними як більш кваліфіковані порівняно з вітчизняними. Ринок вітчизняних провайдерів послуг з оцінювання представлений слабо.

Базове дослідження

28

Результати оцінки є загальнодоступними і розповсюджуються як всередині організації, так і зовні для навчання і подальших дій та забезпечення прозорості. d) Загальні рекомендації Пошук шляхів для просування й підтримки державного сектору та сектору НУО, власної спроможності до оцінювання через:

Створення спроможності до оцінювання серед одержувачів коштів через формальний та неформальний обмін навичками навчання та сприяння професійному розвиткові іншими способами;

Підтримка попиту на оцінювання в державному секторі та секторі НУО через створення фонду підтримки оцінювання (документальні ресурси та фінансова підтримка);

Робота над зміною ставлення до оцінювання в секторі НУО та державному секторі як до «речі, яку треба робити лише за запитом донорських організацій»;

Сприяння більш тісній співпраці між урядом, НУО та бенефіціаріями як запоруці успішного створення ефективних систем MіО. 5.3. Спроможність до оцінювання в секторі НУО a) Стислий огляд літератури За даними державної статистики в Україні на 2012 рік4 зареєстровано 71 767 неурядових організацій та 13 475 благодійних фондів. Однак на думку експертів з Творчого центру ТЦК кількість активних і постійно діючих НУО (тобто ті, які існують не менше 2 років, мають досвід у двох або більше проектах і є відомими в регіоні) складає всього 3000-4000 із вказаної загальної кількості5. Як вказано у звіті про українське громадянське суспільствоi, не більше 500 НУО отримують допомогу від міжнародних організацій, і це становить 30,5% від загального обсягу фінансування НУО. Це є вагомим фактором для розвитку MіО в некомерційному секторі. Для порівняння, благодійні внески підприємств на користь неурядових організацій в Україні у 2010 році становили лише 15,1%, у той час як у 2009 році ці внески склали 20,7% від їхніх надходжень частка фінансової підтримки з державного або місцевих бюджетів (у формі грантів та відшкодування за надані послуги) в бюджеті середньостатистичної НУО в Україні становить 2-3%. Частка фінансової підтримки з боку державного та місцевих бюджетів у загальному обсязі надходжень НУО в Україні становить лише близько 8%6. Слід зазначити, що український уряд згадує моніторинг та оцінювання в останньому указі про забезпечення державного фінансування для НУО7. Хоча, на жаль, немає жодної інформації про

4Державна служба статистики, Україна в цифрах, 2011http://www.ukrstat.gov.ua/druk/katalog/kat_u/publ1_u.htm

5Любов Паливода, Софія Голота – Статус та тенденції неурядових організацій в Україні: звіт про дані досліджень, Київ,

Видавничий дім КуПол 6Ірина Бекешкіна, Пьотр Казміркевіч. Зробимо українське громадянське суспільство впливовим – Інститут громадських справ,

Варшава, 2012 р. 7Указ від 12 жовтня 2011р. № 1049, Київ, Про затвердження конкурсу для визначення програм (проектів, заходів), розроблених НУО

та творчими спілками, для виконання (реалізації) яких надаватиметься фінансова підтримка

Базове дослідження

29

розмір цього фінансування для MіО, ані будь-яких пропозицій про види, методологію або людські ресурси, що будуть використовуватися для цих заходів. Існує певний дефіцит конкретних досліджень з розвитку систем MіО в секторі НУО. Автори цього звіту проаналізували понад 20 річних звітів українських НУО. Кількість організацій, що роблять щорічні звіти, дуже мала. Проте, той факт, що ці звіти оприлюднюються, означає, що НУО, принаймні, збирають деякі дані про свою діяльність і роблять їх надбанням громадськості. a) Розуміння термінів «моніторинг» та «оцінювання» Всі респонденти продемонстрували повне і адекватне розуміння термінів «моніторинг» і «оцінювання». Але вони переважно — це експерти і фахівці, що займаються MіО в своїх організаціях. В цілому, експерти відзначають, що розуміння цих термінів не є на належному рівні. У той час як «моніторинг» є більш популярним поняттям, як моніторинг, так і оцінювання сприймаються як «контроль» та/або «перевірка». Дуже часто організації не знають різниці між «моніторингом» та «оцінюванням» і плутають тлумачення цих термінів. По-перше, тому що вони не знають точно, що вони [терміни] означають. По-друге, немає жодних визначень, якими можна було б керуватися, має місце неіснуючий підхід до моніторингу та оцінювання. А те, що існує, як і раніше, більше схоже на контроль. Деякі експерти висловлюють думку, що організації, створені в кінці 90-х років за допомогою міжнародних програм технічної допомоги, мають більше розуміння і спеціальних знань і досвіду з MіО. У ті роки існувала обов'язкова програма навчання з моніторингу та оцінювання проектів, доступна для всіх НУО. Нині отримати доступ до такого навчання не так просто, оскільки кожна міжнародна програма надає можливість навчання тільки для цільових груп НУО, з якими вони працюють. Наприклад, проект Бібліоміст фонду Гейтса проводить навчання з MіО для бібліотек та НУО, з якими він працює, Альянс з ВІЛ/СНІД обмежує можливості спеціальної підготовки лише тими НУО, що діють в сфері боротьби з ВІЛ/СНІД.. До того ж літератури українською мовою, доступної для самостійного вивчення і розвитку, практично немає. Більш глибоке розуміння MіО існує в тих НУО, які фінансуються за рахунок міжнародних донорських організацій. Дуже часто проведення моніторингу та оцінювання програм та проектів є вимогою донора. Неурядовий сектор - вони краще розуміють, бо їх постійно контролюють і оцінюють (особливо тих, хто отримує гранти), але вони не до кінця розуміють, що це таке. g) Аналіз аспектів розвитку спроможності до оцінювання

Аспект попиту 1.1. Характеристика Попит на моніторинг та особливо на оцінювання переважно формується міжнародними донорськими організаціями. У ситуації зменшення бюджетів в цих організаціях донорські

http://zakon2.rada.gov.ua/laws/show/1049-2011-%D0%BF

Базове дослідження

30

організації хотіли б знати, чи ефективно використовується їхнє фінансування. Водночас, зважаючи на свої обмежені бюджети,донорські організації хотіли б оцінити, куди інвестувати свої кошти, щоб досягти максимальної віддачі від інвестицій в соціальну сферу. Українські НУО змагаються за ці кошти, і це змушує їх так чи інакше застосовувати оцінювання. При цьому, якщо звіт готується для певних важливих донорських організацій, піднімається питання оцінювання; якщо ж ця проблема не стоїть, то кожен робить свою рутинну роботу і все це залишається поза увагою організації. Однак, є деякі передові українські НУО, які розуміють важливість MіО для їх розвитку і планування та впроваджують системи MіО в свою діяльність за власною ініціативою. Такими є, наприклад, Творчий центр ТЦК, Благодійний фонд «Розвиток України», Український форум благодійників. Оскільки ці організації прийшли надовго, вони хочуть залишитися надовго, та в них є чітка мета, якої вони хочуть досягти. Вони розуміють, що роблять, вони знають, чого хочуть і що вони зроблять - тоді приходить розуміння того, що планування і оцінювання потрібне, щоб все це розробити. 1.2. Структура, ресурси оцінювання, якість систем моніторингу Найбільш використовуваними видами оцінювання програм та проектів є зовнішнє і середньострокове та підсумкове оцінювання. Приклади таких оцінювань варіюють від середньострокового оцінювання проекту по боротьбі зі СНІДом до оцінки бюрократичности, покладеної Глобальним фондом по боротьбі з ВІЛ/СНІД, малярією і туберкульозом на місцеві НУО, підсумкового оцінювання програми Корпусу Миру тощо. Експерти визнають відсутність затвердженого комплексу стандартів якості для звітів про оцінювання. Організації та люди, що замовляють оцінювання, встановлюють свої власні вимоги до звітності. Але в цілому такі вимоги повинні включати в себе об'єктивність, незалежність, обґрунтування суджень фактами, на всі питання повинні бути відповіді, і вони повинні показувати різні аспекти ситуації. Фінансові та людські ресурси в цьому секторі обмежені. Моніторинг використовується частіше, тому що зазвичай не вимагає зовнішнього фінансування і здійснюється персоналом проекту. Оцінювання здебільшого фінансується міжнародними донорськими організаціями і провадиться зовнішніми консультантами, теж в основному міжнародними. Бюджети для оцінювання різняться. Багато респондентів не змогли вказати будь-якої конкретної цифри. Деякі донорські організації, такі як USAID, виділяють до 10% від бюджету проекту на MіО. Глобальний фонд по боротьбі з

ВІЛ/СНІД, малярією і туберкульозом може робити так само, але фактично не виходить за межу 5%. У великомасштабних проектах ця частка може бути набагато меншою. Повідомлялося, що, коли організація змушена скорочувати свої витрати, в першу чергу - як це не прикро - скорочують фінансування MіО. В НУО функції внутрішнього моніторингу та оцінювання покладені на працівників проекту - зазвичай це керівник програми, який здійснює MіО в рамках своєї роботи. Приватний благодійний Фонд «Розвиток України» має повністю укомплектований відділ аналізу, планування та оцінювання з чотирма співробітниками. Але це швидше виняток з правил.

Аспект пропозиції 1.3. Наявність і якість професійних знань в сфері оцінювання

Базове дослідження

31

Пропозиція послуг з MіО і професійні знання в українських НУО представлені в основному міжнародними консультантами. Тільки одна організація - Творчий центр ТЦК - згадувалася респондентами як постачальник послуг з оцінювання та тренінгів. Звичайно, це менш ніж достатньо. Якість міжнародних консультантів оцінюється як добра. Консультантів, як правило, наймають донорські організації або програми технічної допомоги та проекти, які фінансуються донорськими організаціями. Це висококваліфіковані фахівці, але дуже часто їм не вистачає знання місцевих умов і культури, тому іноді вони не в змозі зробити адекватні висновки. Українських фахівців з оцінювання дуже мало, про їхню якість судити важко, конкуренції між ними практично немає. Про участь університетів в MіО в секторі НУО практично невідомо. На цей час нами визначені лише два навчальні заклади, які включають MіО програм і проектів до своїх навчальних програм – це Національна академія державного управління при Президентові України8 та Київський національний університет імені Тараса Шевченка9. Але нам невідомо, як ці знання використовуються, оскільки ці навчальні установи не відстежують використання знань. Говорячи про вимоги до консультантів, респонденти підкреслювали не тільки їхній професіоналізм, але й необхідність бути незалежним. Вони відзначали, що важко бути незалежним, коли вам платять ті самі люди, які замовляють оцінювання. Національним науково-дослідним інститутам іноді доводиться забезпечувати оцінювання. Проте, дослідження і оцінювання — це різні речі, так що ці два поняття необхідно їм пояснювати на етапі написання ТЗ для завдань з оцінювання. Офіційні статистичні дані доступні для фахівців з оцінювання на офіційних державних сайтах. Однак якість цих даних сумнівна. Експерти також відзначають відсутність інформації та недостатність досліджень розвитку громадянського суспільства в Україні. Деякі експерти зазначають, що на регіональному рівні інформація ще менш доступна. Незважаючи на недостатність місцевої пропозиції послуг з MіО, експерти вважають, що зацікавленість в моніторингу та оцінюванні зростає. Вони пояснюють це тим, що іноземні донорські організації сприяли підвищенню зацікавленості через формування попиту на MіО. У той же час збільшується кількість НУО, що зростають і розвиваються, тому вони прийшли до розуміння, що системи MіО мають надзвичайно важливе значення для прийняття управлінських рішень. Ще одним фактором є існування досі незайнятої ніші, тому завдяки чому MіО набуває все більшої популярності.

Аспект інституціоналізації 1.4. Розповсюдження, використання Результати оцінювань використовуються тими, хто їх замовляє. Як було сказано вище, це є переважно донорські організації або - рідше - керівництво програм та проектів та вище керівництво організацій. Донорські організації використовують підсумкові оцінювання для створення нових програм. Керівний персонал проектів використовує їх для внесення змін в проект, щоб зробити його більш ефективним. В Альянсі проти ВІЛ/СНІДу результати оцінки беруться до уваги під час складання наступного плану робіт в рамках проекту. У БФ «Розвиток

8Короткостроковий курс «Управління державними програмами: Моніторинг та оцінювання» в Інституті підвищення кваліфікації без

відриву від місця роботи і курс «Оцінювання державної політики та програм» на спеціальності «Аналіз державної політики» в програмі магістра в НАПА, Факультет державної політики та управління політичними процесами. 9 Курс «Оцінювання соціальних програм і проектів» на факультеті соціології.

Базове дослідження

32

України» результати, висновки та рекомендації оцінювання надаються зацікавленим сторонам проекту та на їх основі розробляється план дій. Відділ аналізу, планування та оцінювання перевіряє реалізацію такого плану через місяць після оцінювання. Звіти про оцінювання, розроблені для іноземних донорських організацій, як правило, доступні для громадськості та всіх зацікавлених сторін через веб-сайти проектів. Проте, вони часто викладені англійською мовою, що обмежує їх використання. Звіти, що складаються для керівництва проекту та організації, використовуються для прийняття управлінських рішень. Деякі експерти повідомили, що іноді після професійного оцінювання проекти були закриті. Ми скорочуємо деякі речі, висвітлені завдяки оцінюванню, та змінюємо нашу діяльність в певних сферах. Серед перешкод, які заважають розвитку MіО, є недооцінювання та невірне розуміння цих заходів. Експерти рекомендують залучати якомога більше число зацікавлених сторін у розробку ТЗ, проведення оцінки і розповсюдження звітів. Крім того, важливо, щоб зацікавлені сторони знали про те, які зміни було внесено в проект після оцінювання і чому.

Перш за все повинне бути обговорення в рамках організації, щоб підняти певні питання, на які всі хотіли б отримати відповіді. До того ж, чим довше триває ця дискусія, чим більше зацікавлених сторін бере в ній участь, тим більш ймовірно, що результати будуть використані. Щодо розвитку культури оцінювання, всі експерти підкреслюють необхідність навчання і освіти в цій сфері. Крім того, необхідно стимулювати професійний діалог і дискусію серед експертів. Необхідно вивчити іноземний досвід та адаптувати його до українських реалій, потрібно розробити методологію та стандарти, включаючи українську термінологію. Відповідний рівень повинен бути в межах організації, яка сприймає систему MіО не як щось «модне», а швидше як інструмент, який може допомогти вдосконалитися. Але це потребує більшого розуміння цієї сфери з боку лідера - керівника організації. d) Загальний висновок для сектору

Має місце невірне тлумачення термінів моніторингу та оцінювання в секторі НУО. Добре розуміння цих термінів мають тільки ті НУО, що провадять MіО;

Попит на MіО формується переважно міжнародними донорськими організаціями та проектами технічної допомоги. Цей попит є недостатнім через нестачу фінансових і людських ресурсів;

Пропозиція оцінювання формується зовнішніми зарубіжними консультантами, які дуже часто не знають місцевих реалій. Місцевого ринку національних постачальників послуг з оцінювання не існує;

Деякі звіти про оцінювання доступні для громадськості, але чимало з них складені англійською мовою. Коли оцінювання проводиться для управління проектом, ці звіти рідко оприлюднюються, оскільки вони використовуються для прийняття внутрішніх управлінських рішень;

Культура оцінювання не дуже розвинена, хоча існує тенденція до її зростання. e) Загальні рекомендації

Попит на MіО серед українських НУО повинен формуватися місцевими експертами, які зможуть адаптувати міжнародний досвід до умов національного ринку;

Базове дослідження

33

Навчання та освіту у галузі MіО треба впроваджувати в ширшому масштабі для покращення пропозиції місцевих експертів і підвищення розуміння цих понять українськими НУО;

Потрібне ділове спілкування та обмін досвідом між фахівцями; треба знаходити більше місцевих фахівців та залучати їх до участі в різних заходах;

Методологічна підтримка повинна надаватися українською мовою, що включає в себе розробку глосарію термінів;

Слід розробити етичні норми, притаманні українській культурі, що враховували б міжнародні стандарти

5.4. Загальна оцінювання Проведений аналіз дозволив визначити стан спроможності до оцінювання в кожному з секторів та відобразити його в графічній формі (див. схему нижче): Схема 1: Стан спроможності до оцінювання в Україні з розбивкою за секторами

Стан розвитку спроможності до оцінювання в державному секторі є найслабкішим з трьох проаналізованих секторів. Аспекти попиту і пропозиції в секторі отримали оцінку «помірно задовільно» кожна, у той час як інституціоналізація отримала ще нижчу оцінку, тобто «незадовільно» за 4-бальною шкалою. Це пов’язано з ти, що ресурси (фінансові та людські) надавані для «моніторингу» та «оцінювання», є недостатніми для ефективного виконання завдань моніторингу та оцінювання. Необхідні системи моніторингу та бази даних існують частково та не є наявними та доступними для всіх зацікавлених сторін. Первинні та вторинні зібрані дані відповідні, але не надійні в плані їх передбачуваного використання. Комплекс стандартів якості, за якими оцінюються звіти про оцінювання, знаходяться в процесі розробки. Недостатня пропозиція кваліфікованих національних послуг з оцінювання на внутрішньому ринку, що не в змозі ефективно реагувати на тиск попиту. Результати оцінки не є загально доступними і не розповсюджуються систематично ані всередині організацій, ані зовні. Реакція на рекомендації не є систематичною; немає того, щоб всі необхідні заходи були виконані особою (особами) чи організацією, зазначеними у кожної рекомендації. Це стосується також відсутності офіційної реакції з боку керівництва та контролю виконання. Всі застережені дії з подальшого контролю не відстежуються для забезпечення підзвітності їх виконання.

задовільний

2

2

задовільний

помірно задовільний

помірно задовільний

задовільний

задовільний

незадовільний

сектор донорів

третій сектор

державний сектор

інституціоналізація пропозиції попит

Базове дослідження

34

Ситуація в секторі НУО трохи краща порівняно з державним сектором. Попит і пропозиція також оцінюються як «помірно задовільні», але аспект інституціоналізації отримав набагато кращу (порівняно з державним сектором) оцінку «задовільно» завдяки тому, що Результати оцінки є загально доступними та систематично розповсюджуються всередині організацій і зовні з метою навчання і подальшого контролю, а також для забезпечення прозорості. Присутня систематична реакція з боку особи (осіб), зазначених у кожній рекомендації. Це стосується також офіційної реакції з боку керівництва та контролю виконання. Не всі застережені дії з подальшого контролю завжди відстежуються для забезпечення підзвітності їх виконання. Водночас, стан спроможності до оцінювання в секторі донорських організацій отримав найвищу оцінку з точки зору попиту, пропозиції та інституціоналізації з оцінкою «задовільно» для кожного з аспектів. Тільки попит в проектах технічної допомоги може бути оцінений на як «помірно задовільний» тим через те, що попит в більшості випадків формується донорськими організаціями, що підтримують їхню роботу. Всі інші аспекти спроможності до оцінювання в секторі донорських організацій та проектів технічної допомоги були оцінені на тому ж рівні.

VI. ВИСНОВКИ Стан розвитку спроможності до оцінювання в Україні залишається на досить низькому рівні, при цьому брак людських і фінансових ресурсів обмежує сферу застосування оцінювання, а головною рушійною силою є потреби донора в підзвітності та управлінні програмами. Ступінь застосування оцінювання та наявність кваліфікованих кадрів і фінансових ресурсів значно різняться в різних секторах та здебільшого абсолютно недостатні в державному секторі і секторі НУО. Практика оцінювання не є регулярною або безперервною. Має місце слабка політична воля до розвитку оцінювання в Україні. Цінність оцінювання не повністю вивчене та мало визнається керівниками вищої ланки у сфері державного управління, політиками та керівниками програм. Ключовими питаннями щодо розвитку спроможності до оцінювання в Україні, що потребують розгляду та подальшої роботи?, є: 1. Нерозуміння термінів MіО представниками державного та третього секторів; 2. Слабкість стимулів для ефективного провадження MіО в державному секторі через неготовність

підтримувати перехід до системи МіО, а також управління, орієнтованого на результат; 3. Більшість оцінювань використовується для відповідності вимогам донорів, а не для прийняття

управлінських рішень; 4. Відсутність попиту на оцінювання в державному секторі і секторі НУО. Проведення MіО часто

обумовлене піклуванням донорських організацій про забезпечення підзвітності підтриманих проектів, а не з більш широкими питаннями місцевого розвитку, що в свою чергу перешкоджає формуванню зобов’язань та відповідального ставлення щодо отриманих результатів серед представників державного та третього секторів.

5. Недостатні ресурси (людські, фінансові і технічні), що виділяються на проведення оцінювань в

державному секторі і секторі НУО;

Базове дослідження

35

6. Відсутність відповідних механізмів зворотнього зв'язку для належного використання висновків МіО;

7. Переважання оцінювання проектів і програм над оцінюванням політик.

Як результат, у всіх трьох досліджених секторах варто: 1) зміцнювати попит на оцінювання (забезпечення ефективного та добре керованого попиту на оцінювання); 2) зміцнювати пропозицію в сфері оцінювання (забезпечення достатньої кількості досвідчених фахівців з оцінювання або людей, які пройшли підготовку в цій сфері); 3) інституціоналізація оцінювання (побудова системи використання результатів оцінювання).

VII. РЕКОМЕНДАЦІЇ В результаті аналізу були сформульовані наступні рекомендації:

i. Підтримати створення структури MіО на інституційному рівні в Україні через розробку механізмів та інструментів для виконання законів, що вимагають проведення MіО державних програм і політики.

ii. Пропагувати на політичному і стратегічному рівні підвищення рівня обізнаності про важливість моніторингу та оцінювання результатів, та забезпечити їх прийняття та використання в ключових центрах прийняття урядових рішень для створення попиту на моніторинг і оцінювання на місцевому рівні. На нашу думку, необхідно працювати над пошуком яскравого лідера - впливового міністра або високопоставленого чиновника, здатного очолити рух до інституціоналізації MіО через проведення презентацій для урядовців вищої ланки, що відповідають за прийняття рішень, з поясненням використання, стандартів і переваг оцінювання.

iii. Зміцнювати професійну спроможність до оцінювання в рамках державного та третього секторів шляхом безперервного навчання персоналу в сфері MіО.

iv. Також необхідно створити механізми зворотного зв'язку щодо оцінювання, що мають не обмежуватися комунікацією всередині державного апарату, а бути доступними громадськості. Це дозволить зробити інформацію щодо державних заходів відкритою, забезпечить доступ громад до інформації щодо того, як саме витрачаються бюджетні кошти та які переваги для громадськості досягаються.

v. Заохочувати практику проведення оцінювання у широкому колі неурядових організацій з метою створення активного середовища, яке б стимулювало державні організації до проведення оцінювань.

vi. Заохочувати розвиток професіоналізму в сфері оцінювання через розробку загальних стандартів та керівних принципів практики оцінювання.

Базове дослідження

36

vii. Працювати над створенням конкурентного ринку послуг з оцінювання в Україні.

viii. Формалізувати мережу контактів фахівців з оцінювання в Україні з метою розвитку культури

оцінювання і створення бази кваліфікованих фахівців в сфері MіО.

Базове дослідження

37

VIII. ДОДАТКИ Додаток 1. Перелік використаної літератури Конституція України та Бюджетний кодекс України Закон України «Про державне прогнозування та розроблення програм соціально-економічного розвитку України» Постанова Кабінету Міністрів України № 538-р «Про схвалення Концепції застосування програмно-цільового методу в бюджетному процесі» Закон України «Про стимулювання розвитку регіонів» Постанова Кабінету Міністрів України № 621 від 26.04.2003 р. «Про розроблення прогнозних і програмних документів економічного і соціального розвитку та складання проекту державного бюджету» Постанова Кабінету Міністрів України № 504-р від 04.10.2006 р. «Про схвалення Концепції вдосконалення системи прогнозних і програмних документів з питань соціально-економічного розвитку України» Закон України «Про національні цільові програми» Постанова Кабінету Міністрів України № 538-р «Про схвалення Концепції застосування програмно-цільового методу в бюджетному процесі» Постанова Кабінету Міністрів України № 106 від 31.01.2007 р. «Про затвердження Порядку розроблення та виконання державних цільових програм» Наказ Міністерства фінансів № 608 від 17.05.2011 р. «Про затвердження методичних рекомендацій щодо здійснення оцінки ефективності бюджетних програм» Наказ Міністерства фінансів № 742 від 24.06.2010 р. «Методичні рекомендації щодо проведення оцінки економічної і соціальної ефективності виконання державних цільових програм» Наказ Міністерства фінансів № 1536 від 10.12.2010 р. «Про результативні показники бюджетної програми» Указ Президента України «Про положення про Міністерство фінансів України» Закон України "Про рахункову палату України Закон України "Про державну контрольно-ревізійну службу в Україні" Постанова Кабінету Міністрів України № 712 від 08.07.2009 р.

Базове дослідження

38

Постанова Кабінету Міністрів України № 308 від 11.03.2004 р. «Про затвердження методик проведення аналізу впливу та відстеження результативності регуляторного акта» Постанова Кабінету Міністрів України № 888-р «Про схвалення Стратегії модернізації системи управління державними фінансами» Базові рекомендації для розробки системи моніторингу та оцінювання. Презентація Роберта Лейхі (Robert Lahey) (REL Solutions Inc.) на Міжнародній конференції з моніторингу та оцінки, Київ, Україна, лютий 2007 р. Посібник з оцінювання КАМР Оцінювальна діяльність в ЄС. Практичний посібник для служб Комісії, липень 2004 р. Оцінювальна політика Швейцарської агенції з розвитку та співробітництва (ШАРС), грудень 2008 р. Керівні принципи та інструменти моніторингу та оцінювання Глобального фонду по боротьбі з ВІЛ/СНІД Керівні принципи щодо оцінки МОМ, 2006 р. Кейт Маккей. Розвиток спроможності до оцінювання: Інституціоналізація систем моніторингу та оцінювання для покращення управління в державному секторі, ECD Working Paper Series 15, Світовий банк, січень 2006 р. Глосарій ОЕСР/КСР Принципи оцінювання Pact Inc. Керівні вказівки з оцінювання проектів для груп оцінювання. EuropeAid, 06/07/2005 Посібник з оцінювання ШАПР «Озираючись назад та рухаючись вперед» Стандарти і норми оцінювання в системі ООН Моніторинг та оцінювання в Світовому банку: деякі інструменти, методи і підходи «Посібник з моніторингу та оцінки» ЮНЕЙДС Довідник ПРООН з планування, моніторингу та оцінювання результатів розвитку Принципи оцінювання ПРООН Посібник ЮНІСЕФ з моніторингу та оцінювання Керівні вказівки Агентства США з міжнародного розвитку з оцінювання для надання іноземної допомоги

Базове дослідження

39

Нотатки з зустрічі «Україна – Консультації старших експертів донорських організацій щодо сприяння розвитку в Україні», 12 жовтня 2012 р. Державна служба статистики. «Україна в цифрах за 2011 рік» http://www.ukrstat.gov.ua/druk/katalog/kat_u/publ1_u.htm Ірина Бекешкіна, Пьотр Казміркевич. Зробимо громадянське суспільство в Україні впливовим. – Інститут громадських справ,Варшава, 2012 Любов Паливода, Софія Голота – Стан та динаміка розвитку неурядових організацій України: звіт за даними досліджень. Київ, видавничий дім КуПол. Елеонора Лінивець Чи отримають українські НУО вітчизняні гроші замість західних? http://dc-summit.info/temy/vnutrennjaja-politika/2120-chi-otrimajut-ukrainski-nuo-vitchiznjani-groshi-zamist-zahidnih.html Указ від 12 жовтня 2011р. № 1049, Київ, «Про затвердження Порядку проведення конкурсу з визначення програм (проектів, заходів),розроблених громадськими організаціями та творчими спілками, для виконання (реалізації) яких надається фінансова підтримка» http://zakon2.rada.gov.ua/laws/show/1049-2011-%D0%BF

Базове дослідження

40

Додаток 2. Перелік інтерв’ю 1. Ірина Бекешкіна, директор Фонду «Демократичні ініціативи»

2. Ярослав Бережний, співробітник Інституту аналізу політики та стратегій

3. Тетяна Дудка, заступник керівника проекту «Локальні інвестиції та національна

конкурентоспроможність» (USAID)

4. Тарас Фініков, екс-заступник міністра освіти, президент МБФ «Міжнародний фонд досліджень

освітньої політики»

5. Ганна Гулевська-Черниш, Директор Українського форуму благодійників

6. Наталія Горшкова, Заступник директора департаменту, начальник управління

макроекономічного прогнозування Міністерства економічного розвитку і торгівлі

7. Дуглас Карпнетер, керівник групи служби зовнішніх зв'язків Європейської Комісії на

Південному Кавказі

8. Олександр Кучеренко, Директор в Україні Проекту «Місцевий економічний розвиток міст

України» (CIDA)

9. Володимир Купрій, виконавчий директор Творчого центру Каунтерпарт

10. Марія Мацепа, фахівець з моніторингу та оцінки ЮНІСЕФ

11. Павло Онищенко, Начальник управління стратегічного планування розвитку економіки

Міністерства економічного розвитку і торгівлі України

12. Любов Паливода, президент Творчого центру Каунтерпарт

13. Наталія Пилипів, Координатор з МіО Українського центру «Порозуміння»

14. Наталія Салабай, фахівець з моніторингу та оцінки Управління ООН з наркотиків і

злочинності

15. Ігор Санжаровський, Директор в Україні Проектів «Регіональне врядування і розвиток» в Україні

та «Розбудова спроможності до економічно обґрунтованого планування розвитку областей і міст

України» (CIDA)

16. Ольга Щетиніна, директор департаменту аналізу, планування та оцінювання Благодійного

фонду «Розвиток України»

17. Катерина Столяренко, спеціаліст з моніторингу і оцінювання МОМ

18. Віктор Таран, директор Центру політичних студій та аналітики

19. Ольга Варецька, асоційований директор зі стратегічної інформації, моніторингу та оцінки МБФ

«Міжнародний Альянс ВІЛ/СНІД в Україні»

Базове дослідження

41

20. Едріан Волрейвен, керівник з операційної діяльності Канадського агентства міжнародного

розвитку

21. Юрій Ященко, заступник директора з наукової роботи Українського інституту стратегічних

досліджень МОЗ

22. Ганна Яцюк, спеціаліст з моніторингу та зв’язків з громадськістю Проекту «Місцевий розвиток,

орієнтований на громаду» (ЄС/ПРООН)

23. Юлія Єсмуханова, старший програмний менеджер, фахівець з моніторингу та оцінки проекту

"Об'єднуємося заради реформ" (UNITER), Pact Inc.,

24. Олександр Жигінас, координатор з моніторингу та оцінки Українського центру профілактики і

боротьби зі СНІДОМ

25. Представник Міністерства фінансів

26. Представник Секретаріату Кабінету Міністрів України

27. Представник Секретаріату Кабінету Міністрів України

Базове дослідження

42

Додаток 3. Система критеріїв розвитку спроможності до оцінювання

Аспекти Критерії Додаткові критерії Показники

ПО

ПИ

Т

Структура

Відповідальність за оцінювання

Визнання відповідальності за функцію оцінювання за керуючим органом Наявність спеціалізованої функції оцінювання Наявність стратегії оцінювання

Координування Наявність формальних механізмів для координації оцінювання різних програм

Ресурси оцінювання

Фінансові Бюджети МіО

Кадрові Кількість персоналу з оцінювання Досвід в проведенні оцінювання та навички персоналу з оцінювання

Потік та покриття оцінюванням

Кількість проведених оцінювань/період часу

Ефективність управління оцінюванням

Планування Наявність планів щодо оцінювання на національному та програмному рівні

Технічні умови Якість та чіткість ТЗ оцінки Наявність основних (обов’язкових) питань оцінювання

Оцінювання якості Наявність затвердженого комплексу стандартів якості

Якість систем моніторингу

Надійність Якість і надійність показників

ПР

ОП

ОЗ

ИЦ

ІЯ

Якість соціально-економічних даних

Доступність Доступність значень ключових соціально-економічних показників

Доступність і якість спеціальних знань в сфері оцінки

Наявність пропозиції щодо оцінки на внутрішньому ринку

Кількість фірм, що працюють на ринку Практична участь науково-дослідних інститутів в оцінюванні Наявність спроможності внутрішнього підрозділу з оцінювання Наявність можливостей підготовки/освіти в сфері оцінювання

IІН

СТ

ИТ

УЦ

І

ОН

АЛ

ІЗА

ЦІЯ

Розповсюдження Простота доступу до результатів оцінки

Доступ громадськості до звітів про оцінювання

Використання

Процедури проведення оцінки та подальшого контролю

Наявність подальшого контролю, в процесі якого узгоджуються рекомендації за результатами оцінювання

Baseline Study Report

Додаток 4. Матриця шкали оцінювання

Оц

і

ню

в

ан

н

я

Роз’яснення

Аспект попиту Аспект пропозиції Аспект інституціоналізації

4=

Дуж

е з

адо

віл

ьн

о Ресурси (фінансові і людські), надані для

«моніторингу» та «оцінювання», є достатніми для ефективного досягнення цілей моніторингу та оцінювання. Необхідні системи моніторингу та

бази даних існують і є доступними для всіх зацікавлених сторін. Зібрані первинні і вторинні дані відповідають цілям та надійні з точки зору їх очікуваного використання. Комплекс стандартів

якості, за якими оцінюються звіти про оцінювання, впроваджений і застосовується.

Достатня пропозиція кваліфікованих національних послуг з оцінювання на внутрішньому ринку, що в змозі

ефективно та повністю реагувати на тиск попиту. Невелика кількість іноземних консалтингових компаній, що беруть участь у наданні послуг з оцінювання на ринку послуг з

оцінювання в Україні. Основні дані соціально-економічної статистики є загально доступними на

національному та регіональному рівнях.

Результати оцінок є загально доступними і систематично розповсюджуються всередині організацій та зовні з метою навчання

та подальших заходів для забезпечення прозорості. Присутня систематична реакція на рекомендації оцінки з боку особи (осіб), зазначених у кожній рекомендації. Це стосується також офіційної

реакції з боку керівництва та контролю виконання. Всі узгоджені дії з подальшого контролю відстежуються для забезпечення підзвітності

щодо їх виконання.

3=

Задо

віл

ьн

о

Ресурси (фінансові і людські) надані для «моніторингу» та «оцінювання», є достатніми для ефективного досягнення цілей моніторингу та

оцінювання. Однак,необхідні системи моніторингу та бази даних існують, але не є доступними для всіх

зацікавлених сторін. Зібрані первинні й вторинні дані відповідають цілям, але є лише частково

надійними з точки зору їх очікуваного використання. Комплекс стандартів якості, за якими

оцінюються про оцінку, впроваджений і застосовується.

Наявність певної пропозиції кваліфікованих національних послуг з оцінювання на внутрішньому ринку, що в змозі

ефективно реагувати на більшу частину тисків попиту. Середня кількість іноземних консалтингових компаній, що

беруть участь у наданні послуг з оцінювання на ринку послуг з оцінювання в Україні. Основні дані соціально-

економічної статистики є загально доступними на національному, а деякі – також на регіональному рівні.

Результати оцінок є загально доступними і розповсюджуються систематично всередині організацій та зовні з метою навчання та

подальших заходів для забезпечення прозорості. Присутня систематична реакція на рекомендації оцінки з боку особи (осіб), зазначених у кожній рекомендації. Це стосується також офіційної

реакції з боку керівництва та контролю виконання. Не всі узгоджені дії з подальшого контролю завжди відстежуються для забезпечення

підзвітності щодо їх виконання.

2=

По

мір

но

задо

віл

ьн

о

Ресурси (фінансові і людські), надані для «моніторингу» та «оцінювання», є недостатніми для

ефективного досягнення цілей моніторингу та оцінювання. Необхідні системи моніторингу та

бази даних існують частково, і не є доступними для всіх зацікавлених сторін. Зібрані первинні і

вторинні дані відповідають цілям, але є ненадійними з точки зору їх очікуваного

використання. Комплекс стандартів якості, за якими оцінюються звіти про оцінку, знаходиться в

процесі розробки.

Недостатня пропозиція кваліфікованих національних послуг з оцінювання на внутрішньому ринку, що не в

змозі ефективно реагувати на тиск попиту. Велика кількість іноземних консалтингових компаній, що беруть участь у наданні послуг з оцінювання на ринку послуг з оцінки в Україні. Основні дані соціально-економічної

статистики є загально доступними лише на національному рівні.

Результати оцінок не є загально доступними і розповсюджуються з метою навчання та подальших заходів лише всередині організації.

Реакція на рекомендації не є систематичною, реакція з боку керівництва досить неформальна. Всі узгоджені подальші дії

зазвичай не відстежуються для забезпечення підзвітності щодо їх виконання.

1=Н

еза

до

віл

ьн

о

Ресурси (фінансові і людські) надані для «моніторингу» та «оцінювання», відсутні. Необхідні системи моніторингу та бази даних не існують, і не є доступними для всіх зацікавлених сторін. Зібрані первинні і вторинні дані не відповідають цілям, та є

ненадійними з точки зору їх очікуваного використання. Комплекс стандартів якості, за якими

оцінюються звіти про оцінювання, ані розроблений, ані застосовується.

Відсутність пропозиції кваліфікованих національних послуг з оцінювання на внутрішньому ринку, що була б в змозі ефективно реагувати на тиск попиту. Лише іноземні

консалтингові компанії беруть участь у наданні послуг з оцінки на ринку послуг з оцінювання в Україні. Основні

дані соціально-економічної статистики не є загально доступними ані на національному, ані на регіональному

рівні.

Результати оцінок не є загально доступними і не розповсюджуються ні всередині організацій, ні зовні. Реакція на рекомендації не є

систематичною і жодні дії не виконуються особою (особами) чи організацією, зазначеними у кожної рекомендації. Офіційна реакція з

боку керівництва та подальшій контроль також відсутні. Жодні з застережених дій з подальшого контролю не відстежуються для

забезпечення підзвітності щодо їх виконання.

Baseline Study Report

44

Додаток 5. ОПИТУВАЛЬНИКИ

5.1. ОПИТУВАЛЬНИК ЗАГАЛЬНИЙ

1. Як називається організація, яку Ви представляєте?

2. Назвіть тип організації

Державна структура Донорська організація Проект технічної допомоги Неурядова організація (НУО)

3. Яку посаду Ви займаєте у цій організації?

ТЕ

РМ

ІНИ

4. Що Ви розумієте під терміном «моніторинг»?

5. Що Ви розумієте під терміном «оцінювання» (“evaluation”)?

ПОПИТ

6. На Вашу думку, чи допомагає оцінювання у підвищенні ефективності виконання проекту/програми/політики?

Так Ні

7. Чи проводите Ви оцінювання (проектів/програм/політик) у Вашій організації?

Так Ні Примітка:Будь ласка, попросіть донорські організації описати механізми здійснення оцінювання у їх організації

8. Оцінювання яких типів проводить Ваша організація? (відмітьте все, що підходить)

Для проектів

A) Внутрішня Зовнішня

B) Формуюча Проміжна Фінальна Оцінювання

впливу

Для програм

A) Внутрішня Зовнішня

B) Формуюча Проміжна Фінальна Оцінювання

впливу

Для політик A) Внутрішня Зовнішня

B) Формуюча Проміжна Фінальна Оцінювання

впливу

9. Якщо так, чи могли б Ви навести приклади таких оцінювань? (тип, тема, мета тощо)

10. Скільки оцінювань було проведено у Вашій організації протягом останніх 5 років? (тобто між 2007 та 2011 роками)?

Зовнішніх оцінювань Внутрішніх оцінювань

11. Якою є практика оцінки якості звітів? Яким чином вона виконується? Чи наявні узгоджені стандарти якості, за якими проводиться оцінювання звітів? Якщо так, чи могли б Ви дати нам примірник таких стандартів якості?

12. Чи використовуєте Ви спеціальне програмне забезпечення для МіО?

13. Чи вважаєте Ви достатніми фінансові та людські ресурси, які виділяться на моніторингу та оцінювання (політик/програм/проектів) у Вашій організації?

Базове дослідження

45

МОНІТОРИНГ Відсутні Недостатні Достатні Не знаю

Фінансові ресурси Людські ресурси

ОЦІНЮВАННЯ Відсутні Недостатні Достатні Не знаю

Фінансові ресурси Людські ресурси

Будь ласка, уточніть:

кількість людей, що займаються моніторингом у Вашій організації:

МіО спеціаліст

МіО відділ МіО департамент

Інше (уточніть)

кількість людей, що займаються оцінюванням у Вашій організації:

МіО спеціаліст

МіО відділ МіО департамент

Інше (уточніть)

середній бюджет для моніторингу проекту/програми/політики (у % від загального бюджету на проект/програму/політику): -

середній бюджет для оцінювання проекту/програми/політики (у % від загального бюджету на проект/програму/політику): -

14. Чи є у Вас система МіО для Ваших проектів/програм?

Ні Так, для деяких Так, для більшості Так, для всіх Не знаю

15. Ким встановлюються вимоги до системи МіО?

Вимоги законодавства

Вимоги донора Внутрішня необхідність

Відповідність міжнародним

стандартам

Інше (уточніть)

16. Чи брали участь співробітники Вашої організації у заходах з розвитку потенціалу оцінювання у період з 2007 по 2011 роки?

Так Ні Якщо так, будь ласка, вкажіть типи заходів (множинний вибір):

Тренінги, воркшопи, семінари Заходи з підвищення поінформованості (напр. конференції)

Інше (уточніть)

Базове дослідження

46

ПРОПОЗИЦІЯ

ПР

ОП

ОЗ

ИЦ

ІЯ

17. Чи вважаєте Ви, що пропозиція послуг зі сторони місцевих спеціалістів з оцінювання та експертизи є достатньою на ринку України?

Недостатня Скоріше не достатня

Достатня Залежить від сектору або типу

Не знаю

18. Чи залучені міжнародні компанії у надання послуг з оцінювання в Україні?

Зовсім ні В обмеженій кількості

В значній кількості

Не знаю

19. Чи залучені університети/дослідницькі інститути до надання послуг з оцінювання?

Зовсім ні В обмеженій кількості

В значній кількості

Не знаю

20. Загалом, як би Ви оцінили якість звітів за результатами оцінювань, проведених зовнішніми оцінювачами за останні 5 років за 5 бальною шкалою, де 5 найвища, а 1 найнижча оцінювання?

1 2 3 4 5 Не знаю

Національні експерти

Міжнародні експерти

Ні Так До певної міри Не знаю

Дані на національному рівні Дані на регіональному рівні

21. Чи бачите Ви якісь тенденції у змінах з надання послуг з оцінювання за останні 5 років в Україні? Якщо так, якими є причини цих змін?

Суттєвих змін не бачу

Сектор Причини

Державний сектор

Донори

Проекти технічної допомоги

НУО

ІНСТИТУЦІОНАЛІЗАЦІЯ

ІНС

ТИ

ТУ

ЦІО

НА

ЛІЗ

АЦ

ІЯ

22. Як і ким у Вашій організації використовуються результати оцінювання? Хто є основною аудиторією, цільовою групою результатів оцінювання? Хто є основними отримувачами та читачами результатів оцінювання? Примітки: Будь ласка, уточніть як результати оцінювання використовуються в процесі прийняття рішень. Будьте точними. Запитайте, чи виходять звіти за рамки програми/проекту? Чи доступні вони політикам, журналістам і широкій публіці?

23. Чи є у Вас система та процедури, які відслідковують використання результатів та рекомендацій, отриманих в рамках проведення оцінювання?

24. Яким чином Ви поширюєте результати оцінювання? Якими є канали комунікації результатів оцінювання? Чи доступні звіти широкому загалу?

25. Виходячи з Вашого досвіду, яке дослідження у Вашій організації є прикладом найкращого застосування результатів оцінювання?

Базове дослідження

47

26. Які фактори стали визначальними у цьому успішному застосуванні? Це єдиний приклад, чи, можливо, є і інші приклади?

27. На Вашу думку, що необхідно зробити в майбутньому для того, щоб приклади успішного використання результатів оцінювання стали більш частими (прийняти як стандарт)?

28. З Вашого досвіду, якими були основні перешкоди/складнощі в проведенні оцінювання?

29. Яким чином можна розвивати культуру оцінювання у Вашій сфері? Будь ласка, дайте Ваші рекомендації

ДОДАТКОВІ ЗАПИТАННЯ

ДЯКУЄМО ВАМ ЗА УЧАСТЬ У ДОСЛІДЖЕННІ!

Базове дослідження

48

5.2. ОПИТУВАЛЬНИК ДЛЯ ЕКСПЕРТІВ

1. Як називається організація, яку Ви представляєте?

2. Назвіть тип організації

Державна структура Донорська організація Проект технічної допомоги Неурядова організація (НУО)

3. Яку посаду Ви займаєте у цій організації?

ТЕ

РМ

ІНИ

4. Що Ви розумієте під терміном «моніторинг»?

5. Що Ви розумієте під терміном «оцінювання» (“evaluation”)?

ПОПИТ

6. На Вашу думку, чи допомагає оцінювання у підвищенні ефективності виконання проекту/програми/політики?

Так Ні

7. Чи проводите Ви оцінювання (проектів/програм/політик) у Вашій організації?

Так Ні Примітка:Будь ласка, попросіть донорські організації описати механізми здійснення оцінювання у їх організації

8. Оцінювання яких типів проводить Ваша організація? (відмітьте все, що підходить)

Для проектів

A) Внутрішня Зовнішня

B) Формуюча Проміжна Фінальна Оцінювання

впливу

Для програм

A) Внутрішня Зовнішня

B) Формуюча Проміжна Фінальна Оцінювання

впливу

Для політик A) Внутрішня Зовнішня

B) Формуюча Проміжна Фінальна Оцінювання

впливу

9. Якщо так, чи могли б Ви навести приклади таких оцінювань? (тип, тема, мета тощо)

10. Скільки оцінювань було проведено у Вашій організації протягом останніх 5 років? (тобто між 2007 та 2011 роками)?

Зовнішніх оцінювань Внутрішніх оцінювань

11. Якою є практика оцінки якості звітів? Яким чином вона виконується? Чи наявні узгоджені стандарти якості, за якими проводиться оцінювання звітів? Якщо так, чи могли б Ви дати нам примірник таких стандартів якості?

12. Чи використовуєте Ви спеціальне програмне забезпечення для МіО?

Базове дослідження

49

13. Чи вважаєте Ви достатніми фінансові та людські ресурси, які виділяться на моніторингу та оцінювання (політик/програм/проектів) у Вашій організації?

МОНІТОРИНГ Відсутні Недостатні Достатні Не знаю

Фінансові ресурси Людські ресурси

ОЦІНЮВАННЯ Відсутні Недостатні Достатні Не знаю

Фінансові ресурси Людські ресурси

Будь ласка, уточніть:

кількість людей, що займаються моніторингом у Вашій організації:

МіО спеціаліст

МіО відділ МіО департамент

Інше (уточніть)

кількість людей, що займаються оцінюванням у Вашій організації:

МіО спеціаліст

МіО відділ МіО департамент

Інше (уточніть)

середній бюджет для моніторингу проекту/програми/політики (у % від загального бюджету на проект/програму/політику):

середній бюджет для оцінювання проекту/програми/політики (у % від загального бюджету на проект/програму/політику):

14. Чи є у Вас система МіО для Ваших проектів/програм?

Ні Так, для деяких Так, для більшості Так, для всіх Не знаю

15. Ким встановлюються вимоги до системи МіО?

Вимоги законодавства

Вимоги донора Внутрішня необхідність

Відповідність міжнародним

стандартам

Інше (уточніть)

16. Чи брали участь співробітники Вашої організації у заходах з розвитку потенціалу оцінювання у період з 2007 по 2011 роки?

Так Ні Якщо так, будь ласка, вкажіть типи заходів (множинний вибір):

Тренінги, воркшопи, семінари Заходи з підвищення поінформованості (напр. конференції)

Інше (уточніть)

Базове дослідження

50

ПРОПОЗИЦІЯ

ПР

ОП

ОЗ

ИЦ

ІЯ

17. Чи вважаєте Ви, що пропозиція послуг зі сторони місцевих спеціалістів з оцінювання та експертизи є достатньою на ринку України?

Недостатня Скоріше не достатня

Достатня Залежить від сектору або типу

Не знаю

18. Чи залучені компанії у надання послуг з оцінювання в Україні?

Зовсім ні В обмеженій кількості

В значній кількості

Не знаю

19. Чи залучені університети/дослідницькі інститути до надання послуг з оцінювання?

Зовсім ні В обмеженій кількості

В значній кількості

Не знаю

20. Загалом, як би Ви оцінили якість звітів за результатами оцінювань, проведених зовнішніми оцінювачами за останні 5 років за 5 бальною шкалою, де 5 найвища, а 1 найнижча оцінювання?

1 2 3 4 5 Не знаю

Національні експерти

Міжнародні експерти

Ні Так До певної міри Не знаю

Дані на національному рівні Дані на регіональному рівні

21. Чи бачите Ви якісь тенденції у змінах з надання послуг з оцінювання за останні 5 років в Україні? Якщо так, якими є причини цих змін?

Сектор Причини

Державний сектор

Донори

Проекти технічної допомоги

НУО

ІНСТИТУЦІОНАЛІЗАЦІЯ

ІНС

ТИ

ТУ

ЦІО

НА

ЛІЗ

АЦ

ІЯ

22. Як і ким у Вашій організації використовуються результати оцінювання? Хто є основною аудиторією, цільовою групою результатів оцінювання? Хто є основними отримувачами та читачами результатів оцінювання? Примітки: Будь ласка, уточніть як результати оцінювання використовуються в процесі прийняття рішень. Будьте точними. Запитайте, чи виходять звіти за рамки програми/проекту? Чи доступні вони політикам, журналістам і широкій публіці?

23. Чи є у Вас система та процедури, які відслідковують використання результатів та рекомендацій, отриманих в рамках проведення оцінювання?

24. Яким чином Ви поширюєте результати оцінювання? Якими є канали комунікації результатів

Базове дослідження

51

оцінювання? Чи доступні звіти широкому загалу?

25. Виходячи з Вашого досвіду, яке дослідження у Вашій організації є прикладом найкращого застосування результатів оцінювання?

26. Які фактори стали визначальними у цьому успішному застосуванні? Це єдиний приклад, чи, можливо, є і інші приклади?

27. На Вашу думку, що необхідно зробити в майбутньому для того, щоб приклади успішного використання результатів оцінювання стали більш частими (прийняти як стандарт)?

28. З Вашого досвіду, якими були основні перешкоди/складнощі в проведенні оцінювання?

29. Яким чином можна розвивати культуру оцінювання у Вашій сфері? Будь ласка, дайте Ваші рекомендації

ДОДАТКОВІ ЗАПИТАННЯ

ДЯКУЄМО ВАМ ЗА УЧАСТЬ У ДОСЛІДЖЕННІ!