![Page 1: Ключевые выводы и рекомендации из выпусков Дайджестов Evolution&Philanthropy по теме "Оценка" за 2010-2012 гг](https://reader034.vdocuments.mx/reader034/viewer/2022052507/557fd327d8b42aab088b4f2e/html5/thumbnails/1.jpg)
Январь 2013 года Ирина Д. Горшкова (эксперт-аналитик E&P)
Ключевые выводы и рекомендации из выпусков
«Дайджеста публикаций международного
филантропического сообщества» за 2010-2012 гг.
по теме:
«ОЦЕНКА»
![Page 2: Ключевые выводы и рекомендации из выпусков Дайджестов Evolution&Philanthropy по теме "Оценка" за 2010-2012 гг](https://reader034.vdocuments.mx/reader034/viewer/2022052507/557fd327d8b42aab088b4f2e/html5/thumbnails/2.jpg)
2
Содержание
1 Измерение/оценка: почему? 4
4 На ком ответственность за качество измерения /оценки? 9
стр.
2 Измерение на макро- и микро- уровнях: уроки 5
3 Технократы и гуманисты: «измеряемая результативность» и результат 8
Стоимостные измерения 5 12
Рейтинги 6 14
Социальный эффект 7 15
![Page 3: Ключевые выводы и рекомендации из выпусков Дайджестов Evolution&Philanthropy по теме "Оценка" за 2010-2012 гг](https://reader034.vdocuments.mx/reader034/viewer/2022052507/557fd327d8b42aab088b4f2e/html5/thumbnails/3.jpg)
3
Характеристика обзора
Общая характеристика источников:
• англоязычные публикации 2010-2012 гг. , посвященные вопросам измерения, мониторинга и оценки (результаты исследований среди НКО, экспертов; материалы ассоциаций, статьи и блоги специалистов, обсуждения на форумах)
Цели документа:
• отразить контекст актуальных обсуждений, повестку дня в сфере измерения результатов лидеров НКО;
• обозначить вектора развития систем измерения;
• дать импульс к учету опыта развитых организаций, совершенствованию собственных систем
![Page 4: Ключевые выводы и рекомендации из выпусков Дайджестов Evolution&Philanthropy по теме "Оценка" за 2010-2012 гг](https://reader034.vdocuments.mx/reader034/viewer/2022052507/557fd327d8b42aab088b4f2e/html5/thumbnails/4.jpg)
4
Измерение/оценка: почему?
• Выше качество услуг для благополучателей
• Рост осознанности действий /самосознания, компетенций, обучение (научения) организаций
• Повышение мотивации сотрудников (при достижении социальных результатов и эффектов)
• Активизируется дискуссия о наиболее эффективных методах работы
• Ускорение позитивных изменений
• Обоснованность распределения ресурсов, снижение расходов
• Укрепление доверия со стороны общества, увеличивает объем пожертвований
![Page 5: Ключевые выводы и рекомендации из выпусков Дайджестов Evolution&Philanthropy по теме "Оценка" за 2010-2012 гг](https://reader034.vdocuments.mx/reader034/viewer/2022052507/557fd327d8b42aab088b4f2e/html5/thumbnails/5.jpg)
5
Измерение на макроуровне
Оценка будет полезнее для повышения эффективности программ, если:
• учитывать особенности, контекст оцениваемых программ (нужно соответствующее руководство по «настройке»),
• привлекать к разработке дизайна оценки широкий круг участников (исследователи, программные специалисты, доноры …),
• повышать заинтересованность доноров в реализации рекомендаций оценки
Оценка станет системнее в условиях:
• долгосрочного (а не краткосрочного) управленческого мышления;
• каждая социальная проблема имеет набор показателей для оценки прогресса;
• есть понимание движущих сил и препятствий прогресса;
• при более широком обзоре инициатив за рамками организации, сферы деятельности.
Оценка отдельной организации (части целого) или оценка прогресса, достигаемого общими усилиями?
![Page 6: Ключевые выводы и рекомендации из выпусков Дайджестов Evolution&Philanthropy по теме "Оценка" за 2010-2012 гг](https://reader034.vdocuments.mx/reader034/viewer/2022052507/557fd327d8b42aab088b4f2e/html5/thumbnails/6.jpg)
6
Измерение на микро-уровне /в организациях: общие вопросы, уроки
• Не приступать к работе, не имея конечных ожиданий
• Четкое видение, какая именно информация нужна, чтобы увидеть достигнуты ли цели, насколько достигнуты, понять, что неэффективно. Не надо измерять все, но все самое значимое
• Контролировать проблемы: смещение внимания на процесс, а не конечную цель; злоупотребление легко измеряемыми (недостаточно обоснованными) показателями. Больше разговоров об индикаторах, а не миссии, много упрощенных индикаторов
• Поддерживать тесную связь с целевыми группами, фондам – с грантополучателями. Только 20% фондов интересуются мнением грантополучателей, но (!) их характеризует более высокие темпы организационного развития, адекватный прогноз расходов, «стратегичность» планирования, результативность на уровне изменений в обществе. При оценке особый фокус на мнениях конечных благополучателей, а не только (не столько) исполнителей
• Не ограничиваться количественной оценкой, количественными методами: как важно понимание внутренних процессов, мотивации. Количественные методы не всегда применимы (например, опросы по вероятностной выборке для программ защиты прав человека, лоббирования)
• Без извлечения уроков, которые опираются на измерение и оценку, их последовательного использования в практике, анализа негативного опыта – нельзя рассчитывать на реальное улучшение деятельности. Для организации, сектора НКО в целом, доверия и уважения необходимо чаще тщательно анализировать негативный опыт, иначе деятельность остается неосмысленной
![Page 7: Ключевые выводы и рекомендации из выпусков Дайджестов Evolution&Philanthropy по теме "Оценка" за 2010-2012 гг](https://reader034.vdocuments.mx/reader034/viewer/2022052507/557fd327d8b42aab088b4f2e/html5/thumbnails/7.jpg)
8
Измеряемая результативность? Результат?
Технократический подход
• Достижения последних 15 лет - применение бизнес-подходов: четкость в формулировании целей, стратегии, задач, требования измеримости ожидаемых результатов, управление качеством, оценка эффективности, характер администрирования и т.п.,
Рациональное, но проблемы с мотивацией и ценностями
Гуманистический подход
• Прорывные задачи НКО (но и риски, горький опыт), сложно сочетаемые с просчитыванием, «производством» и измерением результата
• сильная мотивация, увлеченность, интуитивность, гибкость, ориентация скорее на качественные показатели
• нацеленность на решение проблемы, а не на «результативность» решить проблему бездомности, а не обеспечить охват через раздачу порций супа
Бессознательное, чувства, качество
межличностных отношений
Нужно сочетание, баланс: увлеченности и реалистичных стратегий, контроля и гибкости, цифр и историй
![Page 8: Ключевые выводы и рекомендации из выпусков Дайджестов Evolution&Philanthropy по теме "Оценка" за 2010-2012 гг](https://reader034.vdocuments.mx/reader034/viewer/2022052507/557fd327d8b42aab088b4f2e/html5/thumbnails/8.jpg)
9
Ответственность за качество измерения/оценки: ДОНОРЫ
• Взаимная ответственность доноров и получателей, а не односторонние требования, зашитые в формы заявки и отчетности. Понимать, что каждое новое требование должно быть обеспечено ресурсами.
Сейчас требования архисложны: описать какая именно доказательная база успеха включается в процесс отбора, инвестирования, поддержки, мониторинга, тиражирования и расширения деятельности.
Безответственно возлагать выполнение задачи на плечи НКО, которым зачастую недостает нужных сотрудников, ресурсов, навыков, знаний, т.д.
• Донорам: инвестиции в разработку и внедрение методик измерения и оценки, тесное взаимодействие с исполнителями, специальные гранты на измерение социальных эффектов
Доноры должны упреждать свои требования поддержкой грантополучателей – помогать (финансы, техподдержка) в разработке показателей деятельности; предоставлять помощь в проведении исследований, обеспечивать лучшими практиками; обсуждать результаты работы, оценки.
![Page 9: Ключевые выводы и рекомендации из выпусков Дайджестов Evolution&Philanthropy по теме "Оценка" за 2010-2012 гг](https://reader034.vdocuments.mx/reader034/viewer/2022052507/557fd327d8b42aab088b4f2e/html5/thumbnails/9.jpg)
10
Ответственность за качество измерения/оценки: ГОСУДАРСТВО
• Оценка слишком дорога (и для доноров) => потребность в едином консолидированном центре национального уровня с государственным финансированием по оценке с командами независимых наблюдателей: ежегодная оценка всех НКО, размещение данных на онлайн-ресурсах с информацией об организациях (Профессиональное документальное видео о сотрудниках и клиентах НКО; Описание целевых групп/клиентов; Декларации видения и надежд, связанных с будущим; Результаты и выводы оценки НКО, которые должны быть изложены в доступной форме и отредактированы профессиональным «райтером»; Новации, идеи и предложения ведущих НКО, которые отталкиваются не от возможностей, но выражают мечту; Показатели, которые свидетельствуют о стремлении и намерении добиться устойчивых социальных изменений/социального эффекта (impact)). Отдача: рынок, функционирующий на основе объективной информации, укрепление доверия общества, понимание реалий и трудностей НКО Глава Министерства по делам гражданского общества (UK): «социальный эффект – уникальный рыночный продукт, Правительство (как самый крупный донор) должно быть активным пропагандистом».
• Пример государственной поддержки. Министерство гражданских дел Китая поддерживает
компетентность НКО тренингами по структуре проекта, финансовом менеджменте, выявлении ЦГ и отчетности, особый интерес – этика , прозрачность, о раскрытии информации о пожертвованиях, об условиях и порядке проведения внешнего аудита, правительство разработало сводную платформу
![Page 10: Ключевые выводы и рекомендации из выпусков Дайджестов Evolution&Philanthropy по теме "Оценка" за 2010-2012 гг](https://reader034.vdocuments.mx/reader034/viewer/2022052507/557fd327d8b42aab088b4f2e/html5/thumbnails/10.jpg)
11
Ответственность за качество измерения/оценки: межсекторные инициативы, ассоциации
Профессиональные сообщества: инициативы для содействия достижению социального результата, повышения культуры сектора Пример: The Inspiring Impact Group 4 организации (консалтинговая, финансовая,
ассоциация благотворительных организаций, Министерство по делам гражданского общества, UK) в целях совершенствования
инструментария измерения эффективности о «десятилетке социального эффекта» (нач. с 2011 г.), по направлениям: • управленческая практика и культура; • единые подходы к оценке; • сбор/обработка/хранение данных, инструменты и системы оценки; • роли и ответственность доноров, инвесторов и представителей
государственных структур; • поддержка деятельности по оценке социального эффекта
Новая организация (дек. 2011) Social Impact Analysts Association (SIAA). Квалификация аккредитация профессиональных оценщиков, обмен опытом, методиками, виртуальный ресурсный центр
![Page 11: Ключевые выводы и рекомендации из выпусков Дайджестов Evolution&Philanthropy по теме "Оценка" за 2010-2012 гг](https://reader034.vdocuments.mx/reader034/viewer/2022052507/557fd327d8b42aab088b4f2e/html5/thumbnails/11.jpg)
12
Стоимостные измерения
• Средство убеждения для филантропов Психологическое консультирование и сопровождение семей в 5 раз выгоднее
прямой поддержки 1 молодого человека, проживающего в криминальной обстановке совместно с наркозависимой матерью (снижение риска неблагополучного жизненного сценария, обезопасили потенциальных жертв, экономия денег на работу полиции, судей, опекунов, трудоустройство клиента приводит к налоговым отчислениям в казну).
• Оценка НКО через «социальный» индекс. Пример: за 5 лет деятельности британской «Tommorrow’s People» 2.4 £
созданной социальной стоимости на 1 вложенный £.
НО !!!
Разные воздействия – разные возможности расчетов. «Легче считать терапию, чем профилактику»: эффект от трудоустройства
безработных, чем предотвращение молодежной преступности
На практике зафиксированные стоимостные эффекты пока не дали приращения объемов финансирования, хотя государство (UK) принуждает проводить
дорогостоящие исследования по стоимостной оценке
![Page 12: Ключевые выводы и рекомендации из выпусков Дайджестов Evolution&Philanthropy по теме "Оценка" за 2010-2012 гг](https://reader034.vdocuments.mx/reader034/viewer/2022052507/557fd327d8b42aab088b4f2e/html5/thumbnails/12.jpg)
13
Стоимостные измерения
• В контексте SROI (Social Return on Investment, с 90-х гг.) призывают не абсолютизировать сегодняшние стоимостные измерения, только один из аспектов оценки организации
• Принять во внимание Triple bottom line с «обратным» подходом, расчеты: не «социальное, потом экономическое», а, наоборот, «экономическое, потом социальное»).
Акцент внимание корпораций не только на создаваемых экономических стоимостях, но и социальной и экологической стоимости, которую они создают или разрушают.
Требование охватить всю систему ценностей, задач и процессов, к которым должна обратиться компания для того, чтобы минимизировать любой вред, наносимый ее деятельностью, и чтобы создать экономическую, социальную и экологическую стоимость.
• Разработка и достижение согласия по поводу единых стандартов еще в перспективе.
Пример по аналогии: многолетнее становление универсальных норм бухучета.
![Page 13: Ключевые выводы и рекомендации из выпусков Дайджестов Evolution&Philanthropy по теме "Оценка" за 2010-2012 гг](https://reader034.vdocuments.mx/reader034/viewer/2022052507/557fd327d8b42aab088b4f2e/html5/thumbnails/13.jpg)
14
Рейтинги / «Таблицы чемпионов» (включающие достижения социальных эффектов)
• Форма поддержки эффективных НКО, добивающихся значительных социальных изменений
• Длительное сопротивление переходит в фазу «нормы жизни», предпринимаются шаги к созданию общего банка данных, совершенствованию рейтинговых систем
Призывы: • НКО: не бояться сравнений с коллегами из сходного сегмента • Государство, доноры: ориентироваться не только на стоимость услуг, но и на
достижения социальных эффектов, отраженных в рейтингах • Академическое сообщество: больше вовлекаться в совершенствование систем
измерений. Пример. Рейтинги Charity Navigator (с 2011 ) по параметрам, разработанным при
содействии экспертов из академического сообщества, НКО и пр.: • финансовые показатели (доля накладных расходов), • прозрачность и отчетность, • результаты реализации проектов (2013 г.)
В планах – качество отчетности по разным типам достигнутых показателей (outputs, outcomes, impact)
![Page 14: Ключевые выводы и рекомендации из выпусков Дайджестов Evolution&Philanthropy по теме "Оценка" за 2010-2012 гг](https://reader034.vdocuments.mx/reader034/viewer/2022052507/557fd327d8b42aab088b4f2e/html5/thumbnails/14.jpg)
15
Оценка социального эффекта (устойчивых социальных изменений)
• Оценка социального эффекта =//= оценка эффективности программ. Социальный эффект – плод коллективных усилий, поэтому должны быть иные подходы, чем измерение результатов
• Проблемой остается измерение изменений в изменяющемся контексте
• Оценка социального эффекта – не самоцель. Главное – содействие положительным изменениям. Проводить в тех случаях, когда помогает понять реальный прогресс, извлечь уроки
• Каково соотношение стоимости измерения и самих достижений? (к вопросу о целесообразности проведения оценки социального эффекта)
• Использовать ресурсы со стандартизированным набором инструментов (f.e., TRASI) осмотрительно, учитывать конкретную ситуацию оцениваемых программ