Итоговый аналитический...

0

Компания «Десента»

МАРТ 2017 Г.

ИТОГОВЫЙ АНАЛИТИЧЕСКИЙ ОТЧЕТ В РАМКАХ КОНТРАКТА №7180286

RUSSIA BUDGET LITERACY PROJECT (P153096) EVALUATION OF BUDGET LITERACY PILOT CURRICULUM

LEARINING OUTCOMES

1

ОГЛАВЛЕНИЕ

Благодарности ....................................................................................................................................... 2

Введение................................................................................................................................................ 4

Краткое резюме проекта ....................................................................................................................... 6

Методология оценки ........................................................................................................................... 15

Методы сбора и обработки данных .................................................................................................... 19

Результаты анализа данных ................................................................................................................ 22

Обобщенные данные........................................................................................................................... 34

Анализ полученных данных с использование метода Разницы в различиях .................................... 39

Анализ данных, полученных при проведении фокус-групп ............................................................. 61

Ограничения оценки ........................................................................................................................... 68

Основные выводы оценки .................................................................................................................. 70

Рекомендации...................................................................................................................................... 79

Приложение 1...................................................................................................................................... 81

Приложение 2...................................................................................................................................... 85

Приложение 3...................................................................................................................................... 86

Приложение 4.....................................................................................................................................102

2

БЛАГОДАРНОСТИ Фонд «Десента» выражает искреннюю благодарность и глубокую

признательность тем лицам, без которых проведение данного исследования

было бы невозможным. Прежде всего, благодарим региональных

координаторов пилотирования программы "Бюджетная грамотность

школьников": Блок Марию Евгеньевну, координатора по Алтайскому краю,

Искужину Наилю Гайфулловну, координатора по Республике Башкортостан,

Удот Маргариту Степановну, координатора по Пермскому краю. Все

региональные координаторы обеспечили наличие необходимых для

исследования данных, подготовили условия для посещений оценщиками

регионов и тестирования учащихся в школах. Также выражаем благодарность руководителям и учителям образовательных

организаций, которые создали все необходимые условия для проведения

тестирования во всех трех пилотных регионах: Алтайский край: МБОУ СОШ № 12 г.Новоалтайска МБОУ СОШ №19 г.Новоалтайска МБОУ «Лицей «Бригантина» г.Заринск МБОУ СОШ №15 г.Заринска КГБОУ «Алтайский краевой педагогический лицей-интернат» г.Барнаул МКОУ «Тальменская средняя общеобразовательная школа №3» МКОУ «Тальменская средняя общеобразовательная школа №6» МКОУ «Тальменская средняя общеобразовательная школа №1» Пермский край: МАОУ «Суксунская средняя общеобразовательная школа №2» МАОУ «Суксунская средняя общеобразовательная школа №1» МБОУ «Сарсинская средняя общеобразовательная школа» МБОУ «СОШ №14» (НОЦ) г. Губаха МАОУ «СОШ № 102» г. Перми МАОУ «СОШ № 99» г. Перми МАОУ «СОШ № 101» г. Перми МАОУ «Лицей №4» г. Перми Республика Башкортостан: Республиканский инженерный лицей-интернат (г.Уфа) МАОУ «Лицей № 3» ГО г.Стерлитамак МАОУ «Гимназия №5» ГО г.Стерлитамак МБОУ «Лицей № 106 «Содружество» (г.Уфа) МБОУ «Лицей № 42 (г. Уфа) МАО СОШ №1 п.Чишмы

3

СОШ № 5 п.Чишмы МБОУ «Гимназия» МР п.Чишмы Все, указанные люди и организации, внесли ощутимый вклад в проведение

данной оценки, благодаря чему ее результаты стали максимально

объективными и достоверными. С уважением и признательностью, Фонд «Десента»

4

ВВЕДЕНИЕ Данные услуги по оценке воздействия (Impact Evaluation) пилотного проекта

по внедрению учебного курса «Бюджетная грамотность» в Российской

Федерации были оказаны Фондом «Десента» (Исполнитель) для Всемирного

банка (Заказчик) в рамках проекта «Бюджетная грамотность», реализуемого

совместно Всемирным банком и Министерством финансов Российской

Федерации при финансовой поддержке Министерства финансов Российской

Федерации. Как известно, оценка воздействия оценивает изменения, которые могут быть

связаны с конкретным вмешательством, таким как проект, программа или политика, как предполагаемые, так непреднамеренные. Оценка воздействия

построена таким образом, чтобы ответить на вопрос: как изменились бы

результаты, если бы вмешательство не было предпринято? Это включает в

себя сравнительный анализ того, что произошло на самом деле, с тем, что

произошло бы в отсутствие вмешательства. Оценки воздействия дают ответы

на вопросы о причинно-следственных связях. Другими словами, они ищут

изменения в результатах, которые напрямую связаны с программой. Оценка воздействия помогает ответить на ключевые вопросы для разработки

политики на основе фактических данных: что работает, что не работает, где,

почему и для чего? Таким образом, оценка воздействия - это особый тип программной оценки,

который стремится ответить на конкретный вопрос причинно-следственного характера: каково воздействие (или причинный эффект)

программы на результат, представляющий интерес? Оценка воздействия помогает нам преодолеть проблему установления причинно-следственной связи путем эмпирического определения того, в

какой степени конкретная программа - и только эта программа - внесла вклад

и оказала воздействие на ключевые концепции, определяет степень, в

которой программа - и одна только программа - вызывает изменение

результата. Чтобы установить причинность между программой и

результатом, мы используем методы оценки воздействия, чтобы исключить

возможность того, что какие-либо факторы, кроме интересующей

программы, объясняют наблюдаемое воздействие. Целью данной оценки воздействия являлась оценка результатов обучения

по Программе бюджетной грамотности, пилотируемой в трех регионах

России, и выработка рекомендаций по ее улучшению. При проведении оценки исследователи ориентировались на Цели и

планируемые результаты обучения, разработанные на этапе Концепции

образовательной программы учебного курса «Бюджетная грамотность для

5

старшеклассников», в частности, таким ее разделом, как «Запланированные

результаты». Результат оценки должен был показать степень, до которой оцениваемый

курс смог оказать влияние на учащихся, с точки зрения повышения их знаний

и навыков о бюджете, а также достижения двух основных образовательных

целей, обозначенных в Курсе «Бюджетная грамотность»: - понимать систему государственного бюджета; - понимать свою личную роль в бюджетном процессе. Оценка воздействия состоит, как правило, из двух этапов или двух замеров

состояния предмета оценки «до» вмешательства программы, а также «после». Целью исследования на первом этапе было выявить начальный уровень

знаний у школьников, их осведомленность (на тот момент) о бюджете до

изучения курса «Бюджетная грамотность». На втором этапе цель состояла в выявлении уровня знаний у контрольных

групп после участия в курсе, а у сравнительных групп – на момент

проведения тестирования. Задачи исследования:

• Собрать количественные данные в виде заполненных тестовых

заданий. • Рассчитать по ним количество учащихся, принявших участие в

исследовании, их гендерный состав. • По количеству правильных ответов на каждый вопрос определить

степень сложности тестовых заданий, а также умение респондентов

проводить анализ. • Собрать и подытожить качественные данные посредством фокус-групп. • Проанализировать базовый уровень знаний в части бюджетной

грамотности у учащихся пилотных регионов до начала изучения курса. • Сопоставить, насколько схожи знания и навыки о бюджетной

грамотности у экспериментальных и сравнительных групп по начала

изучения курса. • Провести итоговое/выходное тестирование для тех же школ и

учащихся, которые тестировались на начальном уровне, оценить

воздействие пилотного курса «Бюджетная грамотность» в школах на

основе результатов тестирования, сравнив изменения результатов у

экспериментальных и сравнительных групп.

Применительно к данному проекту важно было оценить, какое воздействие

на учеников 10-х классов в отобранных школах в трех пилотных регионах

оказал курс «Бюджетная грамотность».

6

КРАТКОЕ РЕЗЮМЕ ПРОЕКТА

Описание методологии, цели и задач оценки

В период с сентября 2016 года по март 2017 года Фонд «Десента»

(г.Павлодар, Казахстан) произвел оценку воздействия (Impact Evaluation) пилотного проекта по внедрению учебного курса «Бюджетная грамотность»

в Российской Федерации. Услуги были оказаны в рамках проекта

«Бюджетная грамотность», реализуемого совместно Всемирным банком и

Министерством финансов Российской Федерации при финансовой

поддержке Министерства финансов Российской Федерации. В соответствии с утвержденной методологией исследователи использовали

квази-экспериментальный дизайн, как наиболее целесообразный и

выполнимый. Квази-экспериментальный подход предполагает сравнение

результатов групп, которые участвовали в программе, с теми группами,

которые не имели возможности участвовать. При этом выбор осуществлялся

без применения рандомизации. Рабочая гипотеза оценки заключалась в том, что экспериментальные группы

(классы, участвующие в изучении курса «Бюджетная грамотность») после

воздействия программы покажут более высокий уровень знаний по

бюджетному процессу и участию в нем граждан после изучения курса, что

может быть подтверждено результатами тестового задания, выполненного до

и после изучения курса. В итоге оценка воздействия должна была

демонстрировать статистически значимое повышение уровня знаний в

экспериментальных группах. Для проведения исследования была сформирована выборка из 12 школ, по 4 школы в каждом регионе. Далее в каждом из трех пилотных регионов

(Алтайский край, Пермский край, Республика Башкортостан) были отобраны

группы экспериментальные и группы сравнения с максимально схожими

признаками, такими как тип населенного пункта, тип школы, профиль класса,

успеваемость. Исследование проводилось в два этапа – до начала изучения курса, а также

по его завершении. Целью первого этапа исследования было выявление текущего уровня знаний

у учащихся о бюджете, бюджетном процессе, участии в нем граждан и т.д.

Для этого исследователи посетили в каждом регионе по 4

экспериментальных и 4 сравнительных класса. В выбранных группах были

собраны количественные данные в виде заполненных тестовых заданий,

результаты которых были в дальнейшем подсчитаны и обработаны, на основе

чего были сделаны выводы о степени сложности тестовых заданий и умении

респондентов проводить анализ. Также исследователями были собраны и

проанализированы качественные данные посредством фокус-групп. Таким

образом, на основе полученных данных было выявлено, что знания и навыки

7

в части бюджетной грамотности у учащихся пилотных регионов до начала

изучения курса практически на одном уровне. По окончании курса исследователи посетили те же самые сравнительные и

экспериментальные классы, провели у них итоговое/выходное тестирование

и фокус-группы, тем самым собрав все необходимые данные для того, чтобы

оценить воздействие курса «Бюджетная грамотность», сравнив изменение

результатов у экспериментальных и сравнительных групп. Результаты

тестирования обрабатывались с помощью программ Microsoft Excel и SPSS. При проведении итогового тестирования (для снижения вероятности

случайности полученных результатов) в тех случаях, где при поведении

входного тестирования сопоставимость экспериментальных и сравнительных

классов была неоднозначной, были привлечены дополнительные

сравнительные классы. Сопоставимость обеспечивалась по таким критериям,

как регион, тип населенного пункта, тип школы, профиль класса и

успеваемость. Поэтому в некоторых случаях при проведении

итогового/выходного тестирования на один экспериментальный класс

приходилось по два сравнительных. Таким образом, на первом этапе объектами исследования стали 474

учащихся, а на втором их число увеличилось до 650.

Краткое описание хода оценки:

В Республике Башкортостан на втором этапе в исследовании приняли

участие 252 учащихся, средний балл (т.е. по обеим группам) которых был

несколько выше по сравнению с другими пилотными регионами - 49,40. Средний балл Алтайского края составил 49,14, было опрошено 218

учащихся. В Пермском крае в исследовании приняли участие 180 учащихся, набрав в

среднем 49,17 баллов. Усредненные показатели, объединяющие результаты экспериментальных и

сравнительных классов, на втором этапе превышают начальный уровень

знаний на 3-4 %. Средний балл по итогам входного тестирования составлял

45,74 - 46,81. На выходном этапе он увеличился до 49,14- 49,4. Собранные данные были обработаны с применением метода двойной

разницы, или разницы в различиях. Первой разницей являлось отличие в

результатах экспериментальной группы (балл выходного тестирования минус

балл входного тестирования). Вторая разница – это различие результатов у

сравнительной группы. Оценка воздействия с применением метода двойной

разницы вычисляется следующим образом: 1) Рассчитывается разница в результатах между ситуацией до и после

программы для экспериментальной группы.

8

2) Рассчитывается разница в результатах между ситуацией до и после для

сравнительной группы. 3) Далее рассчитывается разница между разницей в результатах

экспериментальной группы и разницей у сравнительной группы, это и есть

двойная разница или разность разностей. Вышеописанные вычисления применяются для того, чтобы устранить

возможные смещения/несоответствия между группами. Иными словами,

вычитается разница между добавочным результатом сравнительной группы

из добавочного результата экспериментальной. В этом случае устраняется

смещение и высчитывается «достоверное» улучшение в экспериментальной

группе. Базовый уровень знаний или результаты входного тестирования показан на диаграммах ниже. Диаграмма 1: Входное тестирование, сравнительная группа.

9

Диаграмма 2. Входное тестирование, экспериментальная группа.

Как видно из предложенной графической иллюстрации, базовый уровень

знаний по бюджетной грамотности у обеих групп (данные в агрегированном

виде) практически одинаковый.

По результатам итогового, или выходного, тестирования ситуация

существенным образом меняется:

Диаграмма 3. Выходное тестирование, сравнительная группа.

10

Диаграмма 4. Выходное тестирование, экспериментальная группа.

Как видно из представленных диаграмм, разница «на выходе» составила

10,11 баллов. При обработке данных с применением программного обеспечения были

получены следующие результаты при заключительном/выходном

тестировании: Группа Сравнительная Экспериментальная

Среднее 45.6921 55.7967

SD 10.1344 12.3521

SEM 0.5042 0.7875

Значение 404 246

А также результаты сравнения экспериментальных групп до и после

изучения курса:

Группа Экспериментальная до Экспериментальная после

Среднее 46.8375 55.7967

11

SD 9.9151 12.3521

SEM 0.6283 0.7875


Краткие выводы:

Таким образом, мы можем констатировать, что во всех экспериментальных

классах наблюдается изменение (повышение) уровня знаний по бюджету и

бюджетному процессу, причем, в некоторых случаях такие изменения

особенно значительны.

Очистив полученные в ходе оценки данные методом вертикальной и

горизонтальной дельты в рамках метода Разницы в различиях, мы приходим

к выводу, что в 10 случаях из 12, т.е. в 83,3%, присутствует

положительный результат. Иными словами, можно сделать вывод о том,

что воздействие или эффект имели место по отношению к исследуемым

группам.

1. Полученный результат является статистически значимым,

маловероятно, что он стал следствием случайности.

2. Наличие эффекта или воздействия с большой долей вероятности

объясняется вмешательством программы, в частности, Курса

«Бюджетная грамотность».

3. Можно говорить о том, что преподавание в пилотном режиме курса

«Бюджетная грамотность» состоялось, имело воздействие на уровень

знаний задействованных учащихся. В пользу этого вывода говорит тот

факт, что, во-первых, курс был обеспечен соответствующими учебно-методическими материалами. Во-вторых, были подготовлены

преподаватели курса. В-третьих, школами были созданы

соответствующие условия для организации учебного процесса. В-четвертых, отмечено повышение уровня знаний в сфере бюджетной

грамотности у учащихся, изучавших курс. В-пятых, пилотирование

курса показало, что он сработал универсально, т.е. во всех возможных

условиях: в крупных, средних, малых городах и селах, в

общеобразовательных школах и лицеях или гимназиях, в классах с

разным профилем.

12

4. Анализируя все факторы, которые могли бы оказать влияние на

результаты, оценивая степень их воздействия (значительную или

незначительную), мы приходим к выводу, что самым мощным

фактором в ряду прочих, который мог влиять на повышение уровня

знаний в части бюджетной грамотности, стал именно курс.

5. На результат также могли оказать влияние, например, другие

дисциплины, изучаемые одновременно с этим курсом.

6. Некоторые факторы, которые могли оказать влияние на результат,

оказали несущественное влияние. Из анализа собранных данных, мы

можем сделать вывод о том, что к таким факторам можно отнести:

регион, тип населенного пункта (например, крупнейший город или

поселок), тип школы (обычная общеобразовательная, лицей или

гимназия). В отношении влияния профиля класса также можно сделать

вывод о том, что данный фактор не оказал существенного влияния на

результаты оценки.

7. В значительной мере на качество результатов могли оказать влияние

учителя, которые преподавали Курс «Бюджетная грамотность».

8. Экспериментальные классы при проведении выходного тестирования чаще пользовались своими знаниями, нежели просто угадывали

правильный ответ. Анализ данных относительно вопроса «Угадали ли

вы ответ» показывает, что в экспериментальных классах количество

ответов «Да», т.е. угадал, значительно меньше, чем в сравнительных. По Пермскому краю при выходном тестировании количество

угадавших в экспериментальных группах сократилось в три раза, в

Алтайском крае процент угадавших в экспериментальных группах

снизился более чем в 2,5 раза, в Республике Башкортостан – почти в 3

раза.

9. Умение применять знания из сферы бюджетной грамотности, а также

аргументированно отстаивать свою позицию у сравнительных и

экспериментальных групп находится примерно на одном уровне.

10. Однозначного мнения о том, насколько необходимо преподавать

«Бюджетную грамотность» в виде отдельного курса либо сделать его

интегрированной частью других предметов, не сложилось.

11. По итогам встреч с преподавателями и руководителями школ, а также

из некоторых высказываний, учащихся можно заключить, что часть

респондентов полагает, что курс должен существовать отдельно.

13

Также, что количества часов (или занятий), отведенных для данного

курса, оказалось не совсем достаточно, чтобы полностью раскрыть

тему бюджетной грамотности. Учителя также поделились своим

мнением о некоторой незавершенности курса. Речь идет о том, что курс

рассчитан на одно полугодие и во втором полугодии уже не

преподавался. 12. Противоположная точка зрения заключалась в том, что в настоящее

время активно вводится предмет «Финансовая грамотность», который

мог бы включить в себя «Бюджетную грамотность» как

интегрированную часть. В пользу этой точки зрения говорит то, что

понятие финансовой грамотности шире, чем бюджетной. Кроме того,

бюджетная грамотность может оказаться менее полезной и прикладной

для учащихся впоследствии, нежели грамотность финансовая.

13. Учебно-методические материалы курса получили положительную

оценку. 14. Данный вывод также сделан на основе косвенных данных, хотя и

полученных из первичных источников. В большинстве своем и

учащиеся, и преподаватели дали положительную оценку учебно-методическим материалам, оценив доступность, ясность, понятность

изложения. Также (за редким исключением) хорошие отзывы вызвало

оформление, использованная инфографика.

Рекомендации:

1. Одна из основных рекомендаций, которую можно озвучить, связана с тем,

что данный Курс готов к внедрению с учетом замечаний, собранных из

разных источников во время пилотирования (координаторы, учителя, школы,

учащиеся). Для этого созданы необходимые предпосылки. В отношении того,

следует ли внедрять данный курс в качестве самостоятельного, однозначного

мнения не сложилось, кроме того, данная оценка не предполагала ответа на

данный вопрос. Курс мог бы стать интегрированной частью какого-то

другого курса или предмета, такие предложения высказывались со стороны

многих учителей, которые преподают экономику. В качестве вариантов

предлагали Экономику, Финансовую грамотность. В отношении Финансовой

грамотности высказывалось мнение о том, что этот курс или даже понятие

несколько шире Бюджетной грамотности, поэтому в его рамки можно было

бы включить несколько наиболее востребованных тем из Курса.

2. В случае, если останется самостоятельный курс, то его рекомендовалось

сделать более продолжительным, рассчитанным на весь учебный год.

14

3. Важно решить вопрос с мотивацией преподавателей. Этот вопрос не

входил в объем оценки, тем не менее, на уровне наблюдений было заметно,

что такой вопрос существует. И в настоящий момент не совсем понятно, кто

именно и с использованием каких именно ресурсов будет решать этот

вопрос.

4. Учебно-методические материалы содержат ссылки на Интернет-ресурсы,

некоторые из которых оказались неактивными. Рекомендуется использовать

ссылки, при использовании которых риски частых обновлений,

модернизаций, реконструкций и тому подобных воздействий будут

минимальными.

5. В качестве одной из рекомендаций может быть предложение об

использовании данного курса в качестве элективного для непрофильных

классов. Поскольку классы, имеющие социально-экономический профиль,

получают схожие знания из других предметов.

6. Возможно, стоит повторно сопоставить содержание курса «Бюджетная

грамотность» с учебной программой, с целью избежать дублирования с

содержанием других предметов.

15

МЕТОДОЛОГИЯ ОЦЕНКИ В соответствии с утвержденной методологией исследователи использовали

квази-экспериментальный дизайн, как наиболее целесообразный и

выполнимый. Квази-экспериментальный подход предполагает сравнение

результатов групп, которые участвовали в программе, с теми группами,

которые не имели возможности участвовать. При этом выбор осуществлялся

без применения рандомизации. Как известно, квази-эксперимент отличается от истинного/чистого эксперимента тем, что исследователи: включают, по крайней мере, два

уровня независимой переменной, даже если они не могут ею

манипулировать; как правило, не могут случайным образом выбрать

испытуемых для групп, но должны принять уже существующие группы;

включают специальные процедуры для проверки гипотез; включают

некоторые элементы управления для угроз валидности. Причинные гипотезы с уверенностью можно проверить, если испытуемых

для групп подбирают случайным образом, поскольку такие группы,

вероятно, будут равнозначными в начале исследования. Тем не менее, иногда

испытуемые не могут быть случайным образом распределены по группам, а

группы не могут быть равнозначными по некоторым переменным в начале

исследования. Кэмпбелл и Стэнли (1966) популяризировали разработку

дизайна неэквивалентных контроль-групп, предполагая, что уже

существующие группы могут быть похожи друг на друга по большинству

соответствующих переменных, даже если не существует никакого

систематического распределения испытуемых по группам. Чем больше

естественные группы аналогичны по отношению друг к другу, тем ближе

дизайн приближается к чистому эксперименту.1 Кроме того, Кук и Кэмпбелл (1979) показали, что иногда можно сделать

хорошие выводы, используя неэквивалентные контроль-группы в

исследовании, даже когда группы различны, при условии, что исследователь

тщательно оценивает все потенциальные угрозы для валидности.2 Существуют две проблемы, связанные с неэквивалентными группами:

группы могут отличаться по зависимому критерию (-ям) в начале

исследования, а могут существовать и другие различия между группами. Для

решения первой проблемы включается предтестовая оценка.

Предварительный тест показывает, насколько похожи группы по зависимой

1 Campbell, D. T., & Stanley, J. C. (1966). Experimental and quasi-experimental designs for research on teaching. Chicago, IL: Rand McNally. 2 Cook, T. D., & Campbell, D. T. (1979). Quasi experimentation: Design and analysis issues for field studies. Chicago, lL: Rand McNally.

16

переменной (-ым) в начале исследования. Чем больше сходства между

группами, тем большим контролем обладает исследователь. Для решения

второго вопроса, когда группы могут отличаться друг от друга не только по

зависимой переменной, очень важно исключить каждую потенциальную

вмешивающуюся переменную. Чтобы это сделать, сначала нужно определить

потенциальные вмешивающиеся переменные, измерить их и последовательно

исключить. В данном проекте невозможно было случайным образом выбрать отдельных

учащихся; вместо этого исследователи должны были случайным образом

выбрать целые классы в одной школе, и, если в этой школе был только один

10 класс, необходимо было подобрать десятиклассников в другой школе,

которые бы выступили в качестве сравнительного класса. В связи с тем, что

ни один из учащихся не имел предварительного официального образования

по бюджету, предполагался равный базовый уровень знаний курса

«Бюджетная грамотность». К сожалению, выбирая целые классы для

исследования, была сильная вероятность того, что будет разное количество

учащихся в классах, уровень, а также гендерный состав будут отличаться.

Исследователи могли контролировать несколько переменных: во-первых,

учащиеся во всех классах имели одинаковые или очень близкие показатели

по успеваемости - средний балл (GPA) составлял 4,5 для всех групп; во-вторых, классы были выбраны из аналогичного географического положения - городской, сельской или пригородной местности; и, в-третьих,

экспериментальные и сравнительные классы имели аналогичную

специализацию (тип образовательного учреждения) – общеобразовательная

школа, лицей или гимназия. В результате, несмотря на то, что

экспериментальные и сравнительные группы выглядели по-разному в начале

исследования, они показали очень близкие результаты на предварительной

оценке, что является допустимым доказательством группового сходства по

самому важному критерию - бюджетной грамотности. Само воздействие или влияние программы определялось путем сравнения

результатов (контрольных баллов) в группах экспериментальных и

сравнительных. Одной из главных целей проекта является повышение уровня знаний о

государственном бюджете и бюджетных процессах на уровне средней школы

(10 класс). Таким образом, оценка воздействия должна демонстрировать

статистически значимое повышение уровня знаний в экспериментальной

группе, измеренное двумя способами: 1) Оценочные баллы экспериментальной группы, полученные при

выходном тестировании, по сравнению с баллами входного

тестирования, т.е. предварительными оценками;

17

2) Оценочные баллы экспериментальной группы, полученные при

выходном тестировании, по сравнению с результатами сравнительной

групп/группы, полученными при итоговом/выходном тестировании. Для проверки гипотезы статистического исследования была составлена

дезагрегированная форма, в которой отражены все респонденты (полный

список по всем регионам и образовательным учреждениям). Данная форма

(список) или выборочная совокупность была трансформирована в

интервальный ряд распределения, где респонденты были разбиты на

интервальные группы. Для подтверждения нормальности распределения

респондентов по группам (интервалам) была использована статистическая

компьютерная программа SPSS. Далее выполнялся расчет средних

показателей, ошибки и отклонения. В качестве методов оценки, прежде всего, использовался метод простого

сравнения «до изучения курса» и «после изучения», хотя его, конечно же,

было недостаточно, поэтому был применен метод Разности в Различиях, или

Двойная разница. Подход, при котором сравниваются результаты «ДО» с результатами

«ПОСЛЕ», является, скорее, мониторингом итога, но не оценкой

воздействия. В данном случае мы не можем сказать, было ли, например,

повышение уровня знаний по бюджетному процессу (подтвержденное

результатами тестирования) вызвано влиянием курса «Бюджетная

грамотность» или нет, так как возможно, что повышение уровня знаний

произошло повсеместно. Вместе с тем, простая оценка ДО и ПОСЛЕ

помогает ответить на следующие вопросы: ➢ Произошли ли изменения применительно к знаниям учеников? ➢ Были ли эти изменения в ожидаемом направлении?

Слабое место такой оценки состоит в том, что она не может ответить на

вопросы: ➢ Откуда мы узнаем, что это программа изменила ситуацию к лучшему? ➢ Может быть, ученики, регион и т.д. обладали какими-то специфичными

преимущественными характеристиками? ➢ Откуда мы узнаем, что, возможно, ученики, не участвующие в

программе, также повысили уровень знаний? При методе Разницы в Различиях форма измерения воздействия программы

производится с использованием панельных данных, собранных при базовом

исследовании, т.е. вначале - перед реализацией программы, а также позднее - после того, как программа уже некоторое время работала. Эти два

обследования должны быть сопоставимыми в вопросах и методах

обследования, и должны быть использованы как в отношении участников

программы, так и к сравнительным группам, не участвовавшим в программе.

18

Использование данного метода позволяет устранить отклонение

ненаблюдаемых переменных при условии, что они остаются неизменными в

ходе времени. Разница в различиях (РВР) рассчитывает эффект воздействия на результат

путем сравнения средних изменений в результате по истечении времени

между результатами экспериментальной и контрольной групп. Цель

применения РВР – контролировать “внешние” факторы и возможные

проблемы с выборкой, при этом, методика РВР также имеет определенные

недостатки (регрессия к средней величине; обратная причинно-следственная

связь и т.п.). РВР измеряет различие в результате между экспериментальной

и контрольной группами, который происходит в разных временных участках. Метод Разность разностей сравнивает изменения в результатах с течением

времени между субъектами, которые участвовали в программе

(экспериментальная группа) и субъектами, которые не участвовали в ней

(сравнительная группа). Это позволяет нам скорректировать любые различия

между экспериментальной и сравнительной группами, которые являются

постоянными во времени. Различие в результатах «до» и «после» для экспериментальной группы (т.е.

первое различие) – контролирует факторы, которые являются постоянными

во времени в этой группе, т.к. мы сравниваем группу саму с собой. Однако у

нас есть и факторы, которые варьируются во времени для этой же самой

группы. Один из способов контролировать эти факторы, меняющиеся во

времени, это измерить изменения в результатах «до» и «после» у группы,

которая не участвовала в программе, но была подвержена влиянию тех же

самых внешних обстоятельств – это второе различие. Если мы очистим

первое различие от других факторов, меняющихся во времени, которые

оказывают влияние на результаты, устраняя второе различие, тогда мы

устраним источник помех, который вызывал нашу обеспокоенность при

простом сравнении «до» и «после». Экспериментальная и сравнительная

группы не обязательно должны иметь одинаковые условия до участия в

программе. Но, для того, чтобы метод двойной разницы был валидным,

сравнительная группа должна точно показать разницу в результатах, которая

наблюдалась бы у экспериментальной группы в случае отсутствия

вмешательства программы. Чтобы применить метод двойной разницы, важно

измерить результаты у обеих групп – и экспериментальной, и сравнительной

- до и после воздействия программы. Рабочая гипотеза заключалась в том, что экспериментальные группы после

воздействия программы покажут более высокий уровень знаний по

бюджетному процессу и участию в нем граждан после изучения курса

«Бюджетная грамотность», что может быть подтверждено

результатами тестового задания, выполненного до и после изучения курса.

19

При применении метода двойной разницы важно получить изменения в

результатах сравнительной группы, а затем вычесть их из показателей

изменений результатов экспериментальной группы. Изменения результатов у

сравнительной группы используются для анализа и сопоставления с

изменениями результатов экспериментальной группы. Предполагается, что

если бы экспериментальная группа не участвовала в программе, то ее

результаты по прошествии времени изменялись бы по схожему сценарию и

трендам, как у сравнительной группы. Первоначально планировалось использовать метод парного t-критерия, либо

ANOVA. Однако позднее от использования этих методов пришлось

отказаться. Применение дисперсионного анализа в данном случае для

подтверждения гипотезы исследования можно считать нецелесообразным

вследствие значительного количества факторов и небольшой длины

интервалов. Также в данном случае показатели стандартных ошибок и

отклонений незначительны. Использование парного t-критерия также

оказалось затруднительным вследствие невозможности обеспечить

сопоставимую парность. МЕТОДЫ СБОРА И ОБРАБОТКИ ДАННЫХ Количественные данные были собраны в экспериментальных и

сравнительных группах от учащихся посредством проведения письменного

опроса (тестирования), а также фокус-групп с учащимися. Оба метода – и

тестирование, и опросы, проводились непосредственно самими

исследователями. Качественные данные собирались посредством проведения фокус групп с

учащимися обеих групп – экспериментальных и сравнительных. После сбора данных была произведена их обработка и анализ с

использованием программ Excel и SPSS. Данный анализ подтвердил

валидность шкалы ответов, т.к. процент валидности оказался на уровне 100%

при входном и выходном тестировании. Р-Значение и статистическая значимость: Двустороннее Р-значение равно при итоговом тестировании составило менее

0.0001, что является статистически важным показателем. Среднее значение

разницы между сравнительной группой и экспериментальной группой равно

-10.1046. Доверительный интервал 95% для этой разницы: от -11.8564 до -8.3528; t = 11.3325; df = 648; Стандартная ошибка разницы = 0.892. Оценка проводилась в два этапа. В период с 26 по 29 сентября 2016г.

Исполнитель проводил первый этап исследования (pre-testing) в трёх

пилотных регионах РФ: Пермском крае, Алтайском крае и Республике

20

Башкортостан. Второй этап, включавший проведение итогового/выходного

тестирования и фокус-групп, закончился в марте 2017г. Первый этап проводился в момент «до» воздействия программы. Второй этап

прошел в марте 2017г., когда изучение курса было закончено во всех

экспериментальных школах (до 25.12.2016г.). На итоговом/выходном

тестировании оценщики провели тестирование в тех же школах, тестируя тех

же самых учеников, которых тестировали при входном тестировании. При

этом использовались абсолютно идентичные тестовые задания. Оценка

влияния/воздействия пилотного курса «Бюджетная грамотность» делалась

посредством сравнения изменений в результатах теста в экспериментальных

и сравнительных группах. В ходе первого этапа оценки исследователи посетили: Пермский край, где опросили 147 учащихся в 8 классах, 6 школах. Алтайский край, где опросили 154 учащегося в 8 классах, 5 школах. Республику Башкортостан, где опросили 173 учащихся в 8 классах,5 школах.

Соответственно, на начальном этапе оценки было вовлечено 474

учащихся. Во время второго (итогового) этапа исследователи посетили: Пермский край, где опросили 180 учащихся в 10 классах, 8 школах. Алтайский край, где опросили 218 учащихся в 11 классах, в 8 школах. Республику Башкортостан, где опросили 252 учащихся в 12 классах, 8

школах. Таким образом, на заключительном этапе было протестировано

650 учеников. Важно отметить, что при проведении итогового тестирования оценщики

привлекли дополнительные сравнительные классы для тех

экспериментальных классов, чьи первоначально выбранные сравнительные

классы оказались не совсем сопоставимы по таким критериям, как профиль

класса и успеваемость. Поэтому в некоторых случаях при проведении

итогового/выходного тестирования на один экспериментальный класс

приходилось по два сравнительных. Результаты были сгруппированы по регионам и включают

дезагрегированные данные по всем использованным оценщиками,

независимым переменным (полу, типу школы, типу населенного пункта,

профилю класса и т.д.) и по уровню знаний (на основании результатов

тестирования). При оценке результатов обучения оценщики руководствовались Программой

результатов обучения по бюджетной грамотности, включенной в Концепцию

учебной программы по бюджетной грамотности, в частности, таким ее

разделом, как «Запланированные результаты».

21

Методы сбора данных включали в себя: работа с документами (обзор данных

административно-управленческого характера, имеющих отношение к

проекту, таких как: проектная заявка, заявки участников проекта, финансовая

информация, описание школ, отчеты о реализации проекта и т.д.), тестирование учащихся (входное и выходное), а также проведение фокус-групп. Проведение фокус-групп дало возможность Исполнителю сделать

определенные качественные выводы. Что отчасти также способствовало

оценке достижения цели проекта по активному привлечению молодежи к

обсуждению бюджета на местном и национальном уровнях. При оценке (для определения выборки, а также влияния независимых

переменных на зависимые) в расчет принимался такой фактор, как тип школы, поскольку изначально в проект были включены школы,

отличающиеся по следующим признакам: - городские / сельские; - крупных городов / малых и средних городов; - для городских школ - расположенные в разных районах города

(отдаленных, центральных, пригородных); - школы с уклоном на экономику и родственные дисциплины/обычные

школы. Перед тем, как приступить к полномасштабному исследованию,

исследователи провели пилотную апробацию инструментария в Алтайском

крае для проверки подхода, примененного для выборки, а также

обоснованности инструментов исследования. В качестве школы для

проведения апробации выступил КГБУ «Алтайский краевой педагогический

лицей». Для полномасштабного исследования была рассчитана выборка, в которую

было включено по 4 школы в каждом пилотном регионе. Эти школы

представляли школы, расположенные в областных/краевых центрах, городах

(средние и малые города) и в сельской местности. И в пределах городов - среднеобразовательные и специализированные школы (лицеи, гимназии и

т.п.). При выборе школ предпочтение отдавалось школам, имеющим два 10-х

класса, где один из классов был использован как экспериментальный класс, а

другой - как класс сравнения. К сожалению, обеспечить такой подход

удалось не во всех школах, т.к. в некоторых случаях школа имела только

один 10-й класс либо несколько 10-х классов, которые все участвовали в

проекте. В таких случаях исследователи отбирали школы с наиболее

схожими демографическими и социально-экономическими

характеристиками.

22

Исследователи определили следующую методику подсчета результатов

тестирования: • Если вопрос имеет два правильных ответа, каждый из правильных

ответов будет оценен в 2 балла. • Если вопрос имеет три правильных ответа, каждый из правильных

ответов будет оценен в 1⅓ балла. • Если вопрос имеет четыре правильных ответа, каждый из правильных

ответов получает 1 балл. • Если вопрос имеет только один правильный ответ, а учащийся

отмечает и правильные, и неправильные ответы, то он/она получит 2

балла. РЕЗУЛЬТАТЫ АНАЛИЗА ДАННЫХ В данном итоговом отчете представлена статистическая информация по

итогам второго этапа оценки (post-testing), т.к. подробное описание первого

этапа было представлено в первом аналитическом отчете. Данные

предлагаются в разрезе регионов.

Республика Башкортостан В Республике Башкортостан в итоговом/выходном тестировании приняло

участие 252 учащихся. В Приложении 3 в Таблицах 1-4 представлена информация по 2-м или 3-м классам, из которых 1 экспериментальный и 1 или 2 сравнительных, со

схожими характеристиками, которые были сопоставлены по нескольким

критериям. Экспериментальный и один из сравнительных принимали участие

в исследовании на первом этапе. Позднее было принято решение о том, что

при итоговом тестировании необходимо добавить еще один сравнительный класс в тех случаях, где классы, участвовавшие во входном тестировании, оказались сопоставимы. В тестировании приняло примерно равное количество юношей и девушек,

что видно из Диаграммы 5.

23

Диаграмма 5. Гендерное распределение респондентов в Республике

Башкортостан

122

130 Юноши

Девушки

На Диаграмме 6 представлены результаты по средним баллам классов,

принявших участие в выходном тестировании, а также информация о

количестве учащихся. Диаграмма 6. Средний балл класса и количество учеников, принявших

участие в тестировании в Республике Башкортостан

24

Далее представлена таблица, в которой отмечено, сколько правильных

ответов было дано на каждый вопрос в каждом классе, а также сумма

правильных ответов на каждый вопрос во всём рассматриваемом регионе. Таблица 1. Количество правильных ответов по классам в Республике

Башкортостан Номер вопроса Школа, класс

1 2 3 4 5 6 7 8 9 10 11 12 13

РИЛИ 10е 6 8 11 14 2 13 13 12 4 8 5 14 5 РИЛИ 10в 7 4 6 23 8 21 21 12 7 12 14 22 11 РИЛИ 10а 4 4 1 17 9 16 17 15 7 8 6 16 7 Лицей №3 10Б 27 26 25 27 16 23 27 26 18 22 23 27 23 Лицей №3 10А 15 5 5 26 11 24 24 19 10 13 15 25 16 Гимназия №5 10А 13 9 4 23 13 22 22 19 8 15 14 23 13 Содружество 10 А 23 18 15 27 20 24 25 27 7 14 18 26 22 Содружество 10 В 4 9 3 14 9 12 14 10 9 6 9 15 13 Лицей 42, 10 "А" 16 21 20 26 16 22 23 21 5 17 19 26 12 СОШ 1 19 18 7 21 11 18 21 17 10 13 17 21 15 СОШ 5 9 9 5 17 3 12 17 13 9 11 8 17 7 Гимназия 3 6 5 7 14 6 10 13 10 7 6 8 15 5 Все школы 149 136 109 249 124 217 237 201 101 145 156 247 149 продолжение Таблицы 1 14 15 16 17 18 19 20 21 22 23 24 РИЛИ 10е 14 0 3 4 10 4 5 12 0 8 14 РИЛИ 10в 19 3 17 6 11 7 7 22 2 14 23 РИЛИ 10а 14 6 10 5 11 4 13 13 0 10 17 лицей №3 10Б 27 5 22 2 24 9 22 26 3 12 27 Лицей №3 10А 22 2 16 6 16 6 11 25 2 15 26 Гимназия №5 10А 20 5 9 4 15 6 14 22 4 8 23 Содружество 10 А 28 3 16 4 21 7 16 27 1 17 28 Содружество 10 В 13 1 8 3 13 1 7 15 0 9 15 Лицей 42, 10 "А" 26 9 13 2 21 4 13 23 3 13 26 Сош 1 21 4 10 2 16 9 11 20 3 8 21 СОШ 5 16 3 7 6 8 4 2 15 3 6 17 Гимназия 3 14 3 7 0 8 3 3 14 4 7 15

25

Все школы 234 44 138 44 174 64 124 234 25 127 252 Диаграмма 7 дает представление о том, какие вопросы тестового задания

оказались наиболее сложными, а какие более легкими. Так, сравнительно

легкими вопросами показались вопросы №№24, 4, 12, 14, 21. Достаточно

сложными вопросами были №№22, 15, 17, 19. Диаграмма 7. Общее количество правильных ответов на каждый вопрос

в Республике Башкортостан

Таблица 2 дает сравнительную информацию по средним баллам в

экспериментальных и сравнительных классах при входном и выходном

тестировании. Таблица 2. Средние баллы по Республике Башкортостан на базовом и

итоговом уровне

Школа, класс Средний балл за

тестирование 1 этап 2 этап

26

Республиканский инженерный лицей-интернат, 10 «Е» (экспериментальный) 43,26 44,93

Республиканский инженерный лицей-интернат, 10 «В» (сравнительный) 45,46 43,55

МАОУ «Лицей № 3», 10 «Б»

(экспериментальный) 54,97 65,23

МАОУ «Лицей № 3», 10 «А»

(сравнительный) 46,57 46,73

МБОУ «Лицей № 106 «Содружество», 10

«А» (экспериментальный) 50,65 55,72

МБОУ «Лицей № 106 «Содружество», 10

«В» (сравнительный) 45,59 49,82

МАО СОШ №1 п. Чишмы, 10 «А»


СОШ № 5 п.Чишмы, 10 (без буквы)


Таким образом, в исследовании, проведенном в Республике Башкортостан,

приняли участие 252 учащихся двенадцати классов восьми школ. Средний

балл по региону составил 49,40. Алтайский край В Приложении 3 даны Таблицы 5-8, в каждой из которых представлена

информация о 2-х или 3-х классах (1 экспериментальный и 1 или 2 сравнительных) со схожими характеристиками, которые были сопоставлены

по нескольким критериям. Экспериментальный и один из сравнительных

классов принимали участие в исследовании на первом этапе. Всего в

итоговом тестировании приняли участие 218 учащихся. Как видно из представленной ниже Диаграммы 8, гендерный состав

респондентов немного отличается, соотношение девушек и юношей

составило примерно 60% к 40%.

27

Диаграмма 8. Гендерное распределение респондентов в Алтайском крае

На Диаграмме 9 показаны результаты по среднему баллу каждого класса, а

также количество учащихся данных классов, принявших участие в итоговом

тестировании. Диаграмма 9. Средний балл класса и количество учеников, принявших

участие в тестировании в Алтайском крае

В Таблице 3 приведены сведения о количестве правильных ответов по всем

классам региона.

28

Таблица 3. Количество правильных ответов по классам в Алтайском

крае. Номер вопроса Школа, класс

1 2 3 4 5 6 7 8 9 10 11 12 13

СОШ 12 10А 17 8 8 22 10 18 21 16 10 11 9 22 13 СОШ 12 10Б 3 5 7 18 4 12 15 14 10 5 8 19 7 АКПЛ 10физ-инф 14 8 8 17 9 13 17 14 11 14 12 17 8 АКПЛ 10пед 6 2 7 15 8 12 15 15 6 6 11 16 11 Тальменская сош 3 10б 14 11 8 14 7 13 13 13 8 8 11 14 13 Тальменская СОШ 6 22 5 7 6 11 4 8 10 12 2 6 4 12 6 Бригантина 10б 19 16 20 26 13 25 24 23 15 11 22 26 24 Бригантина 10а 17 13 6 28 17 25 26 17 11 14 16 26 20 Сош 1 10а 8 9 5 15 7 10 14 13 6 5 6 14 4 Сош 19 12 7 6 22 6 18 20 17 10 12 17 21 11 Сош 15 10а 16 13 14 25 11 18 21 19 10 11 20 25 9 Все школы 131 99 95 213 96 172 196 173 99 103 136 212 126 продолжение Таблицы 3 14 15 16 17 18 19 20 21 22 23 24 СОШ 12 10А 20 1 16 2 13 5 9 21 2 9 22 СОШ 12 10Б 12 5 13 4 9 5 6 13 5 7 20 АКПЛ 10физ-инф 17 0 9 7 14 2 8 16 1 11 16 АКПЛ 10пед 15 6 11 3 10 4 7 17 3 1 17 Тальменская сош 3 10б 14 4 11 0 10 5 10 12 2 5 14 Тальменская СОШ 6 22 12 4 1 0 8 2 7 10 3 6 12 Бригантина 10б 26 1 14 6 23 12 19 24 6 10 26 Бригантина 10а 25 5 17 5 22 6 13 25 1 15 28 Сош 1 10а 13 2 8 5 7 2 8 15 6 4 15 Сош 19 21 2 10 2 15 5 10 19 3 12 22 Сош 15 10а 23 5 10 5 15 7 8 25 6 14 25 Все школы 198 35 120 39 146 55 105 197 38 94 217 Диаграмма 10 дает представление о количестве правильных ответов на

каждый из вопросов тестового задания. Также из данной диаграммы можно

сделать вывод о сложности вопросов. Так, наиболее простыми вопросами для

29

учащихся оказались вопросы №№ 24, 4, 12, 21. Наиболее сложными

вопросами стали №№ 15, 22, 17.

Диаграмма 10. Общее количество правильных ответов на каждый

вопрос в Алтайском крае.

Таблица 4 содержит данные по средним баллам, полученным

экспериментальными и сравнительными классами Алтайского края при

входном и выходном тестировании. Таблица 4. Средние баллы по Алтайскому краю при базовом и итоговом

тестировании.



МБОУ СОШ № 12, 10 «А»


МБОУ СОШ № 12, 10 «Б» (сравнительный) 38,03 35,93

30

МБОУ «Лицей «Бригантина», 10 «Б»


МБОУ «Лицей «Бригантина», 10 «А»


КГБОУ «Алтайский краевой педагогический

лицей-интернат», 10 физики и информатики


КГБОУ «Алтайский краевой педагогический

лицей-интернат», 10 педагогический


МКОУ "Тальменская средняя

общеобразовательная школа №3", 10 «Б»


МКОУ "Тальменская средняя

общеобразовательная школа №6", 10 (без

буквы) (сравнительный) 46,97 45,11

Таким образом, в исследовании, проведенном в Алтайском крае, приняли

участие 218 учащихся одиннадцати классов восьми школ. Средний балл по

региону составил 49,14. Пермский край В Приложении 3 в Таблицах 9-12 приведены данные по 2-м или 3-м классам

школ Пермского края – 1-му экспериментальному и 1-му или 2-м сравнительным, со схожими характеристиками, которые были сопоставлены

по нескольким критериям. Каждый экспериментальный и один из

сравнительных классов принимали участие в исследовании на первом этапе. Ниже в Диаграмме 11 содержится информация по гендерному

распределению учащихся, принявших участие в тестировании в Пермском

крае. Как видно, количество девушек превышает количество юношей,

соотношение примерно 61% к 39%.

31

Диаграмма 11. Гендерное распределение респондентов в Пермском крае.

Диаграмма 12 дает представление о средних баллах, набранных каждым из

классов, а также о количестве учащихся по каждому классу, принявших

участие в итоговом тестировании. Диаграмма 12. Средний балл класса и количество учеников, принявших

участие в тестировании в Пермском крае.

32

Таблица 5 показывает распределение правильных ответов по всем классам,

принявшим участие в тестировании. Таблица 5. Количество правильных ответов по классам в Пермском

крае. Номер вопроса Школа, класс

1 2 3 4 5 6 7 8 9 10 11 12 13

СОШ 2 Суксун 17 19 19 20 15 19 18 18 17 20 18 20 17 СОШ 1 Суксун 9 9 4 14 7 9 12 11 3 6 6 14 12 Сарсинсая сош 10 7 9 23 4 17 22 18 5 13 6 20 6 СОШ № 14 10б 11 16 15 25 8 22 25 17 10 14 13 27 20 СОШ № 14 10а 7 7 7 15 2 10 13 11 4 4 8 11 11 Лицей № 4 10а 10 7 5 10 0 10 10 9 7 3 10 10 10 Лицей № 4 10б 7 5 4 10 6 10 10 8 6 6 8 10 7 СОШ 102 10б 9 9 15 20 10 14 19 12 10 17 10 16 14 СОШ 99 10а 5 10 7 16 7 14 15 8 7 12 10 16 9 СОШ 101 10а 7 5 7 21 5 14 21 19 6 16 14 21 8 Все школы 92 94 92 174 64 139 165 131 75 111 103 165 114 продолжение Таблицы 5 14 15 16 17 18 19 20 21 22 23 24 СОШ 2 Суксун 20 0 2 17 15 2 16 19 3 14 20 СОШ 1 Суксун 13 3 3 6 12 4 8 13 4 3 13 Сарсинсая сош 20 4 8 6 18 4 7 22 2 10 23 СОШ № 14 10б 21 2 15 7 23 6 11 25 8 7 27 СОШ № 14 10а 13 1 6 2 9 3 3 11 1 6 15 Лицей № 4 10а 10 3 8 0 6 3 7 10 3 2 10 Лицей № 4 10б 10 0 9 0 8 4 8 9 0 4 10 СОШ 102 10б 19 2 8 3 18 6 13 17 3 3 20 СОШ 99 10а 15 1 10 11 8 8 9 16 2 9 18 СОШ 101 10а 20 2 9 2 12 1 4 18 9 9 22 Все школы 161 18 78 54 129 41 86 160 35 67 178 Диаграмма 13 приводит общее количество правильных ответов на каждый

вопрос, а также говорит о том, насколько сложными или легкими показались

вопросы тестового задания для учащихся. Очевидно, что наиболее легкими

33

вопросами оказались вопросы №№ 4, 7, 12, 24; к наиболее сложным можно

отнести №№ 15, 22, 19. Диаграмма 13. Общее количество правильных ответов на каждый

вопрос в Пермском крае.

Таблица 6 показывает соотношение баллов, набранных экспериментальными

и сравнительными классами, на начальном и итоговом тестировании. Таблица 6. Средние баллы по Пермскому краю на базовом и итоговом

тестировании.



МАОУ «Суксунская средняя

общеобразовательная школа №2», 10 (без

буквы) (экспериментальный) 47,20 68,80

МАОУ «Суксунская средняя

общеобразовательная школа №1», 10 (без

буквы) (сравнительный) 49,93 49,09

34

«СОШ № 14», 10 «Б» (экспериментальный) 42,78 45,78

«СОШ № 14», 10 «А» (сравнительный) 42,58 38,86

Лицей № 4, 10 «А» (экспериментальный) 43,11 54,93

Лицей № 4, 10 «Б» (сравнительный) 45,76 56,20

МАОУ СОШ № 102, 10 «Б» (экспериментальный) 46,19 51,21

МАОУ СОШ № 99, 10 «А» (сравнительный) 50,05 44,74

Таким образом, в исследовании, проведенном в Пермском крае, приняли

участие 180 учащихся десяти классов восьми школ. Средний балл по региону

составил 49,17. ОБОБЩЕННЫЕ ДАННЫЕ В Диаграмме 14 обобщены данные по всем трем регионам относительно

вопроса тестового задания «Угадали ли вы ответ». Диаграмма 14. Процент угадавших ответы на вопросы тестового

задания.

35

В таблицах 7, 8, 9 эти данные приведены в разрезе экспериментальных и

сравнительных групп по каждому региону применительно к первому и

второму этапам оценки.

Как следует из Таблицы 7, в Башкортостане на первом этапе при входном

тестировании процент учащихся, которые отметили, что угадали вариант

ответа, был значительно выше в сравнительных группах, чем в

экспериментальных. При выходном тестировании процент угадавших в

сравнительных группах практически не изменился. Вместе с тем, если

сравнивать между собой экспериментальные группы, то процент угадавших

значительно снизился, оказавшись почти в три раза ниже, чем в

сравнительных группах. Таблица 7. Процент угадавших ответ в Республике Башкортостан. Экспериментальные группы Сравнительные группы 1 этап 39,31% 55,86% 2 этап 20,02% 55,54% По Пермскому краю (Таблица 8) при входном тестировании процент

угадавших в обеих группах оказался очень близким – практически

одинаковым, с разницей в 2,3%. При выходном тестировании количество

угадавших в экспериментальных группах сократилось в три раза.

Примечательно, что и в сравнительных группах процент угадавших снизился

на 21%. Таблица 8. Процент угадавших ответ в Пермском крае. Экспериментальные группы Сравнительные группы 1 этап 60,61% 62,91% 2 этап 19,92% 41,90 % В Алтайском крае (Таблица 9) на начальном этапе процент угадавших был

выше в экспериментальной группе (на 14,2%). Однако при выходном

тестировании процент угадавших в экспериментальных группах снизился

более чем в 2,5 раза. А в сравнительных группах этот показатель даже

незначительно увеличился (на 0,5%). Таблица 9. Процент угадавших ответ в Алтайском крае. Экспериментальные группы Сравнительные группы 1 этап 66,16% 51,93% 2 этап 25,48% 52,44% В Диаграмме 15 представлено общее количество учащихся, принявших

участие в итоговом (выходном) тестировании с разбивкой по регионам.

36

Наибольшее количество учащихся было задействовано в Республике

Башкортостан, это объясняется тем, что при проведении входного

тестирования экспериментальные и сравнительные классы оказались по

некоторым параметрам не совсем сопоставимы. Поэтому при выходном

тестировании на каждый экспериментальный класс в данном регионе был

взят еще один дополнительный сравнительный класс. Диаграмма 15. Количество учащихся, принявших участие в

исследовании.

В Диаграмме 16 представлены средние баллы по итогам выходного

тестирования по всем трем пилотным регионам. Как видно из Диаграммы,

показатели по всем регионам оказались практически одинаковыми. С

небольшим отрывом в 0,23 балла лидирует Республика Башкортостан. Диаграмма 16. Средний балл учащихся по регионам.

В сравнении с результатами, полученными на первом этапе исследования,

вышеприведенные данные превышают начальный уровень знаний всего на 3-

37

4 %. Средний балл по итогам входного тестирования составлял 45,74 - 46,81. Но стоит еще раз оговориться, что в данном случае мы имеем дело с

усредненными показателями, объединяющими результаты и

экспериментальных, и сравнительных классов. Процентное соотношение всех правильных ответов по трем пилотным

регионам представлено в Диаграммы: Диаграмма 17. Процентное соотношение правильных ответов на

каждый вопрос в трех пилотных регионах.

99

37

19

89

48

23

72

30

43

10

89

63

92

57

62

42

73

92

77

56

97

51

52

51

100

43

17

90

48

25

67

18

55

16

91

58

97

62

47

45

79

90

79

44

98

44

45

60

100

50

10

93

49

25

69

17

55

17

93

59

98

62

58

40

80

94

86

49

99

43

54

59

0 20 40 60 80 100 120

24

23

22

21

20

19

18

17

16

15

14

13

12

11

10

9

8

7

6

5

4

3

2

1

Республика Башкортостан

Алтайский край

Пермский край

В данной диаграмме можно еще раз наблюдать, что легкие вопросы

оказались таковыми для всех трех регионов, в частности, вопросы №№24, 21,

38

14, 12, 4. То же можно сказать и в отношении сложных вопросов: №№ 22, 19,

17, 15. Хотя в пределах каждого из вопросов результаты по регионам

варьируются. В подтверждение этого наблюдения можно также привести

Диаграмму 18, где в обобщенном виде даются проценты правильных ответов

на каждый вопрос. Диаграмма 18. Процент правильных ответов на каждый вопрос в трех

пилотных регионах.

39

АНАЛИЗ ПОЛУЧЕННЫХ ДАННЫХ С ИСПОЛЬЗОВАНИЕ

МЕТОДА РАЗНИЦЫ В РАЗЛИЧИЯХ Ситуация по Республике Башкортостан Для большего удобства и наглядности каждая группа экспериментальных и

сравнительных классов приводится в табличном виде. Таблица 10. Данные входного и выходного тестирования в

экспериментальных и сравнительных группах в Республиканском

инженерном лицее-интернате (г.Уфа). Образовательно

е учреждение,

класс

Тип Результат

входного

тестировани

я

Результат

выходного


я

Изменени

е

Республикански

й инженерный

лицей-интернат, 10

«Е»

Экспериментальн

ый 42,13 44,93 +2,8




«В»

Сравнительный 45,33 43,55 -1,78




«А»

Сравнительный ____ //____

45,19 __ // __

Применим метод двойной разницы. В данном случае первой разницей будет

являться отличие в результатах экспериментальной группы (разница

результатов: балл выходного тестирования минус балл входного

тестирования), т.е. 2,8 балла. Вторая разница – это различие результатов у сравнительной группы, т.е. -1,78 баллов. Оценка воздействия с применением метода двойной разницы вычисляется

следующим образом: 1) Рассчитывается разница в результатах между ситуацией до и после

программы для экспериментальной группы. В данном случае, это 2,8.

40

2) Рассчитывается разница в результатах между ситуацией до и после для

сравнительной группы, что в данном случае составляет 1,78. 3) Далее рассчитывается разница между разницей в результатах

экспериментальной группы и разницей у сравнительной группы, это и

есть двойная разница, или разность разностей: 2,8 – (-1,78) = 4,58. Эта

двойная разница и есть оценка воздействия в нашем случае. Метод двойной разницы может быть применен и несколько иным образом.

Сначала рассчитывается разница в результатах экспериментальной и

сравнительной группы при выходном тестировании, затем рассчитывается

разница результатов экспериментальной и сравнительной групп при входном

тестировании, затем последнее вычитывается из первого. Таким образом, эффект при применении двойной разницы равняется: (44,93 – 43,55) – (42,13 – 45,33) = 1,38 – (-3,2) = 4,58. Вышеописанные вычисления применяются для того, чтобы устранить

возможные смещения/несоответствия между группами. Иными словами, вычитается разница между добавочным результатом сравнительной группы

из добавочного результата экспериментальной. В этом случае устраняется

смещение, таким образом, «достоверное» улучшение в экспериментальной

группе (для указанного выше случая) составляет 4,58. Подобные расчеты будут применены ниже для каждого последующего

случая. Наглядно данная ситуация иллюстрируется на Графике 1:

42,13

44,9345,33

43,55

40

41

42

43

44

45

46

Сентябрь Февраль

Экспериментальный Сравнительный

41

Данный случай выглядит достаточно интересно, т.к. показатели

экспериментальной группы улучшились по сравнению с результатами

входного тестирования, а результаты сравнительной группы ухудшились. Таблица 11. Данные входного и выходного тестирования в

экспериментальных и сравнительных группах в МАОУ «Лицей № 3» ГО

г.Стерлитамак Образовательно


класс


входного


я

Результат

выходного


я

Изменени

е

МАОУ «Лицей

№ 3» ГО

г.Стерлитамак

, 10 «Б»

Экспериментальны

й 52,97 65,23 +12,26


№ 3» ГО

г.Стерлитамак,

10 «А»

Сравнительный 45,63 46,73 +1,1

МАОУ

«Гимназия №5»

ГО г.Стерлитамак,

10 «А»

Сравнительный ___ // ___

49,79 ___ // ___

Вариант расчета 1: 65,23 – 52,97 = 12,26 46,73 – 45,63 = 1,1 12,26 – 1,1 = 11,16

Вариант расчета 2: 65,23 – 46,73 = 18,5 52,97 – 45,63 = 7,34 18,5 – 7,34 = 11,16

Графическое изображение 2:

42

52,97

65,23

45,6346,73

40

45

50

55

60

65

70



Этот случай демонстрирует значительное улучшение показателей у

экспериментальной группы – 11,6. Это один из лучших показателей в целом

по всей выборке. Что касается сравнительной группы, то их показатели

изменились незначительно – на 1,1 балл. В этом случае мы сравниваем

классы из лицеев. Таблица 12. Данные входного и выходного тестирования в

экспериментальных и сравнительных группах в МБОУ «Лицей № 106

«Содружество» (г.Уфа) Образовательно


класс


входного


я

Результат

выходного


я

Изменени

е

МБОУ «Лицей

№ 106

«Содружество»

, 10 «А»


й 50,32 55,72 +5,4


№ 106

«Содружество»

, 10 «В»



№ 42, 10 «А» Сравнительный

___ // ___ 51,95

___ // ___

Вариант 1: 55,72 – 50,32 = 5,4

Вариант 2: 55,72 – 49,82 = 5,9

43

49,82 – 46,11 = 3,71 5,4 – 3,71 = 1,69

50,32 – 46,11 – 4,21 5,9 – 4,21 = 1,69


50,32

55,72

46,11

49,82

40

42

44

46

48

50

52

54

56

58



Примечательно, что в обоих случаях группы показали положительную

динамику в результатах тестирования. Показатель экспериментальной

группы составил 1,69. Таблица 13. Данные входного и выходного тестирования в

экспериментальных и сравнительных группах в МАО СОШ №1 п.Чишмы Образовательн

ое учреждение,

класс


входного

тестирован

ия

Результат

выходного


ия

Изменени

е

МАО СОШ

№1 п.Чишмы, 10

«А»


ый 47,20 55,63 +8,43

СОШ № 5 п.Чишмы, 10


МБОУ

«Гимназия»

МР п. Чишмы,

Сравнительный ____ // ____

41,09 __ // ____

44

10 «А» Вариант 1: 55,63 – 47,20 = 8,43 43,15 – 36,5 = 6,65 8,43 – 6,65 = 1,78

Вариант 2: 55,63 – 43,15 = 12,48 47,20 – 36,5 = 10,7 12,48 – 10,7 = 1,78

Графическая изображение 4:

47,2

55,63

36,5

43,15

30

35

40

45

50

55

60



Здесь мы рассматриваем классы из сельских школ. Экспериментальная

группа значительно улучшила свой собственный показатель входного

тестирования – на 8,43 балла. Кроме того, итоговый балл данной группы – 55,63, является одним из самых высоких в целом по выборке. Однако при

использовании метода Разности в различии, мы получаем показатель 1,78. В Пермском крае результаты выглядят следующим образом: Таблица 14. Данные входного и выходного тестирования в

экспериментальных и сравнительных группах в МАОУ «Суксунская

средняя общеобразовательная школа №2». Образовательное

учреждение, класс Тип Результат

входного


ия

Результат

выходного


ия

Изменен

ие

МАОУ Эксперименталь 48,44 68,8 +20,36

45

«Суксунская

средняя

общеобразователь

ная школа №2»,

10

ный

МАОУ


средняя

общеобразовательн

ая школа №1», 10


МБОУ «Сарсинкая

средняя


ая школа», 10

Сравнительный ___ // ____

39,33 ___ // __

Вариант 1: 68,8 – 48,44 = 20,36 49,09 – 48,0 = 1,09 20,36 – 1,09 = 19,27

Вариант 2: 68,8 – 49,09 = 19,71 48,44 – 48,0 = 0,44 19,71 – 0,44 = 19,27


68,8

49,0948,44

48

40

45

50

55

60

65

70

75



В данном примере показан один из самых значительных положительных

результатов. Сама по себе экспериментальная группа – класс средней

общеобразовательной школы, расположенный в поселке Суксун, улучшил

свой собственный показатель входного тестирования на 20,36 баллов, кроме

того, значительно превзошел результаты выходного тестирования

46

сравнительной группы. Итоговый показатель составляет 19,27. Результаты

же сравнительной изменились не значительно. Таблица 15. Данные входного и выходного тестирования в

экспериментальных и сравнительных группах в МБОУ «СОШ №14»

(НОЦ) г.Губаха. Образовательно


класс


входного


я

Результат

выходного


я

Изменени

е

МБОУ «СОШ

№14» (НОЦ)

г.Губаха, 10

«Б»


й 43,59 45,66 +2,07

МБОУ «СОШ

№14» (НОЦ)

г.Губаха, 10

«А»


Вариант 1: 45,66 – 43,59 = 2,07 37,0 – 41,0 = -4,0 2,07- (-4,0) = 6,07

Вариант 2: 45,66 – 37,0 = 8,66 43,59 – 41,0 = 2,59 8,66 – 2,59 = 6,07


43,59

45,66

41

37

30

32

34

36

38

40

42

44

46

48



Как видно из представленного графика, показатели экспериментальной

группы несколько улучшились – на 2,07 балла. Вместе с тем, показатели

47

сравнительной группы оказались хуже, чем при входном тестировании.

Таким образом, итоговый показатель в данном случае равняется 6,07. Таблица 16. Данные входного и выходного тестирования в

экспериментальных и сравнительных группах в МАОУ «Лицей №4»

г.Перми Образовательно


класс


входного


я

Результат

выходного


я

Изменени

е


№4» г. Перми,

10 «А»


й 47,11 51,73 +4,62


№4» г. Перми,

10 «Б»


Вариант 1: 51,73 – 47,11 = 4,62 55,36 – 44,89 = 10,47 4,62 – 10,47 = -5,85

Вариант 2: 51,73 – 55,36 = -3,63 47,11 – 44,89 = 2,22 -3,63 – 2,22 = -5,85


47,11

51,73

44,89

55,36

40

42

44

46

48

50

52

54

56

58



Случай с экспериментальным классом Лицея №4 г. Перми несколько

противоречив. С одной стороны, экспериментальная группа улучшила свои

результаты в сравнении с входным тестированием – на 4,62 балла. С другой

же стороны, сравнительная группа также улучшила свои результаты, причем

на более значительный показатель – 10,47 баллов. Также следует обратить

48

внимание на тот факт, что итоговый балл сравнительной группы превышает

итоговый результат экспериментальной на 3,63 балла. Таким образом,

итоговый показатель после применения метода двойной разницы составил -5,85 со знаком минус (т.е. отрицательное значение). Таблица 17. Данные входного и выходного тестирования в

экспериментальных и сравнительных группах в МАОУ «СОШ № 102» г. Перми. Образовательн


класс


входного


ия

Результат

выходного


ия

Изменени

е

МАОУ «СОШ № 102» г.

Перми, 10 «Б»


ый 44,0 52,37 +8,37

МАОУ «СОШ

№ 99» г.

Перми, 10 «А»


МАОУ «СОШ № 101» г.

Перми, 10


39,55 __ // ____

Вариант 1: 52,37 – 44,0 = 8,37 43,7 – 48,0 = -4,3 8,37 – (-4,3) = 12,67

Вариант 2: 52,37 – 43,7 = 8,67 44,0 – 48,0 = -4,0 8,67 – (-4,0) = 12,67


44

52,37

48

43,7

38

40

42

44

46

48

50

52

54



В данном случае показатель экспериментального класса вырос значительно – на 8,37 балла. Вместе с тем, сравнительная группа показала более низкий

49

результат по сравнению с входным тестированием – на 4,3 балла. Итоговый

показатель, таким образом, составил 12,67. В Алтайском крае результаты выглядят следующим образом: Таблица 18. Данные входного и выходного тестирования в

экспериментальных и сравнительных группах в МБОУ СОШ № 12

г.Новоалтайска. Образовательн


класс


входного


ия

Результат

выходного


ия

Изменени

е

МБОУ СОШ

№ 12

г.Новоалтайск

а, 10 «А»


ый 42,0 48,12 +6,12

МБОУ СОШ №

12 г.Новоалтайска

, 10 «Б»


МБОУ СОШ

№19

г.Новоалтайска


45,75 ___ // ___

Вариант 1: 48,12 – 42,0 = 6,12 35,23 – 36,89 = -1,66 6,12 – (-1,66) = 7,78

Вариант 2: 48,12 – 35,23 = 12,89 42,0 – 36,89 = 5,11 12,89 – 5,11 = 7,78

График 9:

42

48,12

36,8935,23

30

32

34

36

38

40

42

44

46

48

50



50

Еще один случай, когда наблюдается улучшение показателя в

экспериментальном классе – на 6,12 балла; а также ухудшение показателя в

сравнительном классе – на 1,66 балла. Итоговый показатель составил 7,78. Таблица 19. Данные входного и выходного тестирования в

экспериментальных и сравнительных группах в МБОУ «Лицей

«Бригантина» г.Заринск. Образовательно


класс


входного


я

Результат

выходного


я

Изменени

е


«Бригантина»

г.Заринск, 10

«Б»


й 46,52 48,95 +2,43


«Бригантина»

г.Заринск, 10

«А»


МБОУ СОШ

№15 г.Заринска Сравнительный

____ // ____ 49,72

__ // ____

Вариант 1: 48,95 – 46,52 = 2,43 60,48 – 50,77 = 9,71 2,43 – 9,71 = -7,28

Вариант 2: 48,95 – 60,48 = -11,53 46,52 – 50,77 = -4,25 -11,53 – (-4,25) = -7,28


46,52

48,9550,77

60,48

40

45

50

55

60

65



51

Данный случай также можно интерпретировать двояко: с одной стороны,

наблюдается положительное изменение показателя в экспериментальной

группе – на 2,43 балла; с другой стороны, показатель экспериментальной

группы улучшился еще более значительно – на 9,71 балла. На этом фоне

«чистый» показатель экспериментального класса составил –7,28 (отрицательное значение). Таблица 20. Данные входного и выходного тестирования в

экспериментальных и сравнительных группах в КГБОУ «Алтайский

краевой педагогический лицей-интернат» (г.Барнаул). Образовательн


класс


входного


ия

Результат

выходного


ия

Изменени

е

КГБОУ

«Алтайский

краевой

педагогически

й лицей-интернат»

(г.Барнаул), 10 (ф)


ый 46,48 57,15 +10,67

КГБОУ

«Алтайский

краевой

педагогически

й лицей-интернат»

(г.Барнаул), 10 (п)


Вариант 1: 57,15 – 46,48 = 10,67 43,9 – 49,43 = -5,43 10,67 – (-5,43) = 16,1

Вариант 2: 57,15 – 43,9 = 13,25 46,48 – 49,33 = -2,85 13,25 – (-2,85) = 16,1


52

46,48

57,15

49,43

43,9

40

42

44

46

48

50

52

54

56

58

60



В этом случае мы наблюдаем существенное улучшение показателя

экспериментальной группы – на 10,67 балла, а также значительное

ухудшение показателя в сравнительной группе – на 5,43 балла. Итоговый

показатель, таким образом, равняется 16,1. Таблица 21. Данные входного и выходного тестирования в

экспериментальных и сравнительных группах в МКОУ «Тальменская

средняя общеобразовательная школа №3». Образовательное

учреждение, класс Тип Результат

входного


ия

Результат

выходного


ия

Изменен

ие

МКОУ

"Тальменская

средняя


ная школа №3",

10 «Б»

Эксперименталь

ный 44,92 61,9 +16,98

МКОУ


средняя


ая школа №6", 10


МКОУ

«Тальменская

СОШ No1», 10 «А»

Сравнительный ____ // ___

45,3 ___ // __

53

Вариант 1: 61,9 – 44,92 = 16,98 45,3 – 45,85 = -0,55 16,98 – (-0,55) = 17,53

Вариант 2: 61,9 – 45,3 = 16,6 44,92 – 45,85 = -0,93 16,6 – (-0,93) = 17,53


44,92

61,9

45,85 45,3

40

45

50

55

60

65



В этом случае мы наблюдаем также один из лучших примеров наличия

положительных изменений, произошедших в экспериментальной группе.

Класс средней общеобразовательной школы №3 поселка Тальменка показал

значительное улучшение собственного показателя входного тестирования,

показатель улучшился на 16,98 балла. При этом показатель сравнительной

группы несколько ухудшился – на 0,55 балла. В итоге «чистый» показатель

экспериментального класса равняется 17,53. Следует обратить внимание на классы с наиболее высокими результатами (в

данном случае в колонке «Разность» указана простая разность в баллах без

применения метода двойной разницы): Таблица 22. Группы, показавшие наивысшие результаты по итогам

тестирования. № Название

школы Клас

с Профи

ль Группа До После Разность

54

1. МАОУ

Суксунская

СОШ №2

10 Нет Эксперимент

альный 48,44

68,8 20,36

2. МАОУ

«Лицей №

3» ГО

г.Стерлитам

ак

10 «Б»,

Соц-эконо

мичес

кий

Эксперимент

альный 52,97

65,23 12,26

3. МБОУ

«Лицей

«Бригантин

а» г.Заринск

10 «А»,

физма

т Сравнительн

ый 50,77

60,48 9,71

4. МКОУ

"Тальменска

я средняя

общеобразо

вательная

школа №3

10 «Б»

Соц-гуман

тарны

й


альный 44,92

61,9 16,98

5. Алтайский

краевой

педагогичес

кий лицей-интернат

10 (ф)

Физма

т Эксперимент

альный 46,48

57,15 10,67

6. МБОУ

«Лицей №

106 «Содружест

во»

10 «А»

Соц-эконо

м.


альный 50,32

55,72 5,4.

7. МАОУ

СОШ №1

п.Чишмы,

10 «А

Соц-эконо

м.


альный 47,20

55,63 8,43

Ниже в диаграммах представлены сравнительные данные по всем классам

(экспериментальным и сравнительным) в региональном разрезе.

55

Диаграмма 19. Результаты входного и выходного тестирования в

экспериментальных и сравнительных группах, Республика

Башкортостан.

Республика Башкортостан

50,32

55,72

52,97

65,23

47,2

55,63

46,11

45,63

36,5

43,15

45,19

51,95

49,79

41,09

44,93

42,13

46,73

49,82

43,55

45,33

30 35 40 45 50 55 60 65 70

Входное

Выходное

Входное

Выходное

Входное

Выходное

Входное

Выходное

Экспериментальный Сравнительный Сравнительный

Как видно из данной диаграммы, по Республике Башкортостан во всех

четырех экспериментальных классах наблюдаются положительные

изменения в знаниях по курсу. В двух случаях эти изменения достаточно

значительны: 4,58 и 11,6; в двух других случаях менее существенны – 1,69 и

1,78. Тем не менее, общий итог по всем четырем группам говорит о том, что

положительные изменения имели место.

56


экспериментальных и сравнительных группах, Пермский край.

Пермский край

43,59

45,66

47,11

51,73

44

52,37

41

44,89

48

43,7

39,33

39,55

44,93

42,13

55,36

37

49,09

45,33

0 10 20 30 40 50 60 70

Входное

Выходное

Входное

Выходное

Входное

Выходное

Входное

Выходное


Ситуация с экспериментальными группами по Пермскому краю не

однозначна. Прежде всего, примечателен тот факт, что в трех случаях из

четырех (75%) группы показали значительные улучшения первоначальных

своих показателей, таким образом, что на выходе их «чистые» показатели

составили 6,07; 12, 67; 19,27. Вместе с тем, в одной из групп показатель

оказался со знаком минус -5,85 (хотя свой собственный первоначальный

показатель они улучшили).

57


экспериментальных и сравнительных группах, Алтайский край.

Алтайский край

46,52

48,95

46,48

57,15

44,92

61,9

50,77

49,33

45,85

45,3

45,75

49,72

45,3

44,93

42,13

43,9

60,48

35,23

45,33

0 10 20 30 40 50 60 70

Входное

Выходное

Входное

Выходное

Входное

Выходное

Входное

Выходное


В Алтайском крае ситуация схожа с Пермским краем – в трех из четырех

случаев показатели не только положительные, но и значительные: 7,78; 16,1;

17,53. В одном же случае «чистый» показатель после применения метода

двойной разницы оказался отрицательным -7,78. Для оценки наличия и степени статистической значимости наблюдаемого

эффекта исследователи сравнили три набора результатов: 1. Результаты предварительного тестирования экспериментальных и

сравнительных групп. 2. Результаты тестирования экспериментальных и сравнительных групп

после прохождения курса. 3. Результаты предварительного тестирования и итогового тестирования

(после прохождения курса) экспериментальных групп. Результаты чётко показывают, что, во-первых, статистически значимой

разницы между группами во время предварительного тестирования не

58

наблюдалось. Во-вторых, существует статистически значимая разница

между результатами теста экспериментальной и сравнительной групп

после прохождения курса, а также между результатами

предварительного теста и теста после прохождения курса

экспериментальной группы.

1. Результаты t-теста. Предварительное тестирование: Сравнительная

группа – Экспериментальная группа.

Р-Значение и статистическая значимость: Двустороннее Р-значение равно 0,4177, что статистически неважно. Среднее значение разницы - сравнительная группа минус экспериментальная,

равно -0.7244 Доверительный интервал 95% для этой разницы: от -2,4794 до 1,0306 t = 0.8111 df = 472 Стандартная ошибка разницы = 0.893

Таблица 23. Результаты t-теста. Предварительное тестирование:

Сравнительная группа – Экспериментальная группа.

Группа Сравнительная Экспериментальная

Среднее 50.1131 50.8375

SD 9.4775 9.9151

SEM 0.6318 0.6283


Степень эффекта:

d Коэна = (50.8375 - 50.1131) ⁄ 9.698768 = 0.07469 (эффекта отсутствует)

delta Гейтса = (50.8375 - 50.1131) ⁄ 9.4775 = 0.076434 (эффект отсутствует)

g Хеджеса= (50.8375 - 50.1131) ⁄ 9.709885 = 0.074604 (эффект отсутствует)

59

2. Результаты t-теста. Экспериментальные и сравнительные группы после

прохождения курса.

Р-Значение и статистическая значимость: Двустороннее Р-значение равно менее 0.0001 – статистически неважно Среднее значение разницы между сравнительной группой и

экспериментальной группой равно -10.1046. Доверительный интервал 95% для этой разницы: от -11.8564 до -8.3528 t = 11.3325 df = 648 Стандартная ошибка разницы = 0.892 Таблица 24. Результаты t-теста. Экспериментальные и

сравнительные группы после прохождения курса. Группа Сравнительная Экспериментальная

Среднее 45.6921 55.7967

SD 10.1344 12.3521

SEM 0.5042 0.7875

Значени

е 404 246


d Коэна = (55.7967 - 45.6921) ⁄ 11.297797 = 0.894387 (Значительный эффект)

delta Гейтса = (55.7967 - 45.6921) ⁄ 10.1344 = 0.99706 (Значительный эффект)

g Хеджеса = (55.7967 - 45.6921) ⁄ 11.025452 = 0.916479 (Значительный

эффект)

3. Результаты t-теста. Предварительное тестирование и итоговое

тестирование (после прохождения курса) экспериментальных групп.

Р-Значение и статистическая значимость: Двустороннее Р-значение равно менее 0.0001 – статистически неважно

http://www.multitran.ru/c/m.exe?t=6714649_2_1&s1=95%25%20confidence%20interval

60

Доверительный интервал: В среднем разница между результатами тестирования экспериментальной

группы до и после курса равна -4.9592 Доверительный интервал 95% для этой разницы: от -6.9361 до -2.9823 t = 4.9288 df = 493 Стандартная ошибка разницы = 1.006

Таблица 25. Результаты t-теста. Предварительное тестирование и

итоговое тестирование (после прохождения курса)

экспериментальных групп.

Группа Экспериментальная до Экспериментальная после

Среднее 46.8375 55.7967

SD 9.9151 12.3521

SEM 0.6283 0.7875



Степень эффекта: d Коэна = (55.7967 - 46.8375) ⁄ 11.20008 = 0.799922 (Значительный эффект) delta Гейтса = (55.7967 - 46.8375) ⁄ 9.9151 = 0.903591 (Значительный эффект) g Хеджеса = (55.7967 -46.8375) ⁄ 11.192707 = 0.800449 (Значительный

эффект) D Коэна – Степень эффекта Степень эффекта - это простой способ количественной оценки разницы

между двумя группами, который имеет много преимуществ по сравнению с

использованием одних только методов статистической значимости.

Степень эффекта подчеркивает именно степень различия, а не подменяет

это размером выборки. D Коэна – это подходящий способ измерить степень

воздействия/эффекта, если две группы имеют схожие стандартные

отклонения и имеют схожий размер. Delta Гласса, которая использует только стандартные отклонения

контрольной группы, является альтернативной мерой, если каждая группа

имеет различные стандартные отклонения.

http://www.multitran.ru/c/m.exe?t=6714649_2_1&s1=95%25%20confidence%20interval

61

G Хеджеса, которая обеспечивает измерение степени эффекта, взвешенную

в соответствии с относительным размером каждой из групп/выборок,

является альтернативой для случаев, в которых имеются различные

размеры выборки.

SEM – стандартная ошибка среднего SD – стандартное отклонение АНАЛИЗ ДАННЫХ, ПОЛУЧЕННЫХ ПРИ ПРОВЕДЕНИИ

ФОКУС-ГРУПП Помимо тестового задания, в данной оценке был применен еще один метод

сбора данных – фокус-группа, который базируется на использовании эффекта

групповой динамики и способствует сбору качественных данных. Как и планировалось, учащиеся сначала ответили на вопросы тестового

задания, после чего исследователи провели устный опрос, который, в

отличие от тестовых заданий, предполагал более раскрытые содержательные

ответы, а также давал возможность учащимся поделиться впечатлениями,

дать рекомендации, высказать свое личное мнение относительно их

отношения к преподаванию данного курса в школе. Далее предлагается краткий анализ ответов по всем заданным вопросам. Фокус-группы в Республике Башкортостан 1) Экспериментальным классам был задан вопрос «Понравился ли вам

курс, был ли он полезен? Сложный/простой? Выбрали бы вы этот курс

добровольно для изучения? Порекомендовали бы вы другим?». Касательно сложности курса мнения разделились, прозвучали такие ответы,

как простой, средний, сложный; большинству учащихся курс очень

понравился, они признали его полезность, хотели бы его изучать и

порекомендовали бы другим. Цитата: « (курс) повышает финансовую

грамотность, соответственно мы будем знать, куда идут наши налоги,

зачем мы их платим, каким образом формируется бюджет, мы уже стали

лучше в этом разбираться». Лишь несколько человек посчитали, что курс

оказался им не нужен: «Мы проходили это на экономике. Можно

посоветовать данный курс непрофильным классам. Для нас курс был не

очень полезен, так как мы это уже проходили и без труда понимали

темы».

62

2) На вопрос «Как вы считаете, необходимо ли, будучи депутатом, знать

мнение жителей вашего города или посёлка о том, в какие сферы

деятельности направлять бюджетные средства?» во всех опрошенных

классах, независимо от факта их участия в изучении курса, учащиеся чаще

отвечают, что нужно, так как всё, что делается, делается для людей,

необходимо учитывать их пожелания и потребности. Чуть меньше учащихся

считают, что спрашивать не стоит, так как народ недостаточно осведомлён и

не всегда компетентен в этом вопросе, каждый ищет выгоду для себя, всем не

угодить и т.п. Несколько человек предложили нестандартные варианты:

«спросить, но не учитывать», «нужно смотреть какие-то аналитические

данные и уже по ним решать, куда направлять деньги», «касательно

депутатов, нужно, так как они близки к народу, это повысит их

авторитет, и, скорее всего, они снова будут избраны народом; с точки

зрения страны – нет, так как распределять госбюджет должны

специально обученные люди, нужно подходить более рационально».

3) На вопрос «Какими способами можно узнать мнение людей?» большинство учащихся выделило социальные опросы, голосование и

собрания, реже звучали такие понятия, как «анкетирование» и

«общественные слушания», также было предложено опросить людей через

интернет.

4) На вопрос «Как узнать, какая из этих проблем самая приоритетная,

сложная, важная?» практически все учащиеся ответили: по количеству

голосов за ту или иную проблему, часто выделяли те проблемы, которые

напрямую связаны со здоровьем человека, в единичных случаях

предлагалось провести анализ, посмотреть статистику и, на основе

полученных данных, решать, куда направлять финансирование.

5) Учащимся было предложено решить проблему, выбрав один из двух

вариантов ответа или предложив свой собственный: «у вас есть полномочия

принимать решения по вопросам налоговой политики, что бы вы

сделали для стимулирования развития страны, города, посёлка,

например, увеличить налоги и одновременно увеличить расходы на

социальную защищённость граждан (А) или уменьшить налоги и

поддержать развитие малого бизнеса (Б)». Большая часть выбирает

вариант Б, так как людям становится проще жить; чем больше открывается

предприятий, тем лучше для страны. Учащиеся экспериментальных

классов обосновывают свой выбор тем, что развитие бизнеса увеличивает

63

количество налогоплательщиков, открываются новые рабочие места, а с

зарплат также взимается налог. Также они задумываются о том, что

появится большая конкуренция, часть бизнесменов «прогорит», и

государственный бюджет может быть потрачен впустую. Несколько человек

выбрали вариант А, несмотря на то, что это может вызвать недовольство

людей, предлагают делать это не резко, а постепенно. Был выбран вариант

А, «т.к. с советских времён налог постоянно растёт и народ под это

подстраивается, а опыта в бизнесе у населения нет, возможно в будущем

более приемлемым будет вариант Б, а пока так».

6) Учащимся было предложено решить проблему, выбрав один из двух

вариантов ответа или предложив свой собственный: «Обслуживание в

многоэтажных многоквартирных домах достаточно дорогое, что, по-вашему, лучше сделать: 1) предоставить поставщикам комуслуг

бюджетные дотации и попросить снизить тарифы; 2) предлагать тем,

кто не может платить, переселяться в менее качественное, но более

дешёвое жильё»? Подавляющее число учащихся независимо от факта их

участия в изучении курса выбрали первый вариант, так как считают, что

переселять людей неправильно и негуманно, при этом они понимают, что из-за нехватки бюджетных средств пострадают какие-то другие сферы

деятельности. В единичных случаях ученики считают, что переезд в

квартиру похуже может быть выходом, так как рано или поздно бюджетные

средства кончатся. Из нестандартных ответов было предложено: подойти к

вопросу дифференцированно, рассмотреть таких жильцов, так как есть

разные типы семей, нужен индивидуальный подход; агитировать народ

за сокращение расхода воды, электричества и т.д. В экспериментальном

классе учащимся был предложен свой собственный вариант решения

проблемы: «необходимо изменить систему, т.е. рассчитывать квартплату,

основываясь не только на площадь квартиры, но и на доходы

проживающих там людей». 7) Также были собраны отзывы и пожелания для курса бюджетной

грамотности: «думаю, что обязательно нужно внедрять данный курс,

чтобы человек со школьных лет был более грамотен в экономических

вопросах, подготовлен к будущей жизни, хотя бы частично»; «в курсе

много лёгких заданий, много непонятных, на которые нет однозначного

ответа, вопрос сформулирован неправильно или не соответствует

вариантам ответов»; «я считаю, что не нужно делать отдельный предмет

по бюджетной грамотности, но как отдельный факультативный курс

64

проводить стоит». Было отмечено, что часть информации повторяется в

других предметах (обществознание и экономика), в учебниках используются

ссылки на сайты, которые не работают, а если работают, то очень сложно

найти нужную информацию на сайте.

Фокус-группы в Пермском крае В экспериментальных классах Пермского края мнения о курсе «Бюджетная

грамотность» разделились, тем, кто посчитал курс сложным и непонятным,

кажется, что в дальнейшем им не смогут пригодиться эти знания, те кто не

испытал затруднений в процессе изучения курса «Бюджетная грамотность», уверены, что полученные знания необходимы им в их дальнейшей

деятельности. Далее предлагается краткий анализ ответов по всем заданным вопросам.

Предположим Вы депутаты местного представительного органа:

Считаете ли Вы необходимым узнать мнение жителей, в развитие каких

сфер жизнедеятельности населенного пункта целесообразно направлять

бюджетные средства? Мнения учащихся по данному вопросу совпали практически у всех

участников фокус-групп, не зависимо от участия в эксперименте, только

один учащийся высказался отрицательно по этому поводу: «Нет, так как всем

не угодить». Почему вы так считаете? Однако при ответе на вопрос «почему?» мнения учащихся разделились, в

основном, учащиеся придерживались мнения, что местные жители об этом

более осведомлены, кто-то посчитал, что депутаты выполняют свои функции

от имени жителей, для жителей, и они обязаны считаться с мнением

населения. Какими способами можно узнать предложения жителей? Все учащиеся, участвовавшие в фокус-группах, единогласно предложили

использовать метод опроса. Однако в некоторых классах к опросам добавили

еще общественные слушания и голосование, большинство таких классов

являлись участниками эксперимента. Как выделить среди всех предложений самые приоритетные? По данному вопросу мнения учащихся разделились, из шести сравнительных

групп четыре придерживаются мнения, что нельзя полностью полагаться на

мнение большинства жителей, нужно также полагаться на экспертное мнение

«Проанализировать, определить риски, расставить приоритеты». Из

65

экспериментальных групп только одна считает так же, и три группы

определили мнение большинства жителей решающим. Предположим, у Вас есть полномочия принимать решения по вопросам

налоговой политики. Что Вы предложите для стимулирования развития

страны:

Увеличить местные налоги и одновременно увеличить расходы на

социальную защищенность граждан. Уменьшить налоги и поддержать

развитие малого бизнеса. Обоснуйте свой ответ.

Между предложенными вариантами ответы распределились практически в

одинаковых пропорциях, как среди участников эксперимента, так и в

сравнительных группах. Данные учащимися обоснования были таковы:

«Повысить налоги, чтобы у государства было больше денег на реализацию

каких-либо проектов», «Вариант А, так как гражданам легче получить

соцзащиту, чем развивать какой-то бизнес», «Вариант А, необходимо, чтобы

государство сбалансировало расходы и налоги», «Второй вариант, увеличить

продукцию для экспорта», «Второй вариант, так как увеличение налогов

приведёт к уходу людей из малого бизнеса, кроме того социальная

поддержка не всегда работает, а так увеличится количество рабочих мест,

людям не придется скрывать свои доходы, возможно, увеличится налоговая

база», «Поддержать малый бизнес, чтобы улучшить экономику, увеличить

производство». Также были озвучены собственные варианты ответов:

«понизить налоги на местном уровне, а на федеральном поднять, больше

людей будет платить налоги, т.е. с каждого будет взиматься меньше» и

«Сначала вариант Б, а позже вариант А, т.к. малые бизнесы могут

перерасти в крупные, и будет возможно поднимать социальный уровень

за счёт увеличения налогов».

Коммунальные услуги и плата за обслуживание многоквартирных

жилых домов высока для многих собственников квартир. Что лучше

сделать:

1) Предоставить поставщикам коммунальных услуг бюджетные

дотации и принудительно уменьшить и зафиксировать тарифы на

их услуги. 2) Предложить тем, кто не может платить, переселяться в менее

качественное, но более дешевое жилье. 3) Предложите свой вариант решения этой проблемы и обоснуйте его.

В сравнительных группах большинство учащихся склонялось к первому

варианту, второй вариант ответа встречался реже, но не на много, примерное

66

соотношение ответов 6:4, свои варианты ответа предложили только двое

учащихся: «Стоит установить какие-либо счётчики и экономнее

использовать воду, свет, газ и т.д.», «Вводить антимонопольные законы,

чтобы создавались новые поставщики услуг (атомные станции или

гидроэлектростанции)». Экспериментальным группам, в основном, не

нравился ни один из предложенных вариантов и почти всегда имел место

свой вариант ответа: «Нужно ввести систему со счётчиками, чтобы

начисления шли за то, что мы расходуем. Тогда люди будут сами

задумываться о том, сколько чего они тратят. Нам не придётся

вкладывать кучу денег в ЖКХ и догадываться, какой у нас будет

результат. При первом варианте коммунальщики могут сказать, что

этих дотаций им недостаточно, и они не могут держать фиксированные

тарифы», «Оставить всё как есть», «Можно ввести какие-то льготы для

многодетных/малоимущих семей/пенсионеров/инвалидов». Только в

одной из экспериментальных групп некоторые учащиеся склонялись в

варианту А.

Фокус-группы в Алтайском крае

В экспериментальных группах Алтайского края курс «Бюджетная

грамотность» вызвал большой интерес, сам курс они считают нужным,

интересным, содержательным. Прозвучали некоторые противоречивые

замечания по поводу длительности курса, кому-то было мало отведенного на

изучение курса времени, кто-то посчитал курс растянутым по времени.

Также были кое-какие замечания по поводу учебных материалов. Мнения в сравнительных группах по поводу проведенного тестирования

разделились, кто-то из учащихся был заинтересован в изучении данного

курса, кому-то это показалось неинтересным, и они посчитали это лишней

тратой времени. Далее предлагается краткий анализ ответов по всем заданным вопросам. Предположим, Вы депутаты местного представительного органа: Считаете ли Вы необходимым узнать мнение жителей, в развитие каких

сфер жизнедеятельности населенного пункта целесообразно направлять

бюджетные средства? В основном, независимо от того участвует класс в эксперименте или нет,

ответ на данный вопрос был положительным, однако в одном из

сравнительных и в одном из экспериментальных классов прозвучали

отрицательные ответы: «считаю, что нет, у каждого свое мнение, все будут

говорить то туда, то туда», «Не надо спрашивать жителей, надо смотреть

по ситуации, и уже смотря на это действовать» и т.д.

67

Почему? Как главную причину учащиеся обеих групп отмечают возможное

недовольство населения, принятыми без их участия решениями. Прозвучали

и такие фразы как: «Да, чтобы понять, в чём люди заинтересованы»,

«Конечно, нужно ориентироваться на граждан». Какими способами можно узнать предложения жителей? По данному вопросу также не наблюдалось особого различия между

экспериментальными и сравнительными группами, и те, и другие предлагали

одинаковые варианты: опросы, слушания, референдумы, голосования и т.д. Как выделить среди всех предложений самые приоритетные? При распределении ответов на данный вопрос дифференциации, также, не

наблюдается. В основном, мнения учащихся совпадают: «по числу,

количеству мнений, анализировать и проблемы, которые наберут

большее количество голосов, они и будут в приоритете», «количеству

голосов, какие более перспективные, т.е. прогнозирование»,

«согласовывать и учитывать мнения населения, какие-то нужды

первостепенные». Предположим, у Вас есть полномочия принимать решения по вопросам

налоговой политики, что Вы предложите для стимулирования развития

страны:

1) Увеличить местные налоги и одновременно увеличить расходы на

социальную защищенность граждан. 2) Уменьшить налоги и поддержать развитие малого бизнеса. 3) Обоснуйте свой ответ.

Подавляющее большинство участников фокус-групп, независимо от того

изучался ими курс или нет, больше склонялись ко второму варианту ответа

(2). Хотя более детально обосновывали свой ответ именно

экспериментальные классы: «Рост налогов приведёт к напряжённости

населения, культура населения будет падать, у них будет меньше денег

на собственное развитие», «финансировать бизнес, будут рабочие места и

так же у людей появится возможность, а если налоги будут больше, то

будет негатив в народе», «Второй, потому что предприниматели также

будут выплачивать налог, создадутся новые рабочие места».

Коммунальные услуги и плата за обслуживание многоквартирных

жилых домов высока для многих собственников квартир, что лучше

сделать:

68

1) Предоставить поставщикам коммунальных услуг бюджетные

дотации и принудительно уменьшить и зафиксировать тарифы на

их услуги. 2) Предложить тем, кто не может платить, переселяться в менее

качественное, но более дешевое жилье. 3) Предложите свой вариант решения этой проблемы и обоснуйте его.

Данный вопрос вызвал затруднения у всех участников фокус-групп, в

экспериментальных классах, в основном, отрицали оба предложенных

варианта ответа, однако предложить свой вариант так и не смогли. В

сравнительных группах часто встречались свои варианты решения этой

проблемы: «предоставить дотации и понизить тарифы временно», «Есть

третий вариант, скорее всего, квартплату не потянут малоимущие

семьи, и стоит понизить тарифы для такого вида семей», «Возможно,

стоит ввести определённое поощрение (субсидии) для малообеспеченных

семей, для инвалидов», «временно из бюджета предоставить им дотации,

чтобы они усовершенствовали свое производство», «сократить

потребление» и «проще депутатам меньше воровать, или зарплату им

снизить».

ОГРАНИЧЕНИЯ ОЦЕНКИ При подведении итогов оценки и формулировании основных выводов и

рекомендаций важно определить, какие существовали ограничения в данном

исследовании, которые могли повлиять на достоверность и объективность.

Первым ограничением, с одной стороны, и допущением, с другой стороны,

является выборка. Если выборка была репрезентативной, то можно говорить

о достоверности и практической пользе оценки. Участниками пилотного проекта по внедрению курса «Бюджетная

грамотность» стали 31 школа в трех регионах Российской Федерации. Таким

образом, генеральную совокупность составляет 31 школа в трех пилотных

регионах Российской Федерации: Пермский край, Алтайский край и

Республика Башкортостан, в которых изучался курс «Бюджетная

грамотность». Общий массив выборочной совокупности при входном тестировании

составлял 474 учащихся 10-х классов из 12 школ (по четыре школы в каждом

регионе). Структура выборки репрезентирует респондентов по территориальной

структуре, поскольку в исследуемых регионах: городское население - 75%,

69

сельское население – 25%, соответственно учащиеся 10-х классов в

территориальном разрезе представлены в такой же пропорции (см. Таблицу

ниже). Репрезентация по другим социально-демографическим характеристикам

(пол, национальная принадлежность и т.д.), как правило, присутствует

внутри любой школы в каждом конкретном регионе России. Это объясняется

тем, что в российской практике школьные классы обычно комплектуются

составлением списка всех детей по алфавиту и дальнейшим

пропорциональным распределением детей по классам (например, если два

класса, то нечетные номера из общего алфавитного списка детей идут в класс

«А», а четные номера в класс «Б»). Таблица 26. Карта выборочной совокупности (цифра указывает

количество респондентов).

Регион

Пермский

край Алтайский

край Республика

Башкортостан Специализированные городские

школы (лицеи, гимназии и т.п.) 50 50 50

Школы в большом городе 50 50 50 Школы в среднем или малом

городе 50 50 50

Сельские школы 50 50 50 ИТОГО в каждом регионе 200 200 200

Как видно из представленной Таблицы, в каждом из трех пилотных регионов

Российской Федерации (Пермский край, Алтайский край и Республика

Башкортостан) предполагалось опросить, в среднем, по 200 школьников из 4 школ, расположенных в областных/краевых центрах, городах (средние и

малые города) и в сельской местности. В пределах городов - среднеобразовательные и специализированные школы (лицеи, гимназии и

т.п.). При расчете выборки принималось во внимание географическое положение, тип населенного пункта, тип школы, учитывалось местоположение (город

или сельская местность). Это делалось для обеспечения уровня доверия

исследования 95% при доверительном интервале 10. В каждой школе были

отобраны группы экспериментальные и сравнительные. Таким образом, представленная выборка репрезентует школы и социально-демографические характеристики учеников. Важным ограничением данной оценки является отсутствие данных о

стоимости и затратах, связанных с внедрением программы. В спектр данной

оценки не входил анализ затраченных ресурсов (финансовых, человеческих,

временных и т.д.), а также анализ эффективности их использования. Не

70

выполнялся анализ воздействия на уровень знаний учеников со стороны

других предметов и курсов. Данная оценка воздействия была сфокусирована на том, произошли ли

изменения в знаниях учащихся в сфере бюджетной грамотности, если да, то

есть ли связь между внедрением курса «Бюджетная грамотность» и такими

изменениями. ОСНОВНЫЕ ВЫВОДЫ ОЦЕНКИ В настоящем отчете представлены результаты оценки, проведенной в период

с сентября 2016 года по март 2017 года, в 24 школах трех пилотных регионов

Российской Федерации. Результаты и выводы, отраженные в настоящем

отчете, относятся исключительно к выборке из 12 школ, расположенных в

населенных пунктах трех пилотных регионов. Они не могут быть обобщены

и экстраполированы на остальные школы в других субъектах Российской

Федерации.

1. Все экспериментальные классы (12 классов во всех 3 пилотных

регионах) показали более высокий результат в сравнении с

предварительным (pre-test) тестированием. Это, пожалуй, первый и основной вывод оценки, который следует считать

фактом, подтвержденным результатами тестирования. На представленной Диаграмме 18 мы видим описание ситуации по всем

экспериментальным и сравнительным группам на начальном этапе, до

изучения курса: Диаграмма 22. Базовый уровень знаний, результаты входного

тестирования, сравнительная группа.

71

Диаграмма 23. Базовый уровень знаний, результаты входного

тестирования, экспериментальная группа.

Как видно из предложенной графической иллюстрации, базовый уровень

знаний по бюджетной грамотности у обеих групп (данные в агрегированном

виде) примерно одинаковый, статистически значимых различи не

наблюдается.

По результатам итогового или выходного тестирования ситуация

существенным образом меняется:

Диаграмма 24. Уровень знаний при итоговом/выходном тестировании, сравнительная группа.

72

Диаграмма 25. Уровень знаний при итоговом/выходном тестировании,

экспериментальная группа.

Таким образом, мы можем констатировать, что во всех экспериментальных

классах наблюдается изменение (повышение) уровня знаний по бюджету и

бюджетному процессу, причем, в некоторых случаях такие изменения

значительны, в целом они статистически значимы, эффект воздействия

значительный. На таблице ниже представлена регрессия для данного случая. Таблица 27. Регрессионный анализ. Входная

экспериментальная Выходная

экспериментальная Экспериментальный

класс - группа 0,049 (коэффициент

бета) (0,427) (значимость)

-0,036 (0,569)

Экспериментальный

класс - Регион -0,037 (коэффициент


0,032 (0,679)

Экспериментальный

класс – Классификация

населенного пункта

-0,198 (коэффициент


-0,191 (0,012)

Экспериментальный класс – Профиль класса

-0,102 (коэффициент

бета) -0,195 (0,003)

73

(0,174) (значимость) R- квадрат 0,101 0,063 Количество учеников 474 650 Средняя зависимая

переменная

сравнительный класс

46,1131 45,6921

Стандартное отклонение

зависимой переменной

сравнительный класс

9,4775 10,1344

2. Наблюдается эффект/воздействие, который обеспечил такое

изменение в уровне знаний. Очистив полученные в ходе оценки данные методом вертикальной и

горизонтальной дельты в рамках метода Разницы в различиях, мы приходим

к выводу, что в 10 случаях из 12, т.е. в 83,3%, присутствует

положительный результат. Иными словами, можно сделать вывод о том,

что воздействие или эффект имели место по отношению к исследуемым

группам. Полученный результат является статистически значимым и не можем быть

следствием случайности. 3. Наличие эффекта или воздействия с большой долей вероятности

объясняется вмешательством программы, в частности, Курса

«Бюджетная грамотность». Применение метода Разность в различиях однозначно говорит нам о наличии

эффекта или воздействия. Вместе с тем, данный метод, скорее всего, не

поможет определить причинно-следственную связь между вмешательством

программы и полученными результатами. В качестве гипотезы мы выдвигаем предположение о том, что такой результат произошел благодаря изучению

Курса «Бюджетная грамотность». В пользу этой гипотезы говорит тот факт,

что вопросы тестового задания были заданы именно по содержанию данного

курса. При этом, ни один другой предмет (Обществознание, Экономика или

Право) на давал учащимся столь углубленных знаний именно по бюджетной

грамотности. Возможно, именно факт изучения указанных дисциплин

способствовал тому, что сравнительные группы (классы), не изучая Курс

«Бюджетная грамотность», в 6 случаях из 12 (50%) также улучшили свои

показатели входного тестирования. Если задать вопрос – каковы были бы результаты в случае, если бы

программы не было, можно предположить, что ситуация была бы примерно

такая, как в сравнительных классах, на которые программа воздействия не

74

оказывала. То есть, они были бы разными – где-то уровень знаний повысился, где-то понизился, не однородными. Таким образом, можно говорить о том, что преподавание в пилотном

режиме курса «Бюджетная грамотность» состоялось, имело воздействие

на уровень знаний задействованных учащихся. Анализируя все факторы, которые могли бы оказать влияние на результаты,

оценивая степень их воздействия (значительную или незначительную), мы

приходим к выводу, что самым мощным фактором в ряду прочих, который

мог влиять на повышение уровня знаний в части бюджетной грамотности,

стал именно курс. При анализе доверительных интервалов мы видим совпадение между

группами по ряду признаков – типу школы, профилю класса, среднему баллу.

Признак, который не совпал – это пол, по гендерному составу, к сожалению,

добиться полной сопоставимости не удалось. Вместе с тем, при квази-экспериментальном подходе и отсутствии рандомизации, это объяснимо и

допустимо. Поэтому можно говорить о том, что полученные выводы можно

распространить на всю генеральную совокупность. Вместе с тем, стопроцентно достоверного ответа на вопрос о том, является ли

повышение уровня знаний у учащихся экспериментальных классов

следствием изучения курса, дать нельзя. Даже при наличии 95% доверия

существует порядка 5%, которые могут говорить об обратном. 4. Помимо Курса «Бюджетная грамотность», на результаты

тестирования могли повлиять и другие факторы. Помимо факторов, заданных изначально в Техническом задании, таких как

тип школы, тип населенного пункта, пол; а также факторов, дополненных

позднее – профиль класса, успеваемость класса, на результат могли оказать

влияние, например, другие дисциплины, изучаемые одновременно с этим

курсом. При проведении фокус групп учащиеся сообщали, что темы,

включенные в Курс «Бюджетная грамотность», дублируются в таких

предметах, как Право, Обществознание, Экономика. Один из

экспериментальных лицейских классов высказался достаточно категорично,

отметив, что все темы Курса так или иначе освещались в других предметах,

соответственно, ничего нового для себя они не почерпнули (при проведении

фокус-группы в указанном классе, чувствовалось даже некоторое

разочарование, вызванное тем, что изначально у учащихся были к Курсу

повышенные ожидания, которые позднее оказались неосуществленными). В

какой мере другие дисциплины могли бы повлиять на результаты

тестирования сказать сложно, для этого необходимо сделать отдельный

сравнительный анализ применительно к каждой экспериментальной группе,

поскольку тип школы и профиль класса могут влиять на состав предметов и продолжительность их преподавания.

75

5. Некоторые факторы, которые могли оказать влияние на результат,

оказали несущественное влияние. Из анализа собранных данных, мы можем сделать вывод о том, что к таким

факторам можно отнести: регион, тип населенного пункта (например,

крупнейший город или поселок), тип школы (обычная общеобразовательная,

лицей или гимназия). Рассмотрев результаты оценки, мы видим, что, скорее

всего, эти факторы не оказали существенного влияния на результаты. Так,

мы наблюдаем достаточно высокие результаты в каждом из трех пилотных

регионов, часто результаты, показанные классами обычных

общеобразовательных школ, даже сельских, оказались и достаточно

высокими, и лучшими по сравнению с собственными входными

результатами, а также более положительными относительно сравнительных

групп. В отношении влияния профиля класса также можно сделать вывод о том, что

данный фактор не оказал существенного влияния на результаты оценки. Так, если мы обратимся к Таблице 22, где показаны группы с наивысшими

результатами, мы увидим, что среди лучших групп присутствуют классы с

социально-экономическим/социально-гуманитарным профилем, с физико-математическим, а также без профиля. 6. В значительной мере на качество результатов могли оказать влияние

учителя, которые преподавали Курс «Бюджетная грамотность». В этой связи интерес для оценки могут представлять дополнительные (качественные) сведения, полученные не таким инструментом, как

тестирование, а при помощи фокус-групп, встреч с преподавателями,

руководством школ, а также при помощи наблюдения. Здесь можно сделать

пока не вывод, а предположение о том, что именно учитель, который сам

является предметником в сфере права, экономики, обществознания, который

разбирается в этих сферах, а также имеет определенную профессиональную

заинтересованность в собственном дельнейшем развитии, мог оказать

влияние на учеников. Речь идет и об умении заинтересовать, и об умении

ответить на вопросы, которые находятся за пределами курса, объяснить суть

определенных процессов и явлений, подкрепить это практическими примерами. В качестве предположения можно выдвинуть гипотезу о том, что

учитель, основным предметом которого является, например, География,

которого поставили перед фактом в отношении того, что нужно будет

преподавать данный курс, сам имеет низкую мотивацию, соответственно, не

сможет мотивировать учеников. Наблюдения показали, что учителя, которые преподают Обществознание и

Экономику, сами выразили достаточно живой интерес к Курсу, задавали

специфичные вопросы, высказывали рекомендации относительно улучшения

учебно-методических материалов. Ученики таких преподавателей также

выглядели более заинтересованными и мотивированными.

76

Во время оценки в некоторых школах преподаватели и директоры школ

проявляли интерес к процессу тестирования, было заметно, что ученики

принесли с собой рабочие тетради и учебники (учитывая, что изучение Курса

было завершено в декабре 2016г., можно сделать вывод, что учащиеся

принесли эти материалы именно в связи с тестированием. Данные

материалы, конечно же, не использовались во время тестирования, но их

наличие было заметно. Были учителя и классы, которые отдельно собирали и

обобщали вопросы, возникшие в связи с изучением Курса, находили

несоответствия или ошибки в учебно-методических материалах, пытались

самостоятельно перепроверить сведения и т.п. 7. Экспериментальные классы при проведении выходного тестирования

чаще пользовались своими знаниями, нежели просто угадывали

правильный ответ. Анализ данных относительно вопроса «Угадали ли вы ответ» показывает, что

в экспериментальных классах количество ответов «Да», т.е. угадал,

значительно меньше, чем в сравнительных. Эти данные приведены ранее в

Таблицах 7, 8, 9. Если сравнивать между собой экспериментальные группы в

Башкортостане, то процент угадавших значительно снизился при выходном

тестировании, оказавшись почти в три раза ниже, чем в сравнительных

группах. По Пермскому краю (Таблица 8) при выходном тестировании

количество угадавших в экспериментальных группах сократилось в три раза.

В Алтайском крае при выходном тестировании процент угадавших в

экспериментальных группах снизился более чем в 2,5 раза. Конечно,

подобное поведение со стороны учащихся экспериментальных классов было

предсказуемо, ведь от них на выходном тестировании ожидались лучшие

результаты по сравнению с входным тестом. Определенная ответственность

в этой связи и воздействие со стороны преподавателей и руководства школы

заставляли их более часто выбирать вариант ответа «Нет, не угадал» (то есть

знал). Но, принимая во внимание и это допущение, можно говорить о том,

что учащиеся при выборе ответа тестового задания применяли свои знания

по Курсу «Бюджетная грамотность». 8. Ответы на вопросы тестового задания показали, что уровень знаний

продвинулся на выходном тестировании. Большинство вопросов тестового задания было рассчитано на проверку

знаний по курсу «Бюджетная грамотность». Одни из них оказались

достаточно легкими для учащихся, что позволяло дать на них верные ответы

также ученикам в сравнительных классах, в которых данная дисциплина не

преподавалась. Другие же требовали непосредственно наличия знаний по

бюджетной грамотности. Были также вопросы средней легкости. Одним из

таких является Вопрос № 1 (Раздел 1 УМП), в котором учащимся

77

необходимо было выбрать правильное определение для понятия «Бюджет».

Более половины опрошенных (57%) ответили верно, что на 10 % превышает

показатели верных ответов на этот вопрос на первом этапе исследования. Вопрос 5 предполагал проверку умения анализировать (данный вопрос

относится к Разделу 3 УМП). Респондентам необходимо было методом

исключения выбрать один неправильный ответ. Лишь 44% учащихся смогли

это сделать, в большинстве случаев это представители экспериментальных

классов. Гораздо больше респондентов ответили верно на Вопрос 8 (Раздел 2) - 78%. Несмотря на то, что этот вопрос был направлен на проверку знаний,

вероятнее всего, такой высокий процент правильных ответов на него

обусловлен, в большей степени, умением учащихся анализировать и

логически приходить к выводу. Вопрос 13 (Раздел 3) был направлен на проверку умения анализировать, на

него удалось дать правильные ответы 60% респондентов, что косвенно

позволяет судить о том, что умение анализировать развито у них не на

достаточном уровне, так как вопрос не предполагал наличия знаний

непосредственно по бюджету, он, скорее, был рассчитан на умение

применить имеющийся у учеников опыт, эрудицию, кругозор, умение

мыслить логически. Относительно небольшое количество учащихся (21%) смогли ответить на

Вопрос 17, направленный на проверку знаний (Раздел 3). Варианты ответов

были подобраны таким образом, чтобы ни один из них не являлся слишком

очевидным, т.е. дистракторы были достаточно правдоподобными. Ответили

верно на данный вопрос либо те, кто знал ответ наверняка, либо те, кто

отметили его наугад. Самым простым тестовым заданием для всех респондентов оказался Вопрос

24 (Раздел 1), которым проверялось умение анализировать и

аргументировать. На этот вопрос верный ответ дали 100% респондентов. Описательные статистики по всем вопросам тестового задания в разрезе

экспериментальных и сравнительных групп до и после изучения курса

представлены в Приложении 4, Таблицы 1, 2. 9. Умение применять знания из сферы бюджетной грамотности, а также

аргументированно отстаивать свою позицию у сравнительных и

экспериментальных групп находится примерно на одном уровне. Проведенные фокус-группы показали, что на предложенные участникам

вопросы (сюжеты) и от представителей экспериментальных, и от

представителей сравнительных групп поступают примерно одинаковые

варианты ответов. Не оправдались предположения и допущения о том, что

учащиеся экспериментальных классов станут активно применять полученные

по курсу знания, в частности, использовать соответствующую

78

терминологию, известные им из курса варианты решения схожих ситуаций и

т.п. Вместе с тем, учащиеся из сравнительных групп зачастую предлагали

более нестандартные решения, были более открыты к диалогу, использовали

подходящие термины (общественные/публичные слушания, налоговые

ставки и т.п.). Возможно, некоторая скованность учащихся

экспериментальных групп объяснялась опасением ответить неправильно, с

точки зрения содержания УММ. В любом случае, полученные данные из

фокус-групп не позволяют сделать выводы о том, что умение

аргументированно отстаивать свою точку зрения у экспериментальных групп

было более явно выражено. 10. Однозначного мнения о том, насколько необходимо преподавать

«Бюджетную грамотность» в виде отдельного курса либо сделать его

интегрированной частью других предметов, не сложилось. По итогам встреч с преподавателями и руководителями школ, а также из

некоторых высказываний, учащихся можно заключить, что часть

респондентов полагает, что курс должен существовать отдельно. Также, что

количества часов (или занятий), отведенных для данного курса, оказалось не

совсем достаточно, чтобы полностью раскрыть тему бюджетной

грамотности. Учителя также поделились своим мнением о некоторой

незавершенности курса. Речь идет о том, что курс рассчитан на одно

полугодие и во втором полугодии уже не преподавался. Противоположная точка зрения заключалась в том, что в настоящее время

активно вводится предмет «Финансовая грамотность», который мог бы

включить в себя «Бюджетную грамотность», как интегрированную часть. В

пользу этой точки зрения говорит то, что понятие финансовой грамотности

шире, чем бюджетной. Кроме того, бюджетная грамотность может оказаться

менее полезной и прикладной для учащихся впоследствии, нежели

грамотность финансовая.

11. Внедрение курса в пилотном режиме состоялось. Это достаточно общий вывод, который не подкреплен конкретными

данными, но к которому оценщики пришли косвенно, наблюдая ситуацию на

месте, в образовательных организациях. В пользу этого вывода говорит тот

факт, что, во-первых, курс был обеспечен соответствующими учебно-методическими материалами. Во-вторых, были подготовлены преподаватели

курса. В-третьих, школами были созданы соответствующие условия для

организации учебного процесса. В-четвертых, отмечено повышение уровня

знаний в сфере бюджетной грамотности у учащихся, изучавших курс. В-пятых, пилотирование курса показало, что он сработал универсально, т.е. во

всех возможных условиях: в крупных, средних, малых городах и селах, в

79

общеобразовательных школах и лицеях или гимназиях, в классах с разным

профилем. 12. Учебно-методические материалы курса получили положительную

оценку Данный вывод также сделан на основе косвенных данных, хотя и

полученных из первичных источников. В большинстве своем и учащиеся и

преподаватели дали положительную оценку учебно-методическим

материалам, оценив доступность, ясность, понятность изложения. Также (за

редким исключением) хорошие отзывы вызвало оформление, использованная

инфографика. Лишь один из профильных лицейских классов отметил, что

инфографика слишком простая, язык изложения рассчитан, видимо, на более

младший возраст учащихся, т.е. слишком простой. А задания либо слишком

простые, либо непонятные. Предположительно, такая оценка появилась в

связи с тем, что в данном классе учитель является преподавателем ВУЗа и

оценивает материал более с позиций преподавания в высшем учебном

заведении. РЕКОМЕНДАЦИИ 1. Одна из основных рекомендаций, которую можно озвучить, связана с тем,

что данный Курс готов к внедрению с учетом замечаний, собранных из

разных источников во время пилотирования (координаторы, учителя, школы, учащиеся). Для этого созданы необходимые предпосылки. В отношении того,

следует ли внедрять данный курс в качестве самостоятельного курса,

однозначного мнения не сложилось, кроме того, данная оценка не

предполагала ответа на данный вопрос. Курс мог бы стать интегрированной

частью какого-то другого курса или предмета, такие предложения

высказывались со стороны многих учителей, которые преподают экономику.

В качестве вариантов предлагали Экономику, Финансовую грамотность. В

отношении Финансовой грамотности высказывалось мнение о том, то этот

курс или даже понятие несколько шире Бюджетной грамотности, поэтому в

его рамки можно было бы включить несколько наиболее востребованных тем

из Курса. 2. В случае, если останется самостоятельный курс, то его рекомендовалось

сделать более продолжительным, рассчитанным на весь учебный год. 3. Важно решить вопрос с мотивацией преподавателей. Этот вопрос не

входил в объем оценки, тем не менее, на уровне наблюдений было заметно,

что такой вопрос существует. И в настоящий момент не совсем понятно, кто

именно и с использованием каких именно ресурсов будет решать этот

вопрос. 4. Учебно-методические материалы содержат ссылки на Интернет-ресурсы,

некоторые из которых оказались неактивными. Рекомендуется использовать

80

ссылки, при использовании которых риски частных обновлений,

модернизаций, реконструкций и тому подобных воздействий будут

минимальными. 5. В качестве одной из рекомендаций может быть предложение об

использовании данного курса в качестве элективного для непрофильных

классов. Поскольку классы, имеющие социально-экономический профиль,

получают схожие знания из других предметов. 6. Возможно, стоит повторно сопоставить содержание курса «Бюджетная

грамотность» с учебной программой, с целью избежать дублирования с

содержанием других предметов.

81

ПРИЛОЖЕНИЕ 1

Тестовое задание На проверку уровня учащихся после участия в курсе «Бюджетная грамотность»

№ Вопрос Варианты ответа 1. Что такое бюджет?

Укажите наиболее верное, на ваш

взгляд, определение.

1. Финансовый документ и форма

образования и расходования денежных

средств, предназначенных для финансового

обеспечения задач и функцийгосударства и

местного самоуправления. 2.Наличные и безналичные денежные

средства, находящиеся на казначейском

счете и предназначенные для

финансирования общественно-полезной

деятельности органов власти. 3.Государственный денежный фонд,

предназначенный для решения

приоритетных задач по указанию

Президента РФ.

2. Чем отличается налог от сбора? Выберите правильный вариант ответа.

1.Налог платится в бюджет, а сбор во

внебюджетный фонд. 2.Налог платится всеми гражданами, а сбор

только теми, кто хочет получить платную

государственную услугу. 3. Налоги платятся в федеральный бюджет, а

сборы в местный бюджет.

3. Каким видом налога является

земельный налог? Укажите правильный ответ.

1.Федеральный 2.Региональный 3.Местный

4. К каким негативным последствиям, по

вашему мнению, может привести

неуплата налогов? Укажите все правильные ответы.

1.К увольнению с работы. 2.К административной ответственности

(уплата штрафов). 3.К уголовной ответственности (лишение

свободы). 4.К лишению российского гражданства.

5. Для чего вводится упрощенное

налогообложение для малого бизнеса?

Выберите неправильный ответ.

1.Для привлечения граждан заниматься

малым бизнесом. 2.Для облегчения работы налоговых

органов. 3.Для стимулирования создания субъектами

малого бизнеса новых рабочих мест. 4.Для упрощения налоговой отчетности

82

субъектам малого бизнеса.

6. Какие сферы деятельности подлежат

финансированию из местного

(муниципального) бюджета? Выберите все правильные ответы.

1.Высшее образование 2.Здравоохранение 3.Дошкольное образование 4. Социальная защита населения 5. Культура

7. По каким причинам производится

перераспределение финансовых

средств между бюджетами

(межбюджетные трансферты)? Укажите все подходящие варианты

ответа.

1.Экономический потенциал и налоговая

база территорий Российской Федерации

сильно различаются. 2.Надо потратить излишки доходов,

поступающих в федеральный бюджет. 3.Важна равная доступность населения к

государственным и муниципальным

услугам, независимо от места проживания. 4. Бюджетные деньги лучше тратить на

местах. 5. Численность населения регионов сильно

различается.

8. Что такое результативность

использования бюджетных средств? Укажите правильный ответ.

1.Отсутствие нарушений плана

финансирования бюджетных расходов. 2.Достижение запланированного результата

при использовании бюджетных средств. 3.Положительная оценка Счетной палаты

после проведения анализа фактического

освоения бюджетных средств.

9. Что является инструментом

бюджетирования, ориентированного

на результат? Укажите правильный ответ.

1.План государственного контроля за

исполнением бюджета. 2.Периодические ревизии финансово-хозяйственной деятельности. 3.Государственные и муниципальные

программы с индикаторами результата. 10. Что является отличительными

признаками программно-целевого

финансирования? Укажите правильный ответ.

1.Наличие утвержденной сметы расходов. 2.Наличие подробного графика

финансирования мероприятий. 3.Наличие четких индикаторов цели

программы.

11. Какой из разделов не всегда

включается в структуру

государственной программы развития? Укажите правильный ответ.

1.Цель. 2.Показатели/индикаторы. 3.Основные мероприятия. 4.Состав участников, соисполнителей программы. 5.Объемы бюджетных ассигнований,

необходимые для реализации программы.

6.Оценка рисков реализации программы.

83

7.Детальное описание участия граждан в

реализации программы.

12. Для чего вам может понадобиться

информация о местном

(муниципальном) бюджете? Выберите все правильные ответы.

1.Понять, на какие направления тратятся

бюджетные деньги. 2.Для подготовки презентации, доклада. 3.Чтобы платить меньше налогов.

13. Какую пользу получает государство от

вовлечения граждан в бюджетный

процесс? Выберите правильный ответ.

1.Значительное повышение доходной части

бюджета. 2.Рост доверия граждан к органам власти. 3.Увеличение численности государственных

служащих. 14. Бюджет какого уровня может

финансировать обустройство

баскетбольной площадки на нашем

дворе? Выберите правильный ответ.

1.Федеральный бюджет 2.Региональный бюджет 3.Муниципальный (местный) бюджет

15. Если бабушку не устраивает размер ее

пенсии, то куда она должна обратиться

для изменения ситуации? Выберите правильный ответ.

1.К депутату Федерального собрания. 2.В муниципалитет по месту жительства. 3. В налоговую инспекцию.

16. Где можно посмотреть комплексную и

понятную информацию о бюджете? Выберите правильный ответ.

1.В законе (решении) о бюджете. 2.В материале «Бюджет для граждан». 3.В публикации о бюджете в средствах

массовой информации. 17. Является ли бюджет открытым для

граждан документом? Укажите правильный ответ.

1.Все бюджеты являются открытыми для

граждан, за исключением ряда секретных

статей федерального бюджета. 2.В бюджете каждого уровня, включая

федеральный, есть открытая для граждан

часть и часть для служебного пользования. 3.Открытым является «Бюджет для

граждан», а полная версия бюджета

частично доступна по письменному запросу. 18. Какой из бюджетов оказывает

наибольшее влияние на повседневную

жизнь граждан? Укажите правильный ответ.

1.Федеральный 2.Субъекта Российской Федерации 3.Местный

19. На какой стадии бюджетного процесса

участие граждан возможно и наиболее

действенно? Укажите правильный ответ.

1.Составление проекта бюджета. 2.Рассмотрение проекта бюджета. 3.Исполнение бюджета. 4.Отчет об исполнении бюджета.

20. Результаты контроля уполномоченных

государственных органов за

исполнением бюджета являются:… Выберите правильный ответ.

1.Закрытыми и частично доступными только

по запросу. 2.Открытыми и обычно они публикуются. 3.Открытыми для тех граждан, которые

участвовали в бюджетном процессе. 21. В связи с кризисом доходная часть

бюджета уменьшилась. Выберите три

статьи расходов, которые не подлежат

1. зарплата врачей; 2. размер пенсий; 3. строительство новых дорог;

84

сокращению. Выберите все правильные ответы.

4. охрана границы; 5. строительство спортивных комплексов; 6. освоение космоса; 7. оплата коммунальных услуг

государственных учреждений. 22. Вы применяете упрощенную систему

налогообложения прибыли по ставке

15 %. Ваша прибыль в текущем году

составила 1 млн рублей. Какую общую суму налогов вы

заплатите с учетом того что: - кадастровая стоимость недвижимого

имущества составляет 500 тыс. рублей; - ставка налога на имущество

юридических лиц – 2,2%; - общая сумма НДС, подлежащая

уплате в бюджет – 100 тыс. рублей. Укажите правильный ответ.

1. 150 тыс. рублей 2. 161 тыс. рублей 3. 261 тыс. рублей

23. В связи с уменьшением доходной

части местного бюджета обсуждается

возможность увеличения налога на

имущество. Какое из решений

приведет к минимальным негативным

последствиям для экономики и

населения? Укажите правильный ответ. Поясните, пожалуйста, свой ответ.

1.Повысить ставку налога для юридических

лиц и физических лиц в 2 раза. 2.Повысить ставку налога только для

юридических лиц. 3.Повысить ставку налога только для

физических лиц с введением компенсации

для малообеспеченных.

24. К каким последствиям для бюджета

приведет увеличение возраста выхода

на пенсию на 3 года? Укажите все возможные варианты

ответов.

1.В течение ближайших 3 лет расходы

бюджета на пенсионные выплаты будут

сокращаться. 2.В целом повысятся доходы бюджета из-за

улучшения соотношения работающих и

пенсионеров. 3.Повысится социальная напряженность в

обществе. 4.Появится возможность повышения

размера пенсий.

85

ПРИЛОЖЕНИЕ 2 ВОПРОСЫ

Для проведения групповой дискуссии/фокус-группы с учащимися

1.Предположим, Вы депутаты местного представительного органа. a) Считаете ли Вы необходимым узнать мнение жителей

относительно того, в развитие каких сфер жизнедеятельности вашего

населенного пункта целесообразно направлять бюджетные средства? b) Почему? c) Какими способами можно узнать предложения жителей? d) Как выделить среди всех предложений самые приоритетные? 2.Предположим, у Вас есть полномочия принимать решения по

вопросам налоговой политики. Что Вы предложите для стимулирования развития страны: 1) Увеличить местные налоги и одновременно увеличить расходы

на социальную защищенность граждан 2) Уменьшить налоги и поддержать развитие малого бизнеса Обоснуйте свой ответ. 3.Коммунальные услуги и плата за обслуживание

многоквартирных жилых домов высока для многих собственников

квартир. Что лучше сделать: a) Предоставить поставщикам коммунальных услуг бюджетные

дотации и принудительно уменьшить и зафиксировать тарифы на их услуги. b) Предложить тем, кто не может платить, переселяться в менее

качественное, но более дешевое жилье. c) Предложите свой вариант решения этой проблемы и обоснуйте

его. 4.После изучения курса «Бюджетная грамотность» насколько Вы

сможете участвовать в бюджетном процессе? a) Не смогу, знаний недостаточно. b) Смогу, но не вижу необходимости и поэтому не буду

участвовать. c) Смогу и буду участвовать, так как считаю это важным. 5.Выскажите Ваше мнение о том, как лучше ввести курс

«Бюджетная грамотность» в школьную программу. a) Как отдельный предмет по выбору. b) Как часть курса по выбору «Финансовая грамотность». c) Как часть обязательного курса «Обществознание».

86


Таблица 1. Республика Башкортостан Критерий

сравнения Экспериментальная

группа Сравнительная


группа Наименование

учебного

заведения

Республиканский

инженерный лицей-интернат


инженерный

лицей-интернат


инженерный

лицей-интернат Класс 10 «Е» 10 «В» 10 «А» Количество

учащихся,

принявших

участие в

исследовании

14 23 17

Гендерное

распределение

респондентов

14 юношей 23 юноши 17 юношей

Успеваемость 31% - хорошисты 0% - отличники

41% - хорошисты

29% - отличники 37% - хорошисты, 3% - отличники

Средний балл

по результатам

тестирования

44,93 43,55 45,19

Название и

статус

населенного

пункта

Уфа, город Уфа, город Уфа, город

Классификация


пункта

Крупнейший Крупнейший Уфа, город

Городской

район

(центральный

или

стандартный,

или

удаленный)

Стандартный Стандартный Стандартный

Уровень

(обычная,

гимназия или

лицей) профиль

школы (с

Лицей инженерный Лицей

инженерный Лицей инженерный

87

углубленным

изучением

экономики,

иностранного

языка и т.п.) Профиль

класса

(социально-экономический,

гуманитарный,

естественно-научный и т.п.)

или его

отсутствие

Социально-экономический

профиль

Физико-математический



сравнения Экспериментальн

ая группа Сравнительная



учебного

заведения

МАОУ «Лицей №

3» ГО г.

Стерлитамак РБ

МАОУ «Лицей №

3» ГО г.

Стерлитамак РБ

МАОУ «Гимназия

№ 5»

Класс 10 «Б» 10 «А» 10 «А» Количество

учащихся,

принявших

участие в


27 26 23

Гендерное



22 девушки, 5

юношей 16 девушек, 10


юношей

Успеваемость 42% - хорошисты,

0% - отличники 47% - хорошисты, 6%-отличники

45% - хорошисты, 2,8%

- отличники Средний балл

по

результатам


65,23 46,73 49,79

Название и

статус


пункта

Стерлитамак, город Стерлитамак,

город Стерлитамак,

город

Классификаци Крупный Крупный Крупный

88

я населенного

пункта Городской

район


или


или

удаленный)

Административный

центр

Стерлитамакского

района. Образует

городской округ

город Стерлитамак.

Административны

й центр

Стерлитамакско

го района.

Образует


город

Стерлитамак.


й центр

Стерлитамакского

района. Образует


город

Стерлитамак.

Уровень

(обычная,



школы (с


изучением

экономики,


языка и т.п.)

Лицей Лицей Гимназия

Профиль

класса

(социально-экономически

й,

гуманитарный

, естественно-научный и

т.п.) или его



профиль

Физико-математический и

физико-химический

(внутриклассная

профилизация)


профиль.


сравнения Экспериментальна

я группа Сравнительная

группа Сравнительна

я группа Наименование

учебного

заведения

МБОУ «Лицей №

106 «Содружество» МБОУ «Лицей №

106 «Содружество» Лицей 42

Класс 10 «А» 10 «В» 10 «А» Количество

учащихся,

принявших

28 15 26

89

участие в

исследовании Гендерное



18 девушек, 10


юноши 13 девушек, 13

юношей



25% -хорошисты, 0% - отличники




55,72 49,82 51,95

Название и

статус


пункта

Уфа, город Уфа, город Уфа, город

Классификаци


пункта

Крупнейший Крупнейший Крупнейший

Городской

район


или


или

удаленный)

Орджоникидзевский

, стандартный Орджоникидзевски

й, стандартный Октябрьский,

стандартный

Уровень

(обычная,



школы (с


изучением

экономики,



Лицей Лицей Лицей

Профиль

класса

(социально-экономический

, гуманитарный,


профиль

Без профиля


профиль

90


или его

отсутствие Таблица 4. Республика Башкортостан Критерий





учебного

заведения

МАО СОШ №1

п.Чишмы СОШ № 5

п.Чишмы МБОУ

«Гимназия» МР

п. Чишмы Класс 10 «А» 10 (без буквы) 10 «А» Количество

учащихся,

принявших

участие в


21 17 15

Гендерное





юноши 12 девушек, 3

юношей



49%-хорошисты,

11% - отличники




55,63 43,15 41,09

Название и

статус


пункта

Чишмы, поселок

городского типа Чишмы, поселок

городского типа Чишмы,

поселок

городского типа



пункта

Малый город Малый город Малый город

Городской

район


или


или удаленный)

Административ ный

центр Чишминского

района РБ

Административ

ный центр

Чишминского района РБ

Административ

ный центр

Чишминского

района РБ

Уровень

(обычная,


Средняя школа Средняя школа Гимназия

91


школы (с углубленным

изучением

экономики,


языка и т.п.) Профиль класса




или его



профиль

Универсальное

обучение (непрофильное

обучение)


профиль

Таблица 5. Алтайский край Критерий





учебного

заведения

МБОУ СОШ № 12

г. Новоалтайска МБОУ СОШ № 12

г. Новоалтайска МБОУ СОШ №19

г.Новоалтайска

Класс 10 «А» 10 «Б» 10 (без буквы) Количество

учащихся,

принявших

участие в


22 20 22

Гендерное






юношей

Успеваемость 22% - хорошисты, 0% - отличники

5% - хорошисты,

0% - отличники 25% - хорошисты, 0%-отличники


по



47,51 35,93 46,72

Название и

статус


пункта

Новоалтайск, город Новоалтайск,

город Новоалтайск,

город

Классификаци Средний город Средний город Средний город

92


пункта Городской

район


или


или

удаленный)


центр

Первомайского

района Алтайского

края. Образует городской

округ город

Новоалтайск. Центральный

район.


й центр


района

Алтайского края.

Образует


город


район.


й центр


района


Образует


город


район. Уровень

(обычная,


лицей)

профиль

школы (с


изучением

экономики,



Средняя школа Средняя школа Средняя школа






учебного

заведения


«Бригантина»,

г.Заринск


«Бригантина»,

г.Заринск

МБОУ СОШ №15

г.Заринска


учащихся,

принявших

участие в


26 28 25

Гендерное






юношей

Успеваемость 55,2% - хорошисты,

0% - отличники 37,9% - хорошисты, 17,2%

36,7% - хорошисты, 6,7%

93

- отличники

- отличники


по



59,59 49,75 50,24

Название и

статус


пункта

Заринск, город Заринск, город Заринск, город

Классификаци


пункта


Городской

район


или


или

удаленный)


центр Заринского

района Алтайского

края. Образует


город Заринск.


й центр

Заринского

района


Образует


город Заринск.


й центр

Заринского

района


Образует


город Заринск. Уровень

(обычная,


лицей)

профиль

школы (с


изучением

экономики,



Лицей Лицей Средняя школа

Профиль

класса


й,

гуманитарный

, естественно-научный и






94

Таблица 7. Алтайский край

Критерий сравнения Экспериментальная

группа Сравнительная группа

Наименование учебного

заведения КГБОУ «Алтайский

краевой педагогический

лицей-интернат»

КГБОУ «Алтайский

краевой педагогический

лицей-интернат» Класс 10 класс физики и

информатики 10 педагогический

Количество учащихся,

принявших участие в


17 17

Гендерное



7 девушек, 10 юношей 17 девушек, 0 юношей


58% - хорошисты, 0% - отличники

Средний балл по



54,64 44,60

Название и статус

населенного пункта Барнаул, город Барнаул, город


населенного пункта Крупный город Крупный город

Городской район

(центральный или

стандартный, или

удаленный)

Краевое учреждение (территориально

расположено в центре

города)

Краевое учреждение (территориально

расположено в центре

города) Уровень (обычная,

гимназия или лицей)

профиль школы (с углубленным

изучением экономики,

иностранного языка и

т.п.)

Лицей Лицей

Профиль класса



естественно-научный и

т.п.) или его отсутствие

Физика и информатика Педагогический

Количество учащихся,


95






группа Наименовани

е учебного

заведения

МКОУ


средняя

общеобразовательна

я школа №3"

МКОУ


средняя


ная школа №6"

МКОУ

«Тальменская

СОШ No1»

Класс 10 «Б» 10 10 «А» Количество

учащихся,

принявших

участие в


14 12 15

Гендерное распределени

е


8 девушек, 6



юношей


12% - отличники 47% - хорошисты,

0% - отличники 37,9% - хорошисты,

17,2% - отличники


по



60,57 45,11 45,89

Название и

статус


пункта

Тальменка, поселок

городского типа Тальменка,

поселок


Тальменка,

поселок


Классификац

ия


пункта


Городской

район


или


или


центр Тальменского

района.


й центр

Тальменского

района.

Административн

ый центр

Тальменского

района.

96

удаленный) Уровень

(обычная,


лицей)

профиль

школы (с


изучением

экономики,




Профиль

класса


й,

гуманитарны

й,




Социально-гуманитарный

профиль



Таблица 9. Пермский край Критерий




группа Наименовани

е учебного

заведения

МАОУ


средняя


ная школа №2»

МАОУ


средняя


ная школа №1»

Сарсинская

средняя


ная школа

Класс 10 10 10 «А» Количество

учащихся,

принявших

участие в


20 14 23

Гендерное

распределени

е




юношей

97

респондентов Успеваемость 10% - хорошисты,



7% - отличники Средний балл

по



68,80 49,09 40,84

Название и

статус


пункта

Суксун, поселок

городского типа Суксун, поселок

городского типа Сарс, посёлок

городского типа)

Классификац

ия


пункта


Городской

район


или


или

удаленный)


й центр

Суксунского

района Пермского

края.


й центр

Суксунского района Пермского

края

Октябрьский

район Пермского

края

Уровень

(обычная,


лицей)

профиль

школы (с


изучением

экономики,




Профиль

класса


й, гуманитарны

й,


Профиля нет Профиля нет

Профиля нет

98


отсутствие Таблица 10. Пермский край




заведения «СОШ № 14» «СОШ № 14»

Класс 10 «Б» 10 «А» Количество учащихся,



27 15

Гендерное



21 девушка, 6 юношей 1 девушка, 14 юношей






45,78 38,86


населенного пункта Губаха, город Губаха, город


населенного пункта Малый город Малый город




удаленный)


центр городского округа

город Губаха

(стандартный)


центр городского округа

город Губаха

(стандартный) Уровень (обычная,





т.п.)

Средняя школа Средняя школа






Социально-правовой


99

Таблица 11. Пермский край




заведения Лицей № 4 Лицей № 4

Класс 10 «А» 10 «Б» Количество учащихся,



10 10

Гендерное



9 девушек, 1 юноша 10 девушек, 0 юношей






54,93 56,20


населенного пункта Пермь, город Пермь, город


населенного пункта Крупнейший город Крупнейший город




удаленный)

Индустриальный район,

город Пермь, стандартный

Индустриальный район,

город Пермь, Стандартный

Уровень (обычная,





т.п.)

Лицей Лицей






Профиля нет Профиля нет, у

учащихся

Индивидуальные

учебные планы (ИУП), в

план входит предмет

Экономика – 0,5 часа в

год. Таблица 12. Пермский край Критерий




группа

100

Наименование

учебного

заведения

МАОУ СОШ № 102 МАОУ СОШ №

99 МАОУ СОШ №

101


учащихся,

принявших

участие в


20 18 23

Гендерное






юношей


11% - отличники 11,54% - хорошисты, 0% - отличники

36%-хорошисты, 4% - отличники




51,21 44,74 41,29

Название и

статус


пункта

Пермь, город Пермь, город Пермь, город



пункта

Крупнейший город Крупнейший

город Крупнейший

город

Городской

район


или


или удаленный)

Стандартный Стандартный Стандартный

Уровень

(обычная,



школы (с углубленным

изучением

экономики,





(социально-Нет специальных

профильных классов.

На профильном

уровне - Профильные

предметы

101

экономический,


естественно-научный и т.п.) или его


Изучение

обществознания на

профильном уровне

в соответствии с

индивидуальным

учебным планом

учащегося. Группа

смешанная из обоих

классов.

обществознание,

право, экономика (потоки):

математика,

русский язык,

обществознание

102


Перечень диаграмм, таблиц, графиков. Диаграмма 1: Входное тестирование, сравнительная группа. стр.8 Диаграмма 2. Входное тестирование, экспериментальная

группа стр.9

Диаграмма 3. Выходное тестирование, сравнительная

группа.

стр.9

Диаграмма 4. Выходное тестирование, экспериментальная

группа. стр.10

Диаграмма 5. Гендерное распределение респондентов в

Республике Башкортостан. стр.23

Диаграмма 6. Средний балл класса и количество учеников,

принявших участие в тестировании в Республике

Башкортостан.

стр.23

Диаграмма 7. Общее количество правильных ответов на

каждый вопрос в Республике Башкортостан. стр. 25


Алтайском крае. стр.27


принявших участие в тестировании в Алтайском крае. стр.27


каждый вопрос в Алтайском крае. стр.29


Пермском крае. стр.31


принявших участие в тестировании в Пермском крае. стр.31


каждый вопрос в Пермском крае. стр.33

Диаграмма 14. Процент угадавших ответы на вопросы

тестового задания. стр.34

Диаграмма 15. Количество учащихся, принявших участие в

исследовании. стр.36

Диаграмма 16. Средний балл учащихся по регионам. стр.36 Диаграмма 17. Процентное соотношение правильных

ответов на каждый вопрос в трех пилотных регионах. стр.37

Диаграмма 18. Процент правильных ответов на каждый

вопрос в трех пилотных регионах. стр.38

Диаграмма 19. Результаты входного и выходного

тестирования в экспериментальных и сравнительных

стр.55

103

группах, Республика Башкортостан. Диаграмма 20. Результаты входного и выходного


группах, Пермский край.

стр.56

Диаграмма 21. Результаты входного и выходного


группах, Алтайский край.

стр.57

Диаграмма 22. Базовый уровень знаний, результаты

входного тестирования, сравнительная группа. стр.70

Диаграмма 23: Базовый уровень знаний, результаты

входного тестирования, экспериментальная группа. стр.71

Диаграмма 24. Уровень знаний при итоговом/выходном

тестировании, сравнительная группа. стр.71

Диаграмма 25. Уровень знаний при итоговом/выходном

тестировании, экспериментальная группа. Стр.72

Таблица 1. Количество правильных ответов по классам в

Республике Башкортостан. стр.24

Таблица 2. Средние баллы по Республике Башкортостан на

базовом и итоговом уровне. стр.25


Алтайском крае. стр.28

Таблица 4. Средние баллы по Алтайскому краю при

базовом и итоговом тестировании. стр.29


Пермском крае. стр.35

Таблица 6. Средние баллы по Пермскому краю на базовом и

итоговом тестировании. стр.33

Таблица 7. Процент угадавших ответ в Республике

Башкортостан. стр.35

Таблица 8. Процент угадавших ответ в Пермском крае. стр.35 Таблица 9. Процент угадавших ответ в Алтайском крае. стр.35 Таблица 10. Данные входного и выходного тестирования в

экспериментальных и сравнительных группах в

Республиканском инженерном лицее-интернате (г.Уфа).

стр.39

Таблица 11. Данные входного и выходного тестирования в

экспериментальных и сравнительных группах в МАОУ

«Лицей № 3» ГО г.Стерлитамак.

стр.41


экспериментальных и сравнительных группах в МБОУ

«Лицей № 106 «Содружество» (г.Уфа).

стр.42


экспериментальных и сравнительных группах в МАО СОШ

стр.43

104

№1 п.Чишмы. Таблица 14. Данные входного и выходного тестирования в


«Суксунская средняя общеобразовательная школа №2».

стр.44



«СОШ №14» (НОЦ) г.Губаха.

стр.46



«Лицей №4» г.Перми.

стр.47



«СОШ № 102» г. Перми.

стр.48



СОШ № 12 г.Новоалтайска.

стр.49



«Лицей «Бригантина» г.Заринск.

стр.50


экспериментальных и сравнительных группах в КГБОУ

«Алтайский краевой педагогический лицей-интернат»

(г.Барнаул).

стр.51


экспериментальных и сравнительных группах в МКОУ

«Тальменская средняя общеобразовательная школа №3».

стр.52

Таблица 22. Группы, показавшие наивысшие результаты по

итогам тестирования. стр.53

Таблица 23. Результаты t-теста. Предварительное

тестирование: Сравнительная группа – Экспериментальная

группа.

стр.58

Таблица 24. Результаты t-теста. Экспериментальные и

сравнительные группы после прохождения курса. 59 стр.59

Таблица 25. Результаты t-теста. Предварительное

тестирование и итоговое тестирование (после прохождения

курса) экспериментальных групп.

стр.60

Таблица 26. Карта выборочной совокупности (цифра

указывает количество респондентов). стр.69

Таблица 27. Регрессионный анализ. стр.72 График 1. Данные входного и выходного тестирования в

экспериментальных и сравнительных группах в

Республиканском инженерном лицее-интернате (г.Уфа).

стр.40

105

График 2. Данные входного и выходного тестирования в


«Лицей № 3» ГО г.Стерлитамак.

стр.42



«Лицей № 106 «Содружество» (г.Уфа).

стр.43


экспериментальных и сравнительных группах в МАО СОШ

№1 п.Чишмы.

стр.44



«Суксунская средняя общеобразовательная школа №2».

стр.45



«СОШ №14» (НОЦ) г.Губаха.

стр.46



«Лицей №4» г.Перми.

стр.47



«СОШ № 102» г. Перми.

стр.48



СОШ № 12 г.Новоалтайска.

стр.49



«Лицей «Бригантина» г.Заринск.

стр.50


экспериментальных и сравнительных группах в КГБОУ

«Алтайский краевой педагогический лицей-интернат»

(г.Барнаул).

стр.52


экспериментальных и сравнительных группах в МКОУ

«Тальменская средняя общеобразовательная школа №3».

стр.53

Итоговый аналитический...

Documents