Измерение и мониторинг уровня образовательных услуг ...

Измерение и мониторинг уровня образовательных

услуг аккредитованных вузов РФ

(2002-2006)

Маслак Анатолий Андреевич,

доктор технических наук, профессор,

руководитель научно-образовательного центра

«Измерение и мониторинг качества образования»,

Региональный открытый социальный институт (РОСИ)

20.04.2320.04.23 11Общественная аккредитацияОбщественная аккредитация

План выступления

1. Актуальность измерений в образовании

2. Отличие измерений от оценивания в классическом тестировании

3. Измерение и мониторинг уровня образовательных услуг аккредитованных вузов России (2002-2006гг.)

20.04.2320.04.23 Общественная аккредитацияОбщественная аккредитация 22

3320.04.2320.04.23 3320.04.2320.04.23

Актуальность тематики измерения латентных переменных

(1)

• «Измеряй измеримое и делай неизмеримое измеримым»

(Галилео Галилей) • «Наука начинается с измерения»

(Д.И. Менделеев)• «Если что-то существует, то оно существует в каком-то количестве»

(Э. Торндайк)• «История науки – это история измерений»

(Дж. Кеттелл)Общественная аккредитацияОбщественная аккредитация

4420.04.2320.04.23 4420.04.2320.04.23


(2)

• «Когда вы можете измерить то, о чем говорите и выразить это числом, вы что-то знаете об этом. Но когда вы не можете это измерить, не можете выразить это числом, ваше знание является скудным и недостаточным»

(лорд Кельвин)

• «Вы не можете управлять тем, чего не можете

измерить» (Том Демарко)Общественная аккредитацияОбщественная аккредитация

5520.04.2320.04.23 5520.04.2320.04.23


(3)

•«Знание о том, что и как нужно измерять, является ключом к пониманию современной жизни»

(Стивен Д. Левитт)

•Более категоричное высказывание «Все, что можно узнать, имеет число, без него ничего нельзя понять или осмыслить»

(Филолаос из Кротона, 5 век до н.э.)

•«Миром правят числа»(Пифагор из Кротона, 6 век до н.э.)

Общественная аккредитацияОбщественная аккредитация

6620.04.2320.04.23 6620.04.2320.04.23

Актуальность измерений в современном образовании

Измерения - это одна из составных частей новых образовательных стандартов, в которых представляются требования: к программам, условиям их реализации и результатам освоения образовательных программ.

Важность и необходимость измерений не вызывает сомнений. Дискуссионным является вопрос о том кто, как и какими измерениями будет определять эффективность обучения.

В современном обществе знание и измеряемые результаты обучения стали средством доступа к общественным благам и возможностям карьеры».


7720.04.2320.04.23 7720.04.2320.04.23

Отличие измерений, от «оценивания»

1. Средняя успеваемость в школе(3 + 5) / 2 = 4В школах США, Австралии A=5, B=4, C=3(A + C) / 2 = B?

2. Покупка яблок, помидор и т.д.по весу, а не по штукам(тестовые задания различаются по трудности, так же как яблоки по весу) Общественная аккредитацияОбщественная аккредитация

20.04.2320.04.23 88

Латентная переменнаяэто конструкт (теоретический), который

представляет интерес для исследователя


20.04.2320.04.23 99

Расположение индивидов и тестовых заданий на линейном континууме

12

12

12

12

12


20.04.2320.04.23 1010

Нелинейность тестового балла


111120.04.2320.04.23

Основатель теории измерения латентных

переменных


121220.04.2320.04.23

Ученик № 1 B.D. Wright


131320.04.2320.04.23

B.D. Wright at his home


141420.04.2320.04.23

Измерение и мониторинг уровня образовательных

услуг аккредитованных вузов РФ

Цель: - измерить в виде интегрального показателя уровень образовательных услуг аккредитованных вузов России; - провести мониторинг этого показателя; - оценить информативность индикаторов собираемых для этих целей Федеральным агентством по образованию.


Контентные группы индикаторов 1. Профессорско-преподавательской состав (без совместителей); 2. Профессорско-преподавательский состав по совместительству (без учета внутривузовского совместительства); 3. Студенты и аспиранты; 4. Подготовка научных и научно-педагогических кадров высшей квалификации; 5. Объем научных исследований в отчетном году; 6. Издательская деятельность за последние два года; 7. Бюджетные ассигнования и основные фонды по состоянию на 1 января года; 8. Передача денежных средств; 9. Общежития, столовые, профилактории, спортивные сооружения.


Профессорско-преподавательской состав (без совместителей)


I01 Лица, имеющие ученую степень доктора наук, чел.I02 Лица, имеющие ученое звание профессора (без учета индикатора

i01), чел.I03 Доктора наук и лица, имеющие ученое звание профессора, в

возрасте до 50-ти лет (одно и то же лицо учитывается один раз), чел.

I04 Лица, имеющие ученую степень кандидата наук (без учета индикаторов i1 - i3), чел.

I05 Кандидаты наук в возрасте до 30-ти лет (без учета индикаторов i1 - i3), чел.

I06 Члены Российской академии наук, чел.I07 Члены других государственных академий России, чел.I08 Общее количество штатных преподавателей, чел.

Профессорско-преподавательский состав по совместительству (без учета внутривузовского совместительства)


I09 Лица, имеющие ученую степень доктора наук, чел.

I10 Лица, имеющие ученое звание профессора (без учета индикатора 9), чел.

I11 Члены Российской академии наук, чел.

I12 Члены других государственных академий России, чел.

I13 Общее количество преподавателей, работающих по совместительству, чел.

Студенты и аспиранты


I14 Студенты дневной формы обучения, чел.

I15 Студенты очно- заочной формы обучения, чел.

I16 Студенты заочной формы обучения, чел.

I17 Аспиранты дневной формы обучения, чел.

I18 Аспиранты заочной формы обучения, чел.

I19 Все иностранные граждане, обучавшиеся в отчетном году на контрактной основе, в том числе и относящиеся к индикаторам i14 - i18, чел.

Подготовка научных и научно-педагогических

кадров высшей квалификации


I20 Количество утвержденных ВАК докторских диссертаций, защищенных в советах вуза за последние три года, един.

I21 Количество успешно защищенных в советах вуза за последние три года кандидатских диссертаций, един.

I22 Количество аспирантов вуза, успешно защитивших кандидатские диссертации в отчетном году, но не позднее одного года после окончания аспирантуры, чел.

I23 Количество утвержденных ВАК докторских диссертаций, защищенных сотрудниками вуза за последние три года вне советов вуза, един.

I24 Количество аспирантов и сотрудников вуза, успешно защитивших кандидатские диссертации за последние три года вне советов вуза, чел.

Объем научных исследований в отчетном году


I25 Объем госбюджетных работ и освоенных грантов на научные исследования, выполненных собственными силами, тыс. руб.

I26 Объем хоздоговорных работ, выполненных собственными силами, тыс. руб.

Объем научных исследований в отчетном году


I27 Учебники с грифами Минобразования России и других министерств и ведомств, имеющих подведомственные вузы, един.

I28 Учебники с грифами Учебно-методических объединений вузов и Научно-методических советов Минобразования России по дисциплинам, един.

I29 Учебные пособия с грифами Минобразования России и других министерств и ведомств, имеющих подведомственные вузы, един.

I30 Учебные пособия с грифами Учебно-методических объединений вузов и Научно-методических советов Минобразования России по дисциплинам, един.

Бюджетные ассигнования и основные фонды (индикаторы i32 - i35 по

состоянию на 1 января года, следующего за отчётным)


I31 Сумма бюджетных ассигнований на отчетный год (без учета индикатора 25), тыс. руб.

I32 Общая стоимость машин и оборудования, тыс. руб.

I33 Общая площадь учебно-лабораторной базы, тыс. кв.м.

I34 Общее количество персональных компьютеров и компьютерных рабочих станций в вузе, един.

I35 Общее количество единиц хранения библиотечного фонда, тыс.

Передача денежных средств


I36 Внебюджетные средства, перечисленные вузу в отчетном году физическими и юридическими лицами (без учета индикаторов 26 и 37), включая стоимость переданного оборудования, тыс.руб.

I37 Средства, полученные вузом в отчетном году за подготовку иностранных граждан (включая стоимость переданного оборудования), тыс.руб.

Общежития, столовые, профилактории,

спортивные сооружения


I38 Обеспеченность иногородних студентов общежитием (вузы, не имеющие иногородних студентов, показывают 100), %

I39 Обеспеченность местами в предприятиях общественного питания (в процентах к нормативу, норматив - 200 мест на 1000 студентов), %

I40 Количество мест в санаториях-профилакториях, един.

I41 Общая полезная площадь крытых спортивных сооружений, кв.м.

Высшие учебные заведения (1)


№ п/п Группа Объем данных1 Университеты 4572 Технические и технологические 8313 Архитектурные, художественные 334 Право 515 Сельское хозяйство 2616 Экономика 1457 Культура 1048 Медицина 2069 Педагогические вузы 355

Высшие учебные заведения (2)


№ п/п Группа Объем данных10 Физическая культура 5511 Консерватории 1712 Негосударственные аккредитованные

(более 700 студентов) 21513 Негосударственные аккредитованные

(менее 700 студентов) 37014 Социальные 1915 Разные 4716 Государственной службы 6517 Вузы сервиса 4118 Негосударственные аккредитованные

(менее 100 студентов) 79

Минимальные оценки уровня образовательных услуг вузов в 2002-2006 гг.


Высшее учебное заведение

Уровень образовательных

услуг (логиты)

Стандартная ошибка

Год(логиты)

Северо-Кавказский гуманитарный институт -6,677 0,56 2002

Институт правовой экономики -5,878 0,49 2006

Северо-Кавказский институт бизнеса, инженерных и информационных технологий -5,645 0,48 2003

Институт менеджеров пищевых и перерабатывающих производств -5,214 0,45 2003

Международный институт бизнеса, информационных технологий и финансов -5,214 0,45 2004

Международный институт бизнеса, информационных технологий и финансов -5,214 0,45 2005

Максимальные оценки уровня образовательных услуг вузов в 2002-2006 гг.


Высшее учебное заведение

Уровень образовательных

услуг (логиты)

Стандартная ошибка

Год(логиты)

Санкт-Петербургский государственный университет 3,320 0,33 2004

Южный федеральный университет (Ростов-на-Дону) 3,320 0,33 2006



Московский государственный университет 3,971 0,33 2002






Индикаторная переменная

Местоположение индикаторной

переменной (логит)

Стандартная ошибка (логит)

I38 -1,891 0,023

I41 -1,530 0,026

I35 -1,432 0,038

I30 -1,313 0,027

I32 -1,111 0,039

I34 -0,956 0,04

I33 -0,932 0,036

I25 -0,901 0,028

I09 -0,884 0,037

I08 -0,863 0,04

I36 -0,782 0,035

I26 -0,761 0,031

I29 -0,742 0,024

I14 -0,723 0,039






I04 -0,700 0,039

I13 -0,582 0,036

I39 -0,532 0,037

I24 -0,515 0,036

I01 -0,403 0,044

I16 -0,154 0,032

I18 -0,066 0,031

I02 -0,046 0,030

I05 -0,037 0,034

I22 -0,006 0,029

I03 0,003 0,032

I19 0,254 0,028

I17 0,260 0,032

I31 0,287 0,030






I37 0,619 0,028

I40 0,681 0,027

I10 0,708 0,032

I21 0,826 0,035

I15 1,021 0,031

I12 1,067 0,030

I07 1,103 0,031

I23 1,106 0,052

I20 1,160 0,034

I11 1,613 0,036

I06 2,071 0,045

I27 2,378 0,040

I28 2,701 0,040

Отличительные индикаторы

1. Наиболее «легкие» индикаторы

2. Наиболее «трудные» индикаторы

3. Адекватные модели измерения индикаторы

4. Неадекватные модели измерения индикаторы

Общественная аккредитацияОбщественная аккредитация 333320.04.2320.04.23

Характеристическая кривая для «легкой» индикаторной переменной 41 «Общая полезная

площадь крытых спортивных сооружений»


Характеристическая кривая для «легкой» индикаторной переменной 35 «Общее количество

единиц хранения библиотечного фонда»


Характеристическая кривая для «легкой» индикаторной переменной 30 «Учебные пособия с

грифом УМО объединений вузов»


Характеристическая кривая для «трудной» индикаторной переменной 28 «Учебники с грифом

УМО объединений вузов»


Характеристическая кривая для «трудной» индикаторной переменной 27 «Учебники с грифом

Минобрнауки»


Характеристическая кривая для «трудной» индикаторной переменной 06 «Члены Российской

академии наук»


Характеристическая кривая для неадекватной индикаторной переменной 39 «Обеспеченность

местами в предприятиях общественного питания»


Характеристическая кривая для «трудной» индикаторной переменной 38 «Обеспеченность

иногородних студентов общежитием (вузы не имеющие иногородних студентов показывают 100%»


Распределение оценок вузов и индикаторов на шкале «уровень образовательных услуг»


Дисперсионный анализ уровня образовательных услуг

российских вузов в 2002-2006 годах


Источник дисперсии

Сумма квадратов

Степени свободы

Средний квадрат Fэксп р

Годы 22,69 4 5,672 3,196 0,012

Ошибка 5937,827 3346 1,775

Всего 5960,517 3350

Динамика уровня образовательных услуг вузов России в 2002-2006

годах


ГодОбразовательные

услуги (логит)

Стандартная ошибка(логит)

95% доверительный интервал

нижняя граница

верхняя граница

2002 -1,197 0,054 -1,303 -1,09

2003 -1,193 0,051 -1,294 -1,093

2004 -1,162 0,050 -1,261 -1,063

2005 -1,025 0,051 -1,124 -0,925

2006 -1,012 0,051 -1,111 -0,912

Дисперсионный анализ уровня образовательных услуг

вузов РФ в зависимости от их статуса






Статус вуза 3235,571 2 1617,79 1987,7 <0,001

Ошибка 2724,946 3348 0,814

Всего 5960,517 3350

Уровень образовательных услуг российских вузов

в зависимости от их статуса


Статус вузаОбразовательные

услуги (логит)

Стандартная ошибка(логит)

95% доверительный интервал

нижняя граница

верхняя граница

Университет -0,259 0,022 -0,301 -0,217

Академия -1,377 0,034 -1,444 -1,309

Институт -2,558 0,030 -2,617 -2,500

Дисперсионный анализ уровня образовательных услуг вузов РФ

в зависимости от их отраслевой принадлежности






Отрасль 2982,874 17 175,463 196,40 <0,001

Ошибка 2977,643 3333 0,893

Всего 5960,517 3350

Уровень образовательных услуг вузов РФ в зависимости от их отраслевой принадлежности


Год

Уровеньобразовательных

услуг вузов России (логит)

Стандартнаяошибка (логит)

95% доверительный

интервал

1 Университеты -0,158 0,044 -0,245 -0,072

2Технические и технологические

-0,343 0,033 -0,407 -0,278

3 Вузы сервиса -0,543 0,148 -0,833 -0,254

4 Медицина -0,666 0,066 -0,795 -0,537

5 Экономика -0,764 0,078 -0,917 -0,61

6 Сельское хозяйство -0,953 0,059 -1,068 -0,838

7 Педагогические -1,083 0,05 -1,181 -0,984

8 Социальные -1,333 0,217 -1,758 -0,908

9 Государственные службы -1,356 0,117 -1,586 -1,126

Уровень образовательных услуг вузов РФ в зависимости от их отраслевой принадлежности


Год

Уровеньобразовательных

услуг вузов России (логит)

Стандартнаяошибка (логит)

95% доверительный

интервал

10 Право -1,620 0,132 -1,879 -1,360

11 Физическая культура -1,730 0,127 -1,980 -1,480

12Негосударственные аккредит. (более 700 студентов)

-2,003 0,064 -2,130 -1,877

13 Другие -2,004 0,138 -2,274 -1,734

14 Архитектурные и художественные -2,016 0,165 -2,339 -1,694

15 Культура -2,020 0,093 -2,202 -1,838

16 Консерватории -2,175 0,229 -2,625 -1,726

17Негосударственные аккредит. (менее 700 студентов)

-2,922 0,049 -3,018 -2,825

18Негосударственные аккредит. (менее 100 студентов)

-3,379 0,106 -3,587 -3,170

Благодарю за внимание!


Измерение и мониторинг уровня образовательных услуг ...

Documents