kft kukharenko

Как оценить качество обучения персонала

Проф. Кухаренко В.Н.Национальный технический университет

«Харьковский политехнический институт»

Проблемная лаборатория дистанционного обучения

• Создана в 1997 г.• Опубликовано 14 пособий и более 140 статей

2

Оценивание

• Оценивание - приблизительное измерение (когда нет инструментов)

• Оценивание – классификация. Отнесение объекта к одному из классов, на основании значений совокупности показателей и установленного критерия.

• Множественность оценки – ситуация, когда одно и тоже событие (объект) оценивается по-разному разными людьми

Что будем рассматривать

зОценка

обучености

Персонал соответствует рабочему месту, обучается и

обеспечивает доход

Преподаватели, курсы, учебный процесс

Методы и приемы оценки персонала на всех этапах развития

обучения

Независимое оценивание внешними экспертами

Пример измеряемых показателейУчебные программы Измеряемые параметры

Обучение методам ведения продаж

Объем продаж, лояльность покупателей, продолжительность цикла продажи,  доходность каждой продажи

Обучение техническим навыкам

Число звонков в «справочный стол», время на составление отчетов, форм или заданий, уверенное пользование программным обеспечением или оборудованием

Обучение методам повышения качества

Сокращение числа дефектов.

Обучение технике безопасности

Сокращение количества несчастных случаев

Принцип научения: «Чтобы учить, надо знать, чему учить».

Проектирование ADDIE • анализ (Analyzing) потребностей

организации; • проектирования (Designing) системы для

потребностей организации; • развитие (Developing) системы с

использованием анализа исходных данных; • выполнение (Implementing) процессов

системы; • оценка (Evaluating) проекта создания и

выполнения. 6

Анализ (analyze) • Анализ целевой группы;• Анализ деятельности специалиста;• Анализ заданий;• Анализ/декомпозиция умений;• Анализ знаний, на которых базируются

умения;• Общие задачи обучения;• Задания на деятельность.

Результат • Какие качества обучаемого надо оценить• Изменение поведения - деятельность

Проектирование (design) • Последовательность содержания

обучения;• Выбор методов обучения (на базе

бихевиоризма, конструктивизма, андрагогики, коннективизма - отвественность);

• Выбор (или создание) средств обучения;• Проектирование учебной программы.

Результат

• Какие есть варианты оценивания?• Бихевиоризм – тест, выполнение операций,

алгоритмов (исполнительность)• Конструктивизм – конструирование

процедур и алгоритмов, принятие решения, работа в команде, коммуникативность (творчество)

• Коннективизм – ПУС, персональное управление знаниями

• Для сотрудничества, творчества нужны другие способы оценки

• Сотрудничество включает в себя умение слушать, учет различных точек зрения, делиться идеями с другими

http://www.maggiehosmcgrane.com/2012/01/testing-is-dead-rip.html

Развитие (development) • План занятий;• Презентация курса;• Учебные средства;• Упражнения;• Контроль (в том числе, тесты) знаний и

умений.

Результат

• Как будем оценивать?– Оценка качества выполненных операций– Сроки выполнения– Самооценка– Оценка коллегами– Вес для оценки операций– Итоговое испытание

Исполнение (implement) • проводится обучение с выбранной

аудиторией. Промежуточные результаты план выполнения. ‑

Оценка (evaluation) • План текущей оценки;• Список необходимых действий для

текущей оценки;• План итоговой оценки;• Результаты итоговой оценки

Критерии

• Соответствие целям обучения• Уровень компетентности• Уровень обучаемости (учится учиться)• Самооценка

Цель обучения

- Это то поведение, те знания, умения и навыки, которые должен продемонстрировать студент, чтоб его можно было назвать “компетентным”.

- это описание ожидаемых результатов обучения, а не сам учебный процесс

17

Ясная цель обучения это основа для

• Определение содержания учебного материала, источников и методов обучения

• оценки результатов обучения• активизации учебной работы студентов,

превращение их в сознательных участников учебного процесса

18

Определение цели обучения

• Исполнение. Что сможет делать студент?• Условия. При каких условиях он это сможет

делать?• Критерии. Как хорошо он это сможет

делать?

19

Исполнение

• Исполнение – Написать– Считать – Выделять– Демонстрировать– Выбирать– Классифицировать

• состояние – Понимать – Знать– Уметь– Ценить– Быть знакомым– Видеть

20

Иерархии познавательных целей обучения в таксономии Блума

21

Таксономия Блума

http://www.celt.iastate.edu/teaching/RevisedBlooms1.html

Припоминание• Роль студента: он отвечает, вспоминает,

узнает, описывает, пересказывает• Опишите, что случилось после..?• Что правильно, или неправильно..?• Когда произошло событие?• Кто автор теории эволюции

– Гук– Дарвин– Левенгук

23

Понимание

• Студент - объясняет, описывает, демонстрирует, выясняет

• Вы можете объяснить, почему..?• Вы можете написать своими словами...?• Вы можете написать короткий обзор..?• На сторонах куба обозначены цифры от 1

до 6. Какова вероятность выпадения четного числа

24

Применение

• Роль студента: решает задачи, демонстрирует использование знаний, рассчитывает, собирает (факты), иллюстрирует, конструирует,

• Знаете ли Вы другой пример, где ...?• Можете ли Вы сгруппировать по признакам ...?• Рассчитайте массовую концентрацию

раствора, если в 100 г воды растворили 20 г. соли

25

Анализ

• Роль студента: он обсуждает, аргументирует, размышляет, задает вопросы, оценивает, наводит справки

• Какие события не могли произойти?• Если бы ... произошло, каким должно быть

завершение?• Водитель автомобиля ехал из А. в Б. После того,

как он проехал В., он остановился в Г. выпить кофе, проехав половину пути. Расстояние между какими городами самое большое?

26

Оценивание.• Роль студента: он формирует мисли и оценивает,

обсуждает, сравнивает, критикует, убеждает, доказывает, оценивает возможности, принимает решение

• Есть ли тут лучшее решение к ...?• Можете ли Вы отстоять Вашу позицию

относительно ...?

27

Какое из приведенных свойств электромагнитного излучения подтверждает вывод, что свет – это волны?

• интенсивность зависит от квадрата расстояния от источника• металлические поверхности испускают электроны при облучении светом• свет огибает очень маленькие объекты на своем пути• скорость света в вакууме постоянна

Создание

• Роль студента: он проектирует, формулирует, планирует, использует риски, видоизменяет, создает, предлагает

• Можете ли Вы опровергнуть ... для ...?• Если бы Вы имели доступ ко всем ресурсам,

как бы Вы их могли распределять?

Таксономия Блума и рефлексия• Вспоминание. Что же я сделал?• Понимание Что важно? Я достиг цели?• Применение: Где я могу использовать это

снова?• Анализ: Какие я вижу формы и отношения в

том, что я сделал?• Оценка: Как хорошо я выполнил работу? Что

получилось? Что мне нужно улучшить?• Создание Что делать дальше? Каков мой

план/проект? http://www.peterpappas.com/2010/01/taxonomy-reflection-critical-thinking-students-teachers-principals.html

Цикл Колба

практика

Метапознание

Принципы учебной аналитики

• Алгоритмы должны быть открытыми, настраиваемыми для связи

• Должна быть доступна студенту• Аналитика как платформы: открыта для

всех исследователей и организаций• Интеграция с существующими открытыми

инструментами • Модульная и расширяемая

Дискуссия “Функции тьютора”

https://topaz.ad.uow.edu.au/SNAPP/getsnappresults.html

Дискуссия «Планирование деятельности ученика»

Четыре уровня Киркпатрика

• оценка реакции• оценка обучения• оценка поведения• оценка результатов

Процесс оценки по методу кейсов (Бринкерхоф)

• Выберите область для оценивания и напишите план оценки.

• Создайте модель воздействия, которая определит возможные результаты и выгоды.

• Напишите вопросник и проведите оценку, чтобы измерить общий успех против неуспешных.

• Проведите глубокие интервью выбранных людей, показавших хорошие результаты и тех, кто показал плохой результат.

• Сформулируйте выводы, рекомендации, ценность (тренинга) и ROI.

Комплексный подход к оценке 1

1. Проведите оценку стратегических потребностей и оцените стратегические разрывы, которые мешают достичь поставленных компанией целей.

2. Планируйте проведение оценки во время всего времени проведения обучения, на каждой стадии.

3. Создайте модель воздействия, которая будет являться «точным портретом предполагаемых выходов тренинговой программы» (Бринкерхоф).

4. Разработайте и проведите обучение, при этом документируйте все расходы, которые идут на обучение.

Комплексный подход к оценке 2

5. Соберите данные о результатах деятельности до проведения обучения.

6. Проведите пилотное обучение. Проведите суммирующую оценку обучения путем оценки по первому уровню Киркпатрика и сбора данных о результатах деятельности обучающихся после обучения.

7. Проведите изменения в обучающей программе по результатам пилота.

8. Проведите полномасштабное обучение. 9. Спроектируйте и проведите оценку по методу кейсов

Комплексный подход к оценке 3

10. Проведите интервью с «отличниками» и «двоечниками»

11. Соберите данные по уровня 4 Киркпатрика.12. Сравните, сопоставьте и соберите результаты

интервью по методу кейсов и бизнес-результаты по уровню 4 Киркпатрика для того чтобы сделать точные выводы об успехе проведенного обучения.

13. Рассчитайте стоимостную оценку выгод. 14. Сообщите результаты заинтересованным лицам.

Представьте ROI.15. Через год после проведения обучение, проведите

подтверждающую оценку.

Выводы• Невозможно сделать оценку, которая бы

удовлетворяла все потребности одновременно

• Часто, приближенная оценка, достаточно эффективна. А точная практически недостижима.

Спасибо!КоординатыE-mail kukharenkovn@gmail.comhttp://dl.kharkiv.eduhttp://el-ukraine.wikispaces.com/ http://elaz.wikispaces.com/skype: kukharenkovnTwitter @kukharenko