инстр. исслед. в пу 2017-тема 1
TRANSCRIPT
РАЗДЕЛ 1 - МЕТОДЫ ЭКСПЕРТНОЙ ОЦЕНКИ
© Е. Колчинская, 2017, ekolch.ucoz.ru
ЛИТЕРАТУРА
1. Денисова А. Л., Зайцев Е. В. Теория и практика
экспертной оценки товаров и услуг: Учеб.
пособие. Тамбов: Изд-во Тамб. гос. техн. ун-та,
2002. 72 с.
2. Гудков П.А. Методы сравнительного анализа.
Учеб. пособие. – Пенза: Изд-во Пенз. гос. ун-та,
2008 – 81 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
В КАКИХ СЛУЧАЯХ ПРИМЕНЯЮТСЯ МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК?
математическое
описание
(формализация)
задачи
невозможно или
очень сложно
© Е. Колчинская, 2017, ekolch.ucoz.ru
ФОРМАЛИЗАЦИЯ
© Е. Колчинская, 2017, ekolch.ucoz.ru
ОЦЕНКА С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ ЭКСПЕРТНЫХ ОЦЕНОК ВКЛЮЧАЕТ СЛЕДУЮЩИЕ
ОСНОВНЫЕ ЭТАПЫ
определение цели экспертизы
формирование группы экспертов
разработка сценария и процедур экспертизы
сбор и анализ экспертной информации
обработка экспертной информации
анализ результатов экспертизы
© Е. Колчинская, 2017, ekolch.ucoz.ru
ФОРМИРОВАНИЕ ГРУППЫ ЭКСПЕРТОВ
В свою очередь на качество экспертной группы оказывают влияние два фактора:
Качество экспертов
Количество экспертов
© Е. Колчинская, 2017, ekolch.ucoz.ru
МЕТОДЫ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТА: ТРУДНОСТИ
Сложность учета многообразных свойств эксперта
Сложность определения связи между психологическими особенностями и качеством эксперта
© Е. Колчинская, 2017, ekolch.ucoz.ru
МЕТОДЫ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ:
•оценки, назначаемые человеком и основанные на предположении правильности отражения качества эксперта через оценку окружающих или самооценку
эвристические
•оценки, полученные в результате обработки суждений экспертов об объекте оценки статистические
•оценки, полученные в результате специальных испытаний экспертов тестовые
•оценки, основанные на анализе документальных данных об экспертах документальные
•оценки, полученные с помощью любой совокупности перечисленных методов комбинированные
Составлено по: Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие. Тамбов:
Изд-во Тамб. гос. техн. ун-та, 2002. 72 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
ЭВРИСТИЧЕСКИЕ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ
Самооценка
Оценка аргументированности и знакомства с объектом экспертизы
Взаимооценка
Оценка рабочей группы
Составлено по: Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие. Тамбов:
Изд-во Тамб. гос. техн. ун-та, 2002. 72 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
ЭВРИСТИЧЕСКИЕ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ: САМООЦЕНКА
•должна распространяться на объект оценки качества (профессиональная компетентность) и методологию оценки (квалиметрическая компетентность).
Компетентность эксперта
•степени загруженности эксперта основной работой;
•целей экспертизы;
•характера выводов, которые могут быть сделаны по результатам оценки
Заинтересованность эксперта в результатах экспертизы зависит от:
•собранность, подвижное и эластичное внимание;
•контактность;
•мотивированность выносимых оценок.
Деловитость эксперта включает
•способность эксперта учитывать только ту информацию, которая имеет прямое отношение к объекту оценки.
Объективность (беспристрастие)
эксперта
Составлено по: Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие. Тамбов: Изд-во
Тамб. гос. техн. ун-та, 2002. 72 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
ЭВРИСТИЧЕСКИЕ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ: ВЗАИМООЦЕНКА (КОЛЛЕКТИВНАЯ ВЗАИМНАЯ
ОЦЕНКА, ГРУППОВАЯ ОЦЕНКА)
• каждый эксперт оценивает всех остальных;
При численности экспертов в
группе менее 15 человек
• заполняются специальные анкеты, в которых эксперты по квалификации поделены на три группы – выше средней, средней и ниже средней квалификации, а также по рангам внутри подгрупп (по 6 - 8 человек в каждой). Затем ранжируют экспертов каждой подгруппы. Ранг 1 – самый квалифицированный эксперт, 2 – следующий по квалификации и т.д. Каждому оцениваемому эксперту присваивается числовая оценка от 10 баллов (самый квалифицированный) до 0 (совершенно неквалифицированный) с точностью до 0,5 балла.
При численности экспертов 15
человек и выше
Составлено по: Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие. Тамбов: Изд-во
Тамб. гос. техн. ун-та, 2002. 72 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
ЭВРИСТИЧЕСКИЕ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ : НЕДОСТАТКИ
ВЗАИМООЦЕНКИ
эксперты могут недостаточно знать друг друга;
на результаты оценки могут влиять взаимные симпатии и антипатии;
эксперты, как правило, стремятся избегать сверхвысоких и сверхнизких оценок
Составлено по: Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие.
Тамбов: Изд-во Тамб. гос. техн. ун-та, 2002. 72 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
ЭВРИСТИЧЕСКИЕ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ: ОЦЕНКА ЭКСПЕРТА
РАБОЧЕЙ ГРУППОЙ
• Цель этой оценки – дать в
количественной форме характеристику (Kpг)
заинтересованности эксперта в участии в
экспертизе и его собранности (внимательности)
в ходе опроса. Составлено по: Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие. Тамбов: Изд-во
Тамб. гос. техн. ун-та, 2002. 72 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
СТАТИСТИЧЕСКИЕ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ
На точность экспертной оценки влияют
субъективные (зависящие от
эксперта) факторы
объективные (зависящие от методики
оценки) факторы
Возникающая под их действием погрешность оценки имеет
случайную и
систематическую составляющие
Составлено по: Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие. Тамбов: Изд-во
Тамб. гос. техн. ун-та, 2002. 72 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
СТАТИСТИЧЕСКИЕ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ
Оценка по отклонению от среднего мнения экспертной группы –
• оценка, основанная на предпосылке, что действительным значением групповой экспертной оценки является средняя оценка экспертной группы.
Оценка объективности эксперта является важной характеристикой его качества.
• В ряде случаев, например, при оценке конкретных образцов продукции, необъективность экспертов может привести к существенному искажению результатов. Однако пока еще нет специфических методов оценки объективности экспертов и на практике довольствуются косвенной оценкой по отклонению от среднего мнения экспертов.
Составлено по: Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие. Тамбов: Изд-во
Тамб. гос. техн. ун-та, 2002. 72 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
ТЕСТОВЫЕ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ
• Тестовый метод
заключается в
проведении
испытаний, в ходе
которых оцениваются
некоторые
психофизиологически
е особенности, от
которых зависит
качество эксперта.
Составлено по: Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие. Тамбов: Изд-во
Тамб. гос. техн. ун-та, 2002. 72 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
ПРИ ПРОВЕДЕНИИ ТЕСТОВЫХ ОЦЕНОК К ТЕСТАМ ПРЕДЪЯВЛЯЮТСЯ СЛЕДУЮЩИЕ
ТРЕБОВАНИЯ:
понимания испытуемым экспертом постановки тестовой задачи и условий, которым должно отвечать ее решение
вероятность случайного угадывания решения задачи должна быть близка к нулю
тестовая задача должна иметь точное решение
Составлено по: Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие. Тамбов: Изд-во
Тамб. гос. техн. ун-та, 2002. 72 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
РАЗНОВИДНОСТЯМИ ТЕСТОВЫХ ЯВЛЯЮТСЯ
• оценка степени близости индивидуальных оценок эксперта, проведенных через определенные промежутки времени
оценки воспроизводимости
результатов
• оценка теоретических знаний методов оценки качества и умения их применять
квалиметрической компетентности
эксперта
• способность экспертов оценивать испытуемый объект независимо от оценок других экспертов, необходима для выявления отсутствия у эксперта конформизма
объективности корректирования
своих оценок
Составлено по: Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие. Тамбов: Изд-во
Тамб. гос. техн. ун-та, 2002. 72 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
ДОКУМЕНТАЛЬНАЯ ОЦЕНКА КАЧЕСТВА ЭКСПЕРТОВ
оценка эксперта, основанная на документальном подтверждении соответствия его установленным требованиям:
• компетентности,
• независимости,
• практического стажа работы.
Составлено по: Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие. Тамбов: Изд-во
Тамб. гос. техн. ун-та, 2002. 72 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
КОМБИНИРОВАННЫЕ ОЦЕНКИ КАЧЕСТВА ЭКСПЕРТОВ
Комбинированная оценка
две статистические
оценки
Три эвристические
оценки
Составлено по: Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие.
Тамбов: Изд-во Тамб. гос. техн. ун-та, 2002. 72 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
КОМПЛЕКСНУЮ ОЦЕНКУ КАЧЕСТВА ЭКСПЕРТА МОЖНО РАССЧИТАТЬ ПО
ФОРМУЛЕ
Kэ = Мсам Kсам + Мвз Kвз + Мpг Kpг + Мос Кос +
Мвр Kвр
• где М – коэффициенты весомости частных
оценок:
• сам – самооценки,
• вз – взаимооценки,
• рг – оценки рабочей группы,
• ос – оценки отклонения от средней,
• вр – оценки воспроизводимости результатов;
• K – значения соответствующих частных оценок
Составлено по: Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие.
Тамбов: Изд-во Тамб. гос. техн. ун-та, 2002. 72 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
ЭТА ФОРМУЛА АПРОБИРОВАНА ПРИ ОЦЕНКЕ ЭКСПЕРТОВ, РАБОТАЮЩИХ В ЧАСОВОЙ
ПРОМЫШЛЕННОСТИ И ИМЕЕТ ВИД
Kэ = 0,14 Kсам + 0,21 Kвз + 0,13 Kрг + 0,22 Kос +
0,30 Kвр
Денисова А. Л., Зайцев Е. В. Теория и практика экспертной оценки товаров и услуг: Учеб. пособие. Тамбов: Изд-во
Тамб. гос. техн. ун-та, 2002. 72 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
КОЛИЧЕСТВО ЭКСПЕРТОВ
на практике численность экспертных
групп ограничивается 8 – 12 человек
© Е. Колчинская, 2017, ekolch.ucoz.ru
ОЦЕНКА С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ ЭКСПЕРТНЫХ ОЦЕНОК ВКЛЮЧАЕТ СЛЕДУЮЩИЕ
ОСНОВНЫЕ ЭТАПЫ
определение цели экспертизы
формирование группы экспертов
разработка сценария и процедур экспертизы
сбор и анализ экспертной информации
обработка экспертной информации
анализ результатов экспертизы
© Е. Колчинская, 2017, ekolch.ucoz.ru
РАЗРАБОТКА СЦЕНАРИЯ И ПРОЦЕДУР ЭКСПЕРТИЗЫ:
ОПРЕДЕЛЯЮТСЯ МЕТОДЫ ОПРОСА
индивидуальные и групповые,
очные и заочные,
открытые и закрытые
© Е. Колчинская, 2017, ekolch.ucoz.ru
ГРУППОВЫЕ МЕТОДЫ
• Мозговой штурм (см. презентацию
http://ppt4web.ru/pedagogika/mozgovojj-
shturm.html)
• Метод Дельфи
(http://ppt4web.ru/uploads/ppt/581/0a9a3
0c992a34d2c237994d7a2331551.pptx)
• Шесть шляп мышления
(http://ppt4web.ru/uploads/ppt/8/49f7eb5b
21a84f0886aaad4bb4e23243.ppt)
© Е. Колчинская, 2017, ekolch.ucoz.ru
ПРОЦЕДУРЫ ЭКСПЕРТИЗЫ
Метод непосредственной оценки
Метод парных сравнений
Метод сравнения с мерой
Ранжирование
© Е. Колчинская, 2017, ekolch.ucoz.ru
ПРОЦЕДУРЫ ЭКСПЕРТИЗЫ: МЕТОД НЕПОСРЕДСТВЕННОЙ ОЦЕНКИ
процедура приписывания объектам числовых значений в шкале интервалов
• Нужна высокая степень осведомленности эксперта о характеристиках объектов
балльную оценку
• 5-, 10-, 100-балльные
Нечисловая оценка
• Цвета
• Словесная
© Е. Колчинская, 2017, ekolch.ucoz.ru
ПРОЦЕДУРЫ ЭКСПЕРТИЗЫ: МЕТОД СРАВНЕНИЯ С МЕРОЙ
• измеряемая величина
сравнивается с известной
величиной, нормативом,
желаемым значением
© Е. Колчинская, 2017, ekolch.ucoz.ru
ПРОЦЕДУРЫ ЭКСПЕРТИЗЫ: МЕТОД ПАРНЫХ СРАВНЕНИЙ
Человеку сложно
сравнивать
одновременно
характеристики
множества
объектов. Метод
парных сравнений
позволяет делать это
поэтапно.
© Е. Колчинская, 2017, ekolch.ucoz.ru
МЕТОД ПАРНЫХ СРАВНЕНИЙ: СУЩЕСТВУЕТ ДВА ОСНОВНЫХ ПОДХОДА ОПРЕДЕЛЕНИЯ ПРЕДПОЧТЕНИЙ ПО ЭТОМУ МЕТОДУ
простая констатация того,
что один фактор
предпочтительнее другого —
без указания на степень предпочтения
Определяется степень
предпочтения
Фактор А1 А2 А3 Сумма баллов
А1 - 5 6 11
А2 1/5 - 2 2,5
А3 1/6 1/2 - 2/3
Фактор А1 А2 А3 Сумма баллов
А1 - 1 1 2
А2 0 - 1 1
А3 0 0 - 0
Матрица парных сравнений всегда обратно симметрична относительно главной
диагонали
© Е. Колчинская, 2017, ekolch.ucoz.ru
ШКАЛА ОТНОСИТЕЛЬНОЙ ВАЖНОСТИ ПРИ МЕТОДЕ ПАРНЫХ
СРАВНЕНИЙ
Источник: http://sdamzavas.net/2-17532.html
© Е. Колчинская, 2017, ekolch.ucoz.ru
В РЕЗУЛЬТАТЕ СРАВНЕНИЯ КАЖДОЙ ПАРЫ ОБЪЕКТОВ O1 И O2 ЭКСПЕРТ
ДОЛЖЕН УПОРЯДОЧИТЬ ЭТУ ПАРУ
либо объект O1 предпочтительнее объекта O2 (O1 > O2);
либо объект O2 предпочтительнее объекта O1 (O1 < O2);
либо эти объекты эквивалентны (O1 ~ O2).
© Е. Колчинская, 2017, ekolch.ucoz.ru
КОЛИЧЕСТВЕННЫЕ СУЖДЕНИЯ О ПАРАХ ОБЪЕКТОВ
Количественные суждения о парах объектов (O1,
O2) представляются в виде матрицы размером
n X n (матрицы парных сравнений):
A = [aij], i, j = 1, …, n,
где
• aij – количественная оценка предпочтения объекта,
• i, j – номера строк и столбцов в матрице сравнений,
• n – число объектов.
Гудков П.А. Методы сравнительного анализа. Учеб. пособие. – Пенза: Изд-во Пенз. гос. ун-та, 2008 – 81 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
МАТРИЦА ПАРНЫХ СРАВНЕНИЙ
Элементы aij определены по следующим правилам:
•если aij = a, то aji = 1/a, a ≠ 0.
•если суждения i и j имеют одинаковую важность, то aij = aji = 1.
© Е. Колчинская, 2017, ekolch.ucoz.ru
МАТРИЦА ПАРНЫХ СРАВНЕНИЙ
© Е. Колчинская, 2017, ekolch.ucoz.ru
ВЕСОВЫЕ КОЭФФИЦИЕНТЫ
Гудков П.А. Методы сравнительного анализа. Учеб. пособие. – Пенза: Изд-во Пенз. гос. ун-та, 2008 – 81 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
ПРИМЕР МАТРИЦЫ ПАРНЫХ СРАВНЕНИЙ
Весовые
коэффициен-
ты
Нормализа
ция
значений
© Е. Колчинская, 2017, ekolch.ucoz.ru
ПРОЦЕДУРЫ ЭКСПЕРТИЗЫ: РАНЖИРОВАНИЕ
• сортировка, построение, упорядочивание по
возрастанию или убыванию относительно какой-
нибудь величины (дата, объём и т. д.)
© Е. Колчинская, 2017, ekolch.ucoz.ru
ПРИМЕР РАНЖИРОВАНИЯ РОССИЙСКИХ РЕГИОНОВ
© Е. Колчинская, 2017, ekolch.ucoz.ru
ПРИМЕР РАНЖИРОВАНИЯ РОССИЙСКИХ РЕГИОНОВ
© Е. Колчинская, 2017, ekolch.ucoz.ru
ОЦЕНКА С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ ЭКСПЕРТНЫХ ОЦЕНОК ВКЛЮЧАЕТ СЛЕДУЮЩИЕ
ОСНОВНЫЕ ЭТАПЫ
определение цели экспертизы
формирование группы экспертов
разработка сценария и процедур экспертизы
сбор и анализ экспертной информации
обработка экспертной информации
анализ результатов экспертизы
© Е. Колчинская, 2017, ekolch.ucoz.ru
АЛГОРИТМ ГРУППОВОЙ ЭКСПЕРТНОЙ ОЦЕНКИ ОБЪЕКТОВ
Результатом опроса экспертов
является информация, выражающая
предпочтение экспертов
содержательное обоснование этих
предпочтений
© Е. Колчинская, 2017, ekolch.ucoz.ru
АЛГОРИТМ ГРУППОВОЙ ЭКСПЕРТНОЙ ОЦЕНКИ ОБЪЕКТОВ
Наличие как числовых данных, так и содержательных высказываний экспертов, приводит к необходимости применения
•качественных
•и количественных методов обработки результатов группового экспертного оценивания
© Е. Колчинская, 2017, ekolch.ucoz.ru
АЛГОРИТМ ГРУППОВОЙ ЭКСПЕРТНОЙ ОЦЕНКИ ОБЪЕКТОВ (1)
• Пусть m экспертов провели оценку n
объектов по l показателям. Результаты
оценивания представлены величинами
• где i – номер объекта,
• j – номер эксперта,
• h – номер показателя.
© Е. Колчинская, 2017, ekolch.ucoz.ru
АЛГОРИТМ ГРУППОВОЙ ЭКСПЕРТНОЙ ОЦЕНКИ ОБЪЕКТОВ (2): КАК ОБРАБАТЫВАТЬ
ИНФОРМАЦИЮ, ПОЛУЧЕННУЮ ОТ МНОГИХ ЭКСПЕРТОВ?
Вычисление среднего арифметического
Вычисление среднего взвешенного
Коэффициент ранговой корреляции Спирмена
© Е. Колчинская, 2017, ekolch.ucoz.ru
АЛГОРИТМ ГРУППОВОЙ ЭКСПЕРТНОЙ ОЦЕНКИ ОБЪЕКТОВ (3): СРЕДНЕЕ ВЗВЕШЕННОЕ ЗНАЧЕНИЕ
ОЦЕНКИ ЭКСПЕРТА
Гудков П.А. Методы сравнительного анализа. Учеб. пособие. – Пенза: Изд-во Пенз. гос. ун-та, 2008 – 81 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
КОЭФФИЦИЕНТЫ ВЕСОВ ПОКАЗАТЕЛЕЙ СРАВНЕНИЯ ОБЪЕКТОВ
Гудков П.А. Методы сравнительного анализа. Учеб. пособие. – Пенза: Изд-во Пенз. гос. ун-та, 2008 – 81 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
КОЭФФИЦИЕНТЫ КОМПЕТЕНТНОСТИ ЭКСПЕРТОВ: СТАТИСТИЧЕСКАЯ ОЦЕНКА
КАЧЕСТВА ЭКСПЕРТОВ
Для упрощения рассмотрим вариант, когда
эксперты сравнивают объекты только по одному
критерию, т.е. в формуле:
Вес показателя не учитывается
© Е. Колчинская, 2017, ekolch.ucoz.ru
СТАТИСТИЧЕСКАЯ ОЦЕНКА КАЧЕСТВА ЭКСПЕРТОВ
Этап 3. Вычисляем коэффициенты компетентности экспертов
Этап 2. Вычисляем нормировочный коэффициент
Этап 1. Находим среднее арифметическое оценок экспертов -
© Е. Колчинская, 2017, ekolch.ucoz.ru
ПРИМЕР. СТАТИСТИЧЕСКАЯ ОЦЕНКА КАЧЕСТВА ЭКСПЕРТОВ
Три эксперта (m = 3) оценили два объекта (n = 2),
получив следующие значения нормированных
оценок
© Е. Колчинская, 2017, ekolch.ucoz.ru
ЭТАП 1. НАХОДИМ СРЕДНЕЕ АРИФМЕТИЧЕСКОЕ ОЦЕНОК ЭКСПЕРТОВ
© Е. Колчинская, 2017, ekolch.ucoz.ru
ЭТАП 2. ВЫЧИСЛЯЕМ НОРМИРОВОЧНЫЙ КОЭФФИЦИЕНТ
© Е. Колчинская, 2017, ekolch.ucoz.ru
ЭТАП 3. ВЫЧИСЛЯЕМ КОЭФФИЦИЕНТЫ КОМПЕТЕНТНОСТИ ЭКСПЕРТОВ
Гудков П.А. Методы сравнительного анализа. Учеб. пособие. – Пенза: Изд-во Пенз. гос. ун-та, 2008 – 81 с.
© Е. Колчинская, 2017, ekolch.ucoz.ru
РЕШИТЕ САМОСТОЯТЕЛЬНО ПРИМЕР
Объект 1 Объект 2
коэффициент
компетентности экспертов
Эксперт 1 0,4 0,8 0,42
Эксперт 2 0,6 0,6 0,38
Эксперт 3 0,1 0,7 0,31
Средние оценки объектов 0,37 0,70
Нормировочный коэффициент 1,75
© Е. Колчинская, 2017, ekolch.ucoz.ru
ВЫЧИСЛЕНИЕ СРЕДНЕГО ВЗВЕШЕННОГО
• В качестве весов рассматривается уровень
квалификации эксперта, например
Объект
ы
Экспер
т 1
Вес –
0,3
Эксперт
2
Вес – 0,7
Средне
е
арифм.
Среднее
взвешенн
ое
А 1 2 1,5 1,7 0,10
Б 2 4 3 3,4 0,20
В 3 1 2 1,6 0,13
Г 4 5 4,5 4,7 0,30
Д 5 3 4 3,6 0,27
© Е. Колчинская, 2017, ekolch.ucoz.ru
КОЭФФИЦИЕНТ РАНГОВОЙ КОРРЕЛЯЦИИ СПИРМЕНА
Коэффициент ранговой корреляции Спирмена
используется для выявления и оценки тесноты связи
между двумя рядами
сопоставляемых количественных показателей.
В том случае, если ранги показателей,
упорядоченных по степени возрастания или
убывания, в большинстве случаев совпадают
(большему значению одного показателя
соответствует большее значение другого показателя -
например, при сопоставлении роста пациента и его
массы тела), делается вывод о
наличии прямой корреляционной связи.
© Е. Колчинская, 2017, ekolch.ucoz.ru
КОЭФФИЦИЕНТ КОРРЕЛЯЦИИ СПИРМЕНА ОБЛАДАЕТ
СЛЕДУЮЩИМИ СВОЙСТВАМИ
Коэффициент корреляции может принимать значения от минус единицы до единицы, причем при rs=1 имеет место строго прямая связь, а при rs= -1 – строго обратная связь.
Если коэффициент корреляции равен нулю, то связь между величинами практически отсутствует.
© Е. Колчинская, 2017, ekolch.ucoz.ru
КАК РАССЧИТАТЬ КОЭФФИЦИЕНТ СПИРМЕНА ДЛЯ ОПРЕДЕЛЕНИЯ
КОРРЕЛИРУЕМОСТИ ОЦЕНОК ЭКСПЕРТОВ
Берутся оценки разных объектов двумя экспертами
•Желательно, чтобы это были ранговые оценки
Определяются разности рангов каждой пары сопоставляемых значений (D)
Возводится в квадрат каждая разность и суммируется полученный результат
Вычислить коэффициент корреляции рангов по формуле на следующем слайде
© Е. Колчинская, 2017, ekolch.ucoz.ru
КОЭФФИЦИЕНТ РАНГОВОЙ КОРРЕЛЯЦИИ СПИРМЕНА
где D² - сумма квадратов разностей рангов, а n -
число парных наблюдений.
© Е. Колчинская, 2017, ekolch.ucoz.ru
ПРИМЕР 1. КОЭФФИЦИЕНТ РАНГОВОЙ КОРРЕЛЯЦИИ СПИРМЕНА
Объекты Эксперт 1 Эксперт 2
D^2
Коэффицие
нт Спирмена
А 1 2 1 0,3
Б 2 4 4
В 3 1 4
Г 4 5 1
Д 5 3 4
n 5
© Е. Колчинская, 2017, ekolch.ucoz.ru
ПРИМЕР 2. КОЭФФИЦИЕНТ РАНГОВОЙ КОРРЕЛЯЦИИ СПИРМЕНА
Объекты Эксперт 1 Эксперт 2
D^2
А 5 1 16 -0,3
Б 2 4 4
В 3 2 1
Г 4 5 1
Д 1 3 4
n 5
© Е. Колчинская, 2017, ekolch.ucoz.ru
ОГРАНИЧЕНИЯ ПРИМЕНЕНИЯ КОЭФФИЦИЕНТА СПИРМЕНА
1) по каждой переменной должно быть представлено не менее 5 наблюдений;
2) коэффициент ранговой корреляции Спирмена при большом количестве одинаковых рангов по одной или обеим сопоставляемым переменным дает огрубленные значения. В идеале оба коррелируемых ряда должны представлять собой две последовательности несовпадающих значений.
3) Можно проанализировать мнения только двух экспертов
© Е. Колчинская, 2017, ekolch.ucoz.ru
КОЭФФИЦИЕНТ КОНКОРДАЦИИ КЕНДАЛЛА
где
m - число экспертов в группе,
n - число объектов,
S - сумма квадратов разностей рангов (отклонений от среднего).
Если W < 0.2 - 0.4, значит слабая согласованность экспертов, если W > 0.6 - 0.8 - сильная
Эксп. 1 Эксп. 2 Эксп 3 ∑ ∑² S W
1 2 3 6 36
2 4 1 7 49
3 1 5 9 81
4 5 2 11 121
5 3 4 12 144
45 431 26 0,29 2025
© Е. Колчинская, 2017, ekolch.ucoz.ru
ПРИМЕР. КОЭФФИЦИЕНТ КОНКОРДАЦИИ КЕНДАЛЛА
Эксп. 1 Эксп. 2 Эксп 3 ∑ ∑² S W
1 2 2 5 25
2 4 4 10 100
3 1 1 5 25
4 5 5 14 196
5 3 3 11 121
45 467 62 0,69
2025
© Е. Колчинская, 2017, ekolch.ucoz.ru