Качество экспертных оценок

из "Теория экономического анализа "

Тестирование и оценка экспертов. При отборе экспертов необходимо также провести и их оценку. Помимо формальных квалификационных требований, подтверждаемых дипломами об образовании, наличием лицензий и сертификатов, можно провести тестирование, самооценку, взаимную оценку экспертов. [c.32]
Тестирование состоит в решении экспертами задач, с известными организаторам тестирования, но неизвестными экспертам результатами. [c.32]
Самооценка. Опыт показывает, что компетентность эффективно оценивается с помощью регламентированной самооценки экспертов. Показатели самооценки получаются на основе группы вопросов. [c.32]
Эксперту можно предложить проставить себе балл по десятибалльной шкале, ориентируясь на следующие значения баллов 10 — эксперт специализируется по данному вопросу, имеет по нему успешно завершенные и используемые на практике разработки и практический опыт 8 — в решении проблем поданному вопросу эксперт участвует, но этот вопрос не входит в сферу его узкой специализации 5 — вопрос входит в сферу, тесно связанную с узкой специализацией эксперта, но в работе по данному вопросу он не участвует 3 — вопрос не входит в сферу, тесно связанную с узкой специализацией эксперта. [c.32]
Согласно полученной по десятибалльной шкале оценке для каждого эксперта определяется весовой коэффициент путем деления оценки на 10 баллов. Значения этих коэффициентов интерпретируются как вероятность верной оценки и находятся в диапазоне от О до 1. [c.32]
Оценка экспертов в группе. Компетентность экспертов может быть определена самими же экспертами в этой группе. Для этого каждый эксперт, входящий в группу, присваивает весовые коэффициенты всем остальным экспертам, кроме себя. Оценка компетентности каждого эксперта определяется как среднее арифметическое весовых коэффициентов. При каждом новом опросе группы следует пользоваться полученными ранее результатами для уточнения характеристик компетентности экспертов. [c.33]
Коэффициент конкордации изменяется в диапазоне 0 W 1, причем 0 соответствует несогласованности, а 1 соответствует полной согласованности. Если значение коэффициента конкордации превышает 0,40-0,50, то качество оценки считается удовлетворительным, если W 0,70—0,80 — высоким. [c.33]
Полученный результат свидетельствует о том, что мнения экспертов очень хорошо согласованы. [c.34]
Экспертные опросы, проводимые в несколько этапов. Одним из наиболее эффективных и известных методов использования экспертных оценок считается метод Дельфи , который предполагает проведение экспертных опросов в несколько этапов. Согласно этому методу субъективные взгляды отдельных экспертов подвергаются критике другими экспертами без установления контактов между ними и с сохранением анонимности мнений. [c.34]
Первый этап. Рассмотрим процесс оценки времени выполнения сложного проекта. Проводится опрос каждого эксперта. Предположим, что привлечены шесть экспертов. Эксперты дают, например, такие оценки 12, 14, 8, 6, 20 и 18 месяцев. Затем всех экспертов знакомят со средним значением — 13 месяцев н размахом, т.е. разницей между крайними значениями оценок, — 14 месяцев. Можно также знакомить со всеми оценками, сохраняя их анонимность. [c.34]
Второй этап. Проводят повторный анонимный опрос, перед которым экспертов, оценки которых сильно отклоняются от среднего значения, просят пересмотреть и аргументировать свои оценки. В результате могут быть получены, например, следующие оценки 12, 14, 10, 6, 18, 18 месяцев. Проверяется согласованность оценок. Если она оказывается для данной задачи недостаточной, то опрос повторяют. [c.34]
Третий этап. Экспертов знакомят с результатами второго тура, включая и аргументы относительно крайних значений оценок, зафиксированные уменьшения или увеличения значений оценок сохраняется анонимность ответов. Экспертов просят дать новые оценки, высказать свои сомнения, пересмотреть свои предыдущие оценки. Могут быть получены такие оценки 12, 14, 11, 11, 14, 13 месяцев. Теперь можно убедиться, что согласованность оценок достаточно высокая. [c.34]
Если и на третьем этапе удовлетворительная согласованность оценок не достигается, то допустимо аналогичным образом организовать дальнейшие опросы. Обычно требуемый уровень согласованности достигается в два этапа. [c.34]

Вернуться к основной статье