Лисичкин В. А., Романовская Ф. А. Вопросы оценки компетентности экспертов в эвристическом методе прогнозирования. В кн. Автоматизированные системы управления нефтеперерабатывающей и нефтехимической про- [c.157]
При проведении опроса панели экспертов в опросный лист может вводиться оценка компетентности эксперта, которая в ряде случаев увеличивает степень достоверности получаемых на основе экспертного опроса выводов. [c.323]
Вопрос об оценке компетентности экспертов не менее сложен. Ясно, что успешность участия в экспертизах является хорошим критерием для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в сериях однотипных экспертиз. Однако наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должностей, ученых степеней и званий, стажа, числа публикаций и т. п.) в современных быстро меняющихся условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять. [c.308]
Часто предлагают использовать методы самооценки и взаимо-оценки компетентности экспертов. Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких — нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам С другой — при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность, тем более, что само понятие компетентность строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике и др.. [c.308]
Значение весового коэффициента, оценивающего компетентность s-ro эксперта, можно интерпретировать как вероятность выдачи экспертом достоверной оценки. Тогда значение этого коэффициента лежит в пределах 0<Л5 1. Существуют различные приемы оценки компетентности экспертов, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного экспертного опроса. [c.119]
Перечисленные характеристики оцениваются по 10-балльной шкале руководителями высшего звена, знающими по работе оцениваемого эксперта, и специалистами в конкретной рассматриваемой области деятельности. Полученные характеристики следует привести к одному показателю, характеризующему объективную оценку компетентности эксперта — h° (например, путем сложения отдельных характеристик с последующим делением полученной суммы баллов на число характеристик). [c.119]
Экспертные группы формируются из высококвалифицированных специалистов. Имеются специальные процедуры оценки компетентности эксперта (на основе данных о квалификации, теоретической подготовке, практическом стаже и т. д.) и экспертной группы в целом (Л. 18). [c.300]
Нерешенной проблемой является создание методики, дающей надежную оценку компетентности эксперта, от которой решающим образом зависит качество самих экспертных оценок. Поскольку анкета с ответами экспертов является основным источником прогнозной информации, то здесь проблемой является возможность определения компетентности эксперта при анкетировании. [c.236]
Существуют различные приемы оценки компетентности эксперта, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного экспертного опроса. [c.77]
Если оценка компетентности экспертов может носить количественный характер, то такие характеристики как креативность (способность решения творческих задач), конформизм (подверженность влиянию суждений авторитетов), отношение к экспертизе, конструктивность мышления, коллективизм, самокритичность имеют, как правило, качественный характер. [c.284]
Определение коэффициентов относительной компетентности экспертов. Для этого заполняют таблицу, в которой каждый эксперт э, дает свои оценки lij компетентности остальных экспертов (/=1, 2,. .., п). Из этой таблицы определяют коэффициенты относительной компетентности экспертов 3j. [c.77]
Определение относительных оценок влияния факторов с учетом компетентности экспертов. [c.77]
Велика роль профессиональной подготовки и интуиции специалистов. Разрабатывая прогнозы, эксперт принимает решение на основе комплекса формализованных расчетов и логических выводов, которые чаще всего нельзя выразить языком формул. Это в значительной мере сдерживает единообразную реализацию задачи прогнозирования. Не исключена субъективность оценок вследствие недостаточной компетентности экспертов. [c.45]
Оценка экспертов в группе. Компетентность экспертов может быть определена самими же экспертами в этой группе. Для этого каждый эксперт, входящий в группу, присваивает весовые коэффициенты всем остальным экспертам, кроме себя. Оценка компетентности каждого эксперта определяется как среднее арифметическое весовых коэффициентов. При каждом новом опросе группы следует пользоваться полученными ранее результатами для уточнения характеристик компетентности экспертов. [c.33]
Определение групповых оценок на основе оценок отдельных экспертов. При равной компетентности экспертов в качестве групповой оценки используют среднеарифметическое значение оценок экспертов. [c.35]
Для учета различий в компетентности экспертов их оценкам могут быть приписаны различные веса , которые учитываются весовыми коэффициентами. Значения весовых коэффициентов могут быть использованы, кроме того, для стимулирования работы экспертов путем установления оплаты участия в экспертизе пропорционально весовому коэффициенту эксперта. [c.35]
Если при выборе окончательного варианта не ставится задача нахождения оптимального решения, то в этом случае успешно используется метод балльной оценки и ранжирования альтернативных вариантов. Высший балл присваивается каждым экспертом наиболее предпочтительному, на его взгляд, варианту. Эта оценка основывается на опыте, интуиции, знании ситуации, высоком уровне компетентности экспертов. Индивидуальные экспертные оценки могут показать общую тенденцию предпочтительности, если какой-либо вариант получил высший балл у большинства (или нескольких) экспертов. Если мнения разошлись и высшую оценку у нескольких экспертов получил не один, а два или три варианта, то это дает [c.250]
Могут быть получены оценки компетенции экспертов. Разрабатывается тест, на основе ответов на который каждому эксперту выставляется балл компетентности (и.). Обобщенная характеристика компетентности экспертов отражается средней величиной [c.84]
Задача эксперта заключается в ранжировании проблем по их значимости числами натурального ряда наиболее значимой присваивается число 1, наименее - п, где п - порядковый номер последней проблемы, равным по значимости - одно число. Ранг подкрепляется оценкой экономических, технических, социально-экологических и технических показателей в баллах (от -50 для социально-экологических, до +100 для остальных). Проставляется самооценка компетентности эксперта по десятибалльной шкале по каждой ранжируемой проблеме, что обеспечивает избирательность при обработке анкет. [c.154]
Обработка ответов на вопросы анкеты позволяет получить количественную оценку компетентности предполагаемого эксперта. Если одновременно используется несколько способов оценки его компетентности, желательно определить какой-либо сводный, обобщающий показатель для каждого эксперта. Для этого, в частности, может служить показатель средней компетентности (dj), исчисленный по формуле средней арифметической, взвешенной с учетом значимости каждого способа. [c.307]
Величина средней ошибки имеет наибольшую чувствительность к оценке самого компетентного эксперта, который поста-- [c.310]
Метод экспертных оценок предполагает обобщение и математическую обработку оценок специалистов-экспертов по определенному вопросу. Эффективность этого метода зависит от профессионализма и компетентности экспертов. Такое прогнозирование может быть достаточно точным, однако экспертные оценки носят субъективный характер, зависят от ощущений эксперта и не всегда поддаются рациональному объяснению. [c.97]
На наш взгляд, оценку компетентности следует производить на основе шкалы, каждый балл которой определяется с помощью набора характеристик, оценивающих квалификацию эксперта. Для проведения экспертных опросов при решении отраслевых задач вполне достаточно четырех характеристик [c.119]
Вывод наиболее компетентный эксперт — первый, показатель экспертной компетентности А1 = 1, несмотря на то, что в его оценках присутствовали некомпетентные ответы. Этот показатель экспертной компетентности учитывается далее в качестве веса при обработке результатов опроса. До сих пор нерешенной проблемой остается установление оптимального количества экспертов. Согласно американскому опыту /6/, оптимум близок к 12—15 человекам, при этом существенно, что доля общепризнанных лидеров по проблеме должна составлять не менее 5—10 % от общего количества экспертов. [c.238]
Метод коллективной экспертной оценки по анкете — выявление, обобщение и объективизация коллективной оценки путем обработки индивидуальных оценок, выносимых экспертами независимо. Обработка результатов, даваемых опросом группы по анкете, производится с учетом компетентности каждого эксперта. [c.239]
Из табл. 4 следует, что наиболее значимыми факторами снижения заболеваемости детей являются состояние пищи и воды (8,6 баллов), санитарно-гигиенические условия воспитания детей (8,4 баллов) и качество медицинского обслуживания (7,0 балла). Если многие оценки почти одинаковы, а ресурсы ограничены, то лучшие варианты находятся повторными опросами либо принятием оценки наиболее компетентного эксперта. [c.246]
Следует отметить, что при нахождении оценок экспертным путем помимо погрешности, обусловленной недостатком информации об исследуемом объекте и недостаточной компетентностью экспертов, возможна и погрешность совсем другого рода, обусловленная заинтересованностью экспертов в результатах экспертизы, что обязательно скажется на их достоверности. Наличие такого рода погрешностей может значительно искажать оценки. [c.73]
Все эти характеристики рассматриваются как параметры, которыми можно оценить надежность компонентов источника. Источник может иметь высокую оценку по одному параметру и низкую по другому. Учитывайте такие параметры, как компетентность и беспристрастность. К врачу можно относиться как к очень компетентному эксперту, когда он выписывает рецепт. Однако, если бы слушатели или зрители сочли, что доктор рекомендует лекарство только на том основании, что ему фирма заплатила за рекламу, убеждающее влияние потеряло бы свою силу. Аналогично многие политики, хотя их и воспринимают как экспертов в своей области, также считаются пристрастными при высказывании своих мнений. [c.411]
Методы экспертных оценок. Изучению возможностей и особенностей применения экспертных оценок посвящено много работ. В них рассматриваются формы экспертного опроса (разные виды анкетирования, интервью), подходы к оцениванию (ранжирование, нормирование, различные виды упорядочения и т.д.), методы обработки результатов опроса, требования к экспертам и формированию экспертных групп, вопросы тренировки экспертов, оценки их компетентности (при обработке оценок вводятся и учитываются коэффициенты компетентности экспертов, достоверности их мнений), методики организации экспертных опросов. [c.66]
Наиболее важной из указанных характеристик является характеристика компетентности экспертов, поскольку именно она в значительной степени определяет достоверность экспертных оценок. Поэтому проблеме определения компетентности экспертов следует уделять особое внимание. [c.93]
Считается, что допустимый уровень компетентности группы экспертов должен быть больше или равен 0,67. В этом случае группа имеет основание приступить к экспертным оценкам. В противном случае необходимо еще раз проанализировать состав группы с целью отстранения от работы менее компетентных экспертов. [c.148]
После того как собран материал заполненных анкет экспертных оценок, вводятся показатели, характеризующие обобщенное мнение группы экспертов и компетентность экспертов по предложенным вопросам. Методика статистической обработки материалов таблиц экспертных оценок зависит от характера поставленных вопросов. [c.299]
Коллективная экспертная оценка может проводиться с учетом и без учета компетентности экспертов. В первом случае значения С,у умножаются на значение коэффициента компетентности. Затем оценивается степень согласованности мнений экспертов и показатель репрезентативности экспертных оценок по формулам, приведенным выше. Целесообразно представить результаты обработки экспертных оценок в виде соответствующих таблиц. [c.300]
Методология экспертных опросов. Формирование экспертной группы. Оценки компетентности экспертов. Анкетирование экспертов. Дельфи-метод. Метод мозгового штурма (brain-storm). Метод си-нектики. Морфологический -метод. Метод семантического дифференциала Логико-смысловое моделирование проблем. Многомерное шкалирование. [c.150]
Этот перечень был предложен 18 специалистам (экспертам) 9j для проставления относительных оценок влияния факторов по десятибалльной системе. В число экспертов входили представители научно-исследовательских и учебных институтов, работники МНП и. объединений, НГДУ и нормативно-исследовательских станций. Относительную компетентность экспертов определяли по их собственным оценкам. Для этого каждому эксперту предлагали вторую анкету для оценки относительной компетентности выбранных специалистов по десятибалльной системе. [c.78]
При нахождении оценок экспертным путем помимо погрешности, вносимой недостатком информации о событиях и недостаточной компетентностью экспертов, возможна и погрешность совсем иного рода, обусловленная заин- [c.200]
Что же касается экспертных оценок, то эти возможности практически отсутствуют. Можно, например, попытаться найти нейтральных экспертов. Но нейтральный эксперт — это человек, который практически не связан с той областью, экспертом в которой он призван быть, т. е. нарушается требование компетентности эксперта. Область экспертизы может быть довольно широкой. Но люди, работающие в одной области, как правило, знают друг друга и поэтому вместо экспертизы возможна стратегическая игра вроде той, которая описана выше. Можно пойти по другому пути. В психологии иногда тесты составляют так, чтобы тестируемые не знали, о чем идет речь1 и не могли исказить результаты тестирования. Но когда вопрос формулировался так, что эксперт не знает, что он оценивает, — это уже не экспертиза. [c.114]
При формировании экспертной группы определяется количественный ее состав. Во внимание принимаются квалификация, занимаемая должность, уровень теоретической подготовки, практическое знание дела специалистов. Различия в компетентности экспертов учитываются в ранге. Присвоенный ранг рассматривается как вероятность выдачи специалистом достоверной оценки по анализируемому объекту. В рассмотренном методе использовалась трехбалльная шкала рангов экспертов. Примерный уровень ранжирования в баллах главный экономист (начальник ПЭО) — 3, ведущий инженер ПЭО —2, начальники экономических отделов и руководители цехов —2 и 1. [c.74]