Методы проведения опроса экспертов

К недостаткам этого метода относятся отсутствие гарантий достоверности полученных оценок, а также трудности в проведении опроса экспертов и обработке полученных данных. Если второй недостаток относится к преодолимым трудностям, то первый имеет принципиальное значение.  [c.43]


Нежелание использовать результаты опросов потребителей для определения, как именно воспринимается ими реклама и какое влияние она на них оказывает, со временем постепенно проходило. Во-первых, эксперты по изучению потребительского рынка усовершенствовали методы проведения опросов и научились применять их в соответствии с нормами юридической практики. Так, несколько выдающихся специалистов в этой сфере какое-то время работали на ФТК и сумели воочию продемонстрировать, каким образом исследовательские методы могут использоваться для определения воздействия ложной рекламы на восприятие, убеждения и поведение потребителя. Во-вторых, многие судебные органы, принимая во внимание убедительность результатов опросов потребителей (особенно при определении восприятия ими рекламных обращений), стали обращать внимание на подобные доказательства и проявлять подозрительность при их отсутствии или недостатке.  [c.682]


Это особенно эффективно при решении сложных неформализуемых проблемных ситуаций, когда неполнота и недостоверность информации не позволяют использовать статистический или другие формализованные методы для количественной оценки риска. Недостатками являются отсутствие гарантий достоверности полученных оценок, а также трудности в проведении опроса экспертов и обработке полученных данных.  [c.283]

Работа рабочей группы оценки 2.1. Уточнение цели 2.2. Выбор методов, способов и процедур 2.3. Определение перечня операций, выполняемых экспертами 2.4. Формирование экспертной группы 2.5. Выбор методов и процедур опроса экспертов 2.6. Подготовка анкет для опроса экспертов 2.7. Проведение опроса экспертов  [c.106]

Методы индивидуальных экспертных оценок включают, как правило, оценки типа "интервью" и аналитические оценки, а методы коллективной экспертной оценки - метод комиссии, метод "отнесенной оценки", метод "Дель-фи" и др. Успешное проведение исследования во многом зависит от правильной организации опроса экспертов. Специфические особенности различных интуитивных методов накладывают определенный отпечаток на совокупность предъявляемых к ним требований.  [c.132]

Основные этапы процесса экспертного оценивания формирование цели и задач экспертного оценивания формирование группы управления и оформление решения на проведение экспертного оценивания выбор метода получения экспертной информации и способов ее обработки подбор экспертной группы и формирование при необходимости анкет опроса опрос экспертов (экспертиза) обработка и анализ результатов экспертизы интерпретация полученных результатов составление отчета.  [c.118]


Одним из наилучших методов использования суждений экспертов является метод Дельфи , предусматривающий проведение экспертного опроса в несколько туров.  [c.202]

Исходя из требования проведения опроса потребителей и экспертов в несколько туров, можно рекомендовать использовать панельный метод опроса.  [c.321]

Один из методов проведения такого анализа является опрос экспертов и компьютерная обработка их ответов. В процессе опроса будем предлагать экспертам т вариантов АЗС, характеризуемых р параметрами. Один вариант АЗС будем считать предпочтительнее другого, если указанные экспертами оценки одного варианта выше оценок другого.  [c.132]

Экспертный метод позволяет определить затраты труда на выполнение конструкторских работ с помощью статистики мнений . Известно несколько путей проведения экспертного опроса индивидуальный, при котором от каждого эксперта получают независимые оценки и математически обрабатывают их для установления общей единой оценки групповой, предусматривающий получение суммарной оценки от всех экспертов сразу путем совместного обсуждения проблемы дельфийский, основанный на многоэтапном опросе экспертов для получения согласованных мнений.  [c.32]

Процедура выявления проблем включает формирование каталога проблем и его структуризацию. Наиболее сложно формирование каталога проблем. Существует даже устойчивое убеждение, что если проблема правильно сформулирована, то можно считать ее частично решенной. Выявление и корректная формулировка проблемы — это творческий процесс, который вряд ли может быть формализован. В основу этого процесса кладется экспертный метод, который включает выбор формы опроса экспертов, определение структуры и численности экспертной группы, разработку методики опроса, проведение опроса, составление списка проблем, экспертизу проблем. К экспертному опросу привлекаются руководители и специалисты, глубоко знающие управленческие проблемы. Опрос проводит рабочая группа.  [c.24]

Цель метода Дельфи — это получение прогноза или перечня потенциальных последствий решения какой-либо проблемы, обладающего гораздо большей степенью надежности, чем результаты анализа, проведенного одним специалистом. Опрос экспертов производится с помощью анкет, т. е. специальных опросных листов, в несколько туров с обработкой результатов анкетирования в каждом туре и информированием экспертов об этих результатах. Это позволяет экспертам учесть обстоятельства, которыми они пренебрегали или о которых были не осведомлены.  [c.250]

Рис. 3.3. Типовой сетевой график организации проведения маркетинговых исследований (работы 0-1 — предварительное изучение проблемы 1-2 — опрос экспертов 1-3 — изучение литературы 3-4 — групповые дискуссии по проблеме 4-5 — структурирование проблемы и определение цели сбора информации 5-6 — выработка концепции сбора данных (полное или выборочное, единичное или многоразовое исследование), формы сбора данных (опрос, наблюдение и т. д.), источники информации 5-7 — выбор объектов исследования (выделение генеральной совокупности, определение метода и объема выборки) 7-8 — построение плана исследования (исполнители, сроки, стоимость работ) 8-9 — комплекс параллельно выполняемых работ по организации сбора и контроля данных 9-10 — подготовка информации к обработке на ЭВМ 9-12 — подготовка необходимого программного обеспечения 10-11 — кодирование информации (в случае необходимости) 11-13 — ввод данных в ЭВМ (формирование файлов) 13-14 — обработка информации на ЭВМ 14-15 — интерпретация результатов и подготовка отчета 15-16 — передача отчета лицам, принимающим решение). Здесь--------> обозначает фиктивные работы, т. е. логическую связь событий. Рис. 3.3. Типовой <a href="/info/33">сетевой график</a> <a href="/info/126273">организации проведения маркетинговых исследований</a> (работы 0-1 — предварительное изучение проблемы 1-2 — опрос экспертов 1-3 — изучение литературы 3-4 — групповые дискуссии по проблеме 4-5 — структурирование проблемы и <a href="/info/98240">определение цели</a> <a href="/info/136089">сбора информации</a> 5-6 — выработка концепции сбора данных (полное или выборочное, единичное или многоразовое исследование), формы сбора данных (опрос, наблюдение и т. д.), <a href="/info/19796">источники информации</a> 5-7 — выбор <a href="/info/189621">объектов исследования</a> (выделение <a href="/info/19313">генеральной совокупности</a>, <a href="/info/10199">определение метода</a> и объема выборки) 7-8 — построение плана исследования (исполнители, сроки, стоимость работ) 8-9 — комплекс параллельно выполняемых работ по организации сбора и контроля данных 9-10 — <a href="/info/143505">подготовка информации</a> к обработке на ЭВМ 9-12 — подготовка необходимого <a href="/info/3825">программного обеспечения</a> 10-11 — <a href="/info/6346">кодирование информации</a> (в случае необходимости) 11-13 — ввод данных в ЭВМ (формирование файлов) 13-14 — <a href="/info/61235">обработка информации</a> на ЭВМ 14-15 — <a href="/info/56689">интерпретация результатов</a> и <a href="/info/187788">подготовка отчета</a> 15-16 — передача отчета лицам, принимающим решение). Здесь--------> обозначает <a href="/info/21920">фиктивные работы</a>, т. е. логическую связь событий.
Наиболее ответственным этапом является формирование группы экспертов. Специалисты должны быть компетентными в рассматриваемой области. В состав группы должны включаться научный руководитель (главный конструктор), ведущие специалисты. Численный состав группы должен определяться видом работ, их сложностью, новизной и т. д. Группа экспертов должна состоять из 3-7 человек. При проведении опроса могут использоваться индивидуальный, групповой, дельфийский методы опроса. Как показывают исследования, для определения трудоемкости НИР и ОКР лучше использовать индивидуальный опрос.  [c.383]

Методы группового опроса основаны на проведении опроса группы экспертов с последующим анализом и обработкой полученной от них информации.  [c.24]

Экспертные опросы, проводимые в несколько этапов. Одним из наиболее эффективных и известных методов использования экспертных оценок считается метод Дельфи , который предполагает проведение экспертных опросов в несколько этапов. Согласно этому методу субъективные взгляды отдельных экспертов подвергаются критике другими экспертами без установления контактов между ними и с сохранением анонимности мнений.  [c.34]

Но развитие экспертных методов немыслимо в отрыве от данных, получаемых в экспериментальной психологии данных о психофизиологических возможностях человека (эксперта) требований к психологическим характеристикам экспертов рекомендаций по наиболее правильной процедуре проведения экспертного опроса поправок на систематические и случайные ошибки в оценках, даваемых экспертами и т. д.  [c.157]

В некоторых случаях все-таки можно сравнить объекты, например с помощью тех же экспертов получить упорядочение рассматриваемых изделий или проектов. Тогда можно подобрать коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению (например, найти эти коэффициенты методом наименьших квадратов). В подобных случаях не следует оценивать указанные коэффициенты с помощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что они выполнить не в состоянии — указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель. Эксперты обычно могут сравнить объекты или проекты в целом, но не могут оценить значения отдельных факторов. Раз организаторы опроса спрашивают — эксперты отвечают, но эти ответы не несут в себе реальной информации.  [c.313]

Правильное проведение экспертизы предполагает решение ряда вопросов, связанных с формированием экспертной группы, процедурой экспертизы, выбором методов обработки результатов экспертных оценок. Основными требованиями к экспертам являются их компетентность, профессионализм, авторитетность, беспристрастность. Процедура экспертизы предполагает коллективное генерирование идей на основе проведения дискуссий или опросов (обычных или многоступенчатых) с применением анкет. Использование средств вычислительной техники помогает не только обработать полученные данные, но и построить аналитические и имитационные модели. Все это делает  [c.75]

Сильно проявляется ориентация экспертов на традиционные подходы к проблемам управления. Так, из приводимых ниже примеров следует, что эксперты все же больше внимания уделяют совершенствованию административных методов управления в ущерб экономическим методам и учету человеческого фактора. Частичное преодоление этой трудности лежит в проведении экспертного опроса в соответствии с теорией и методологией этого метода.  [c.36]

При использовании методов оценки предпочтительности в случае, когда число экспертов равно двум или более, руководствуются правилами проведения групповых экспертных опросов.  [c.171]

Одним из распространенных методов экспертной оценки является метод Дельфи , представляющий собой ряд последовательных процедур по подготовке и обоснованию прогноза. Эти процедуры характеризуются анонимностью (независимостью ответов экспертов) опроса регулируемой обратной связью между результатами опроса предыдущего этапа и подготовкой их нового варианта групповым характером ответа. Регулярная обратная связь осуществляется путем проведения нескольких туров опроса, на каждом из которых характеристики ответов обрабатываются с применением статистико-математических методов и результаты сообщаются экспертам. Групповой ответ формируется путем обработки и анализа результатов ответов экспертов. Критерием окончания его разработки, как правило, является близость указанных ответов.  [c.194]

Ф метод экспертных оценок позволяет достаточно быстро получить ответ о возможных процессах развития того или иного события на рынке, выявить сильные и слабые стороны предприятия, оценить эффективность тех или иных маркетинговых мероприятий. Правильное проведение экспертизы предполагает решение ряда вопросов, связанных с формированием экспертной группы, проведением процедуры экспертизы, выбором методов обработки результатов экспертных оценок. Основными требованиями к экспертам являются их компетентность, профессионализм, авторитетность, беспристрастность. Процедура экспертизы предполагает коллективное генерирование идей на основе проведения дискуссий или опросов (обычных или многоступенчатых) с применением анкет. Использование средств вычислительной техники помогает не только обработать полученные данные, но и построить аналитические и имитационные модели. Все это делает метод экспертных оценок достаточно авторитетным и перспективным.  [c.31]

Метод Дельфи предусматривает проведение экспертного опроса в несколько туров. Во время каждого тура эксперты сообщают свое мнение и дают оценку исследуемым явлениям. При  [c.71]

Экспертно-аналитический метод состоит в обследовании и аналитическом изучении организации силами квалифицированных специалистов и консультантов с привлечением руководителей и других работников, для того чтобы выявить специфические особенности, проблемы в работе аппарата управления, а также выработать рациональные рекомендации по его формированию или перестройке, исходя из количественных оценок эффективности структурных композиций, рациональных принципов управления, заключений экспертов, а также анализа и обобщения передовых тенденций в области организации управления. Сюда относится и проведение экспертных опросов руководителей и членов организации для выявления отдельных характеристик построения и функционирования аппарата управления.  [c.510]

Проводится экспертный опрос, в ходе которого эксперты оценивают значимость каждого У с использованием балльной оценки, т. е. экспертный опрос может быть проведен методом простого ранжирования, когда эксперты наиболее значимый вариант прогноза (разряд) оценивают 1, а наименее значимому варианту соответствует балл, равный п.  [c.207]

В основу этого метода положена идея о потенциальной возможности самообучения экспертов при проведении заочного опроса в несколько туров.  [c.105]

С другой стороны, тем, кто склонен заняться такими изобретениями, следует рассмотреть некоторые дополнительные вопросы. Прежде всего, существует предел того, как глубоко мы можем "прощупать почву" в качественных опросах. Исследователи, которые пользуются терминологией экзистенциализма и фрейдизма, имеют умный вид, но могут "не успеть на поезд", Мы не можем проводить психоанализ респондентов в фокус-группах или детальных интервью — мы проводим маркетинговое исследование, а не долгосрочную терапию Кроме того, правило целесообразности гласит, что если целей исследования можно достичь прямым опросом, то лучше воспользоваться им, а не каким-либо экзотическим методом. Проективные и нетрадиционные методы исследования сложнее в проведении, анализе и оценке результатов. Анализ и оценка весьма подвержены субъективизму, а различные специалисты по-разному оценивают результаты. Экспертов, которые действительно могут квалифицированно провести исследование, проанализировать и оценить его результаты, найти труднее и они, скорее всего, запросят более высокую плату за свои услуги. Тем не менее не следует впадать в панику и платить больше без крайней необходимости.  [c.483]

Анализ конкуренции на рынке осуществляется в рамках общей системы сбора и обработки информации, действующей на фирме. Существует большое количество открытых источников информации о деятельности конкурирующих фирм рекламные проспекты, ежегодные отчеты и тексты выступлений руководителей компаний, обзоры в коммерческой периодике, материалы конференций, торговые выставки и ярмарки. Кроме того, исследование Деятельности конкурентов должно опираться на оперативные источники информации, в том числе на сведения, полученные от потребителей, экспертов рынка, из государственных правовых и экономических учреждений, с биржи. Важный метод получения данных о деятельности конкурентовопросы потребителей и их дилеров по сбыту продукции на рынке. Так, например, опрос, проведенный американской фирмой-владельцем сети супермаркетов, позволил выявить позиции и особенности конкурирующих фирм и выработать стратегию расширения собственной сети.  [c.101]

С точки зрения методики проведения опросов экспертов, в настоящее время наиболее совершенным считается так называемый метод Делфи (или метод дельфийского оракула ). Этот метод был предложен в США в начале 50-х годов двумя учеными — Т. Дж. Гордоном и О. Хелмером с целью облегчить решение крупных военных проблем. Характерными чертами метода Делфи являются следующие  [c.52]

Метод Дельфы представляет собой многотуровую процедуру анкетирования с обработкой и сообщением результатов каждого тура экспертам, работающим инкогнито по отношению друг к другу. Название Дельфы взято из истории Дельфийского оракула. В первом туре опроса эксперта предлагаются вопросы, на которые они дают вопросы без аргументирования. После обработки экспертных листов экспертам сообщаются результаты с указанием расположения оценок каждого эксперта. Если оценка эксперта сильно отклоняется от среднего значения, то его просят аргументировать свое мнение или изменить оценку. Во втором туре эксперты аргументируют или изменяют свою оценку с объяснением причин корректировки. Проведение последующих туров осуществляется по аналогичной процедуре. Обычно после третьего или четвертого тура оценки стабилизируются, что служит критерием прекращения дальнейшего опроса.  [c.346]

IV о технике опроса все Э. м. делятся на два способа когда проводящий опрос технич. работник имеет дело сразу с группой экспертов п когда он контактирует непосредственно с каждым экспертом в отдельности. В последнем случае используются технпч. приёмы, в основном совпадающие с применяемыми в социологии (где они впервые и были предложены) интервью, интервью-анкета, анкетирование, смешанное анкетирование. Каждый из этих приёмов отличается от других по степени информационного взаимодействия между экспертом и технич. работником по степени объективности выносимых экспертных суждений но трудоёмкости проведения экспертного опроса. Поэтому 1) не может быть однозначной рекомендация по применению к.-л. одного технич. приёма во всех ситуациях экспертного опроса 2) если не лимитируется общая длительность проведения опроса, то целесообразно применить интервью-анкету или смешанное анкетирование 3) если ограничения на длительность опроса не позволяют применить интервью-анкету, то целесообразно воспользоваться смешанным анкетированием 4) если количество экспертов велико или сложно собрать их вместе, можно применить анкетирование 5) интервью используется как исключение в тех случаях, когда, напр., по условиям.решаемой задачи необходимо иметь экспертные опросы/выраженные в количеств, форме, а эксперт с трудом оперирует такими оценками при ответе на задаваемые ему вопросы, а также когда решается новая задача и каждый последующий вопрос зависит от ответа на предыдущий 6) если требуется обеспечить участие в экспертизе каждого выделенного эксперта, методу заочного анкетирования следует предпочесть методы очного опроса. Перечисленные осн. черты методологии проведения экспертного опроса свойственны Э. м., in пользуемому для решения практически любых задач. Имеются и спецпфич. черты в зависимости от характера решаемых с помощью Э. м. задач. Краткое описание специфпч. черт даётся ниже применительно к решению Э. м. задач оценки качества продукции. Подобные задачи есть задачи квалиметрии.  [c.557]

Опрос экспертов является одним из значимых этапов процесса организации и проведения экспертизы. В ходе реализации этого этапа осуществляется выявление и констатация суждений экспертов по существу исследуемого объекта. Форма проведения опроса фактически является основой, определяющей вид метода организации и проведения экспертизы. Основными формами опроса являются анкетирование, инрервью-ирование, метод Дельфы, мозговой штурм, дискуссия.  [c.285]

Метод Дельфы (Дельфы — древнегреческий город располагавшийся у подножия горы Парнас, где находился так называемый дельфийский оракул) на сегодня представляет собой совокупность способов организации проведения экспертизы, опроса экспертов, обработки и оценки их результатов, получения группового заключения, удовлетворяющих определенным общим требованиям. Сущность метода заключается в организации итерационного (много-турового) процесса выявления суждений экспертов по возможным альтернативам исследуемого объекта с последовательным сужением размаха в оценках экспертов соответствующих альтернатив на онове предоставления им дополнительной информации на второй и последующих итерациях с целью выявления одной или нескольких обоснованных точек зрения экспертной комиссии по исследуемому объекту. При реализации метода должны выполняться следующие требования анонимность каждого включенного в проведение экспертизы эксперта и информации по сути исследуемого объекта, сгенерированной конк-  [c.287]

Метод Дельфи — это один из наиболее перспективных методов формирования групповой оценки экспертов. Метод Дельфи был разработан известным экспертом из исследовательской корпорации РЭНД О. Хельмером, математиком по образованию, что обеспечило получение достаточно точного прогноза. Метод Дельфи получил свое название от греческого города Дельфи и мудрецов, славившихся в древности предсказаниями будущего, представляет собой ряд последовательно осуществляемых процедур, направленных на формирование группового мнения по проблемам с ощутимым недостатком информации. Процедуры, используемые в методе Дельфи, характеризуются тремя основными чертами анонимностью, регулируемой обратной связью, групповым ответом. Анонимность достигается за счет применения специальных вопросников, контактом с ЭВМ и другими способами. Регулируемая обратная связь осуществляется за счет проведения нескольких туров опроса, причем результаты каждого тура обрабатываются с помощью статистических методов и сообщаются экспертам. От тура к туру мнения экспертов  [c.112]

Логично, что на данном этапе может возникнуть не одна, а несколько моделей системы-оригинала, в чем проявляется принцип многомодельности. В этом случае необходимо остановиться на какой-то одной, наиболее адекватной решаемой задаче модели, либо пытаться комбинировать подходы для получения полной модели, состоящей из комплекса взаимосвязанных моделей. При выборе конкретной модели из нескольких предложенных снова эффективен опрос специалистов предметных областей, или экспертов. В спорных случаях для принятия обоснованного решения могут придти на помощь методы проведения сложных экспертиз, включающие в себя такие алгоритмы, как ранжирование, парные оценки и др.  [c.6]

Экспертный подход основан на данных, полученных в ходе опроса экспертов, которым предлагается оценить исследуемое предприятие (либо каждое предприятие анализируемой группы) на основе опыта, квалификации и анализа количественной и качественной информации, имеющейся в их распоряжении. Использование экспертного подхода к построению рейтингов позволяет при определенных условиях выявить все нюансы и учесть неколичественную информацию, что в конечном счете дает возможность получить адекватную картину сложившейся ситуации. Однако использование данного метода сопряжено с рядом трудностей, таких, как недостаток информации, проблема компетентности экспертов, влияние субъективных факторов на оценку специалиста, сложность организации работы группы экспертов, недостаток адекватных оценочных систем, несовершенство технологий проведения экспертиз и методов обработки информации, а также относительная дороговизна подобных исследований.  [c.395]

Если в вопросе о необходимости постоянного состава экспертной группы у большинства исследователей нет разногласий, то по принципам сбора мнений экспертов такого единодушия не существует. Например, в методе Делфи отсутствуют прямые контакты между экспертами. И дело не только и не столько в том, что это облегчает проведение экспертного опроса, так как нет необходимости собирать экспертов вместе. Удается избежать и еще одного недостатка, связанного с тем, что при совместной работе экспертов сильное воздействие на их оценки оказывает мнение наиболее авторитетных специалистов, а также массовое мнение, которого придерживается большинство.  [c.58]

Р. Экенроде [219], показал, что наиболее широкое распространение получили шесть методов. Они отличаются как подходами к постановке вопросов, на которые отвечают эксперты, так и проведением экспериментов и обработкой результатов опроса. Таким образом, эти методы различны по операциям, составляющим содержание первых трех этапов процесса определения весомости свойств М,-. Рассмотрим эти методы.  [c.59]

Разработка РГ и утверждение у ЛПР технического задания на проведение экспертного опроса. На этой стадии решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, формируется рабочая группа, в которой выделяются различные подгруппы специалистов аналитическая, эко-нометрическая (специалисты по методам), компьютерная, по работе с экспертами (например, интервьюеров), организационная. Очень важно для успеха, чтобы все эти позиции были утверждены ЛПР.  [c.306]

Методу Дельфи свойственны и некоторые недостатки, например большой цикл проведения многотуровой экспертизы, отсутствие открытой дискуссии, большое влияние на результат состава экспертов, опасность неглубокого анализа ситуации из-за желания оперативно ответить на поставленные вопросы, возможность сознательного искажения оценки первого тура опроса (выдача ложной информации) заинтересованным лицом и т.д. Большая продолжительность проведения экспертной оценки методом Дельфи затрудняет работу самих экспертов, приводит к нестабильности их состава. Кроме того, в некоторых случаях отсутствие предварительного обсуждения проблемы или альтернативность постановки могут привести к тому, что эксперты, не понимая требований организатора опроса, будут испытывать трудности психологического характера, что вызовет их отрицательную реакцию и естественно, скажется на выдаваемых ими оценках. Этих недостатков можно избежать, если соответствующим образом подготовить экспертизу.  [c.113]

Каждый параметр, приведенный в табл. 5.20, оценивается экспертным путем по набору критериев и определенной системе оценок. При проведении экспертного опроса агентство redit Risk International использует метод Дельфи, согласно которому группа экспертов должна прийти к единому мнению в отношении оценки по каждому критерию. Все параметры являются качественными. Характерно, что итоговый рейтинг страны может корректироваться в зависимости от типа операции, которую планирует осуществить иностранный инвестор.  [c.408]

Смотреть страницы где упоминается термин Методы проведения опроса экспертов

: [c.141]    [c.288]    [c.95]    [c.78]    [c.682]