🗊Презентация Методы экспертных оценок

Методы экспертных оценок Методы экспертных оценок

Экспертный подход к принятию решений В широком смысле, экспертный подход предполагает создание некоторого «мультиразума», обладающего большими способностями по сравнению с возможностями отдельного человека. Такой подход позволяет решать задачи, не поддающиеся решению обычным аналитическим способом Метод экспертных оценок является одним из реализаций экспертного подхода. Сущность этого метода заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы.

Экспертный подход к принятию решений При выполнении своей роли в процессе управления эксперты производят две основные функции: формируют объекты (альтернативные ситуации, цели, решения и т.п.); производят измерение их характеристик (вероятности свершения событий, коэффициенты значимости целей, предпочтения решений и т.п.). Формирование объектов осуществляется экспертами на основе логического мышления и интуиции. При этом большую роль играют знания и опыт экспертов.

Виды экспертных оценок По форме участия экспертов: очное, заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле. По количеству итераций (повторов процедуры для повышения точности): одношаговые и многошаговые. По решаемым задачам: генерирующие решения и оценивающие варианты. По типу ответа: описательные и ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале. По способу обработки мнений экспертов: непосредственные и аналитические. По количеству привлекаемых экспертов: без ограничения и с ограничениями. Обычно привлекается 5.

Методы экспертных оценок Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения.

Методы экспертных оценок Оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты экспертизы). Оценить ошибку исследования. Построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы) Подготовить отчет с результатами экспертного оценивания В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов.

Особенности метода экспертных оценок Характерными особенностями метода экспертных оценок как научного инструмента решения сложных неформализуемых проблем являются: научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов; применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно известной экспертизы, широко применяемой в различных сферах человеческой деятельности.

Классы плохо формализуемых проблем Все множество плохо формализуемых проблем условно можно разделить на два класса. К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения адекватных методов обработки его результатов. При этом методы опроса и обработки основываются на использовании принципа «хорошего» измерителя.

Принципа «хорошего» измерителя Данный принцип означает, что выполняются следующие гипотезы: эксперт является хранилищем большого объема рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации; групповое мнение экспертов близко к истинному решению проблемы. Если эти гипотезы верны, то для построения процедур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической статистики.

Классы плохо формализуемых проблем Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез. При решении проблем из этого класса экспертов уже нельзя рассматривать как «хороших измерителей». Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка.

Область применения метода экспертных оценок Область применения метода экспертных оценок весьма широка. Типовые задачи, решаемые методом экспертных оценок: составление перечня возможных событий в различных областях за определенный промежуток времени; определение наиболее вероятных интервалов времени свершения совокупности событий; определение целей и задач управления с упорядочением их по степени важности; определение альтернативных (вариантов решения задачи) с оценкой их предпочтения; альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности; альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности.

Разновидности метода экспертных оценок Для решения перечисленных типовых задач в настоящее время применяются различные разновидности метода экспертных оценок. К основным видам относятся: анкетирование и интервьюирование; мозговой штурм; метод Дельфи; дискуссия; совещание; оперативная игра; сценарий. Каждый из этих видов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.

Методы средних баллов Рассмотрим простейший способ экспертного оценивания альтернатив — балльные оценки. Членов сформированной группы экспертов просят выставить баллы объектам, изделиям, технологическим процессам, предприятиям, проектам, заявкам на выполнение научно-исследовательских работ, идеям, проблемам, программам, политикам и т.п., а затем рассчитывают средние баллы и рассматривают их как интегральные оценки, выставленные коллективом опрошенных, как результаты работы «мультиразума». При этом возникает вопрос: какими формулами пользоваться для вычисления средних величин? Ведь видов средних величин очень много.

Методы средних баллов По традиции обычно применяют среднее арифметическое. Однако специалисты утверждают, что такой способ некорректен, поскольку баллы обычно измерены в так называемой порядковой шкале. В качестве средних баллов обоснованным является использование медиан. В то же время полностью игнорировать средние арифметические нерационально из-за их привычности и распространенности. Целесообразно использовать одновременно оба метода — и метод средних арифметических рангов (баллов), и методов медианных рангов.

Пример сравнения восьми проектов По заданию руководства фирмы анализировались восемь проектов, предлагаемых для включения в план стратегического развития фирмы. Они были зашифрованы следующим образом: . Все проекты были направлены 12 экспертам, назначенным правлением фирмы. В приведенной ниже таблице 2.1 приведены ранги восьми проектов, присвоенные им каждым из 12 экспертов в соответствии с их представлением о целесообразности включения проекта в стратегический план фирмы. При этом ранг 1 — самый лучший проект, который обязательно надо реализовать, ранг 2 —второй по привлекательности проект, и т.д., ранг 8 — наиболее сомнительный проект.

Пример сравнения восьми проектов Ранг 8 проектов по степени привлекательности для включения в план стратегического развития фирмы.

Метод средних арифметических рангов Ранжировка по суммам рангов (или, что то же самое, по средним арифметическим рангам) имеет вид: Здесь запись типа «» означает, что проект предшествует проекту (т. е. проект лучше проекта ). Поскольку проекты и получили одинаковую сумму баллов, то по рассматриваемому методу они эквивалентны, а потому объединены в группу (в фигурных скобках).

Метод медиан рангов Тут необходимо напомнить, что ответы экспертов измерены в порядковой шкале, а потому для них не вполне правомерно проводить усреднение методом средних арифметических. Более подходящим является использование метода медиан. Это означает, что надо взять ответы экспертов, соответствующие одному из проектов, например, проекту . Это ранги 5, 5, 1, 6, 8, 5, 6, 5, 6, 5, 7, 1. Затем их надо расположить в порядке не убывания. Получим последовательность: 1, 1, 5, 5, 5, 5, 5, 6, 6, 6, 7, 8. На центральных местах — шестом и седьмом — стоят цифры 5 и 5. Следовательно, медиана равна 5.

Метод медиан рангов Медианы совокупностей из 12 рангов, соответствующих определенным проектам, приведены в предпоследней строке таблицы. При этом медианы вычислены по обычным правилам статистики — как среднее арифметическое центральных членов вариационного ряда). Итоговое упорядочение по методу медиан приведено в последней строке таблицы. Ранжировка (т.е. упорядочение — итоговое мнение комиссии экспертов) по медианам имеет вид: Поскольку проекты имеют одинаковые медианы баллов, то по рассматриваемому методу ранжирования они эквивалентны, а потому объединены в группу (кластер).

Метод средних арифметических и метод медиан Результаты расчетов по методу средних арифметических и методу медиан для данных.

Метод простой ранжировки Заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения. Цифрой 1 обозначается наиболее важный признак, цифрой 2 — следующий за ним по важности и т.д. полученные данные сводятся в следующую таблицу. Экспертные оценки признаков (направлений исследований):

Обобщенное мнение экспертов Затем с помощью методов математической статистики получают обобщенное мнение экспертов. Определяется суммарный ранг -го признака: где — количество экспертов, оценивающих -й признак (); — номер эксперта, ; — номер признака, . Чем меньше величина , тем больше важность этого признака. Для того чтобы можно было сказать, случайно ли распределение рангов или имеется согласованность в мнениях экспертов, производится вычисление коэффициента конкордации, введенного М. Кендаллом.

Обобщенное мнение экспертов Определяется средний ранг совокупности признаков: Вычисляется отклонение  среднего суммарного ранга -го признака от среднего ранга совокупности : Определяется число одинаковых рангов, назначенных i-м экспертом нескольким признакам — . Определяется количество этих групп одинаковых рангов — . Определяется для i-го эксперта. Определяется коэффициент конкордации по формуле:

Коэффициент конкордации Коэффициент может принимать значения в пределах от 0 до 1. При полной согласованности мнений экспертов коэффициент конкордации равен 1, при полном разногласии — 0. Наиболее реальным является случай частичной согласованности мнений экспертов. По мере увеличения согласованности мнений экспертов коэффициент конкордации возрастает и в пределе стремится к единице. Однако даже если он равен или близок к нулю, не всегда имеет место полное разногласие. Среди экспертов могут быть группы с хорошо согласованными мнениями, но мнения эти противоположны и в общей массе нейтрализуют друг друга. В таком случае следует проделать кластерный или комбинированный анализ для выявления этих групп.

Достоинства и недостатки метода простой ранжировки Достоинства метода простой ранжировки: сравнительная простота процедуры получения оценок; меньшее число экспертов по сравнению с другими методами при оценке одного и того же набора признаков. Недостатки же его в том, что: заведомо считают распределение оценок равномерным; уменьшение важности признаков предполагается также равномерным, в то время как на практике этого не бывает.

Метод задания весовых коэффициентов Метод задания весовых коэффициентов заключается в присвоении всем признакам весовых коэффициентов. Весовые коэффициенты могут быть проставлены двумя способами: всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста); наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным — коэффициенты, равные долям этого числа. Обобщенное мнение экспертов также получаем с помощью методов математической статистики.

Метод Дельфи Другие названия метода: «Дельфийский метод», «Метод дельфийского оракула». Авторы метода: О. Холмер, Т. Гордон и др. (США), 50-е годы XX в. Назначение метода Применяется на этапах формулирования проблемы и оценки различных способов ее решения. Метод Дельфи — один из инструментов выбора и оценки решения. Цель метода Получение согласованной информации высокой степени достоверности в процессе анонимного обмена мнениями между участниками группы экспертов для принятия решения. Суть метода Метод Дельфи — инструмент, позволяющий учесть независимое мнение всех участников группы экспертов по обсуждаемому вопросу путем последовательного объединения идей, выводов и предложений и прийти к согласию. Метод основан на многократных анонимных групповых интервью.

Метод Дельфи План действий Сформировать рабочую группу для сбора и обобщения мнений экспертов. Сформировать экспертную группу из специалистов, владеющих вопросами по обсуждаемой теме. Подготовить анкету, указав в ней поставленную проблему, уточняющие вопросы. Формулировки должны быть четкими и однозначно трактуемыми, предполагать однозначные ответы. Провести опрос экспертов в соответствии с методикой, предполагающей при необходимости повторение процедуры. Полученные ответы служат основой для формулирования вопросов для следующего этапа. Обобщить экспертные заключения и выдать рекомендации по поставленной проблеме.

Метод Дельфи Особенности метода «Дельфи», «дельфийский метод», «метод дельфийского оракула» происходят от названия местечка Дельфи, где жили оракулы-прорицатели при храме бога Аполлона (Древняя Греция). Слово главного оракула принималось за истину в последней инстанции. Известно, что использование коллективных знаний ведет к возможности нахождения сильных решений, однако в процессе обмена мнениями между участниками может сказаться влияние авторитета коллег и все сведется к появлению популярных ответов. Метод Дельфи позволяет разрешить это диалектическое противоречие. Для этого прямые дискуссии экспертов заменяются индивидуальными опросами. Собранные варианты ответов подвергаются статистической обработке. Полученные обобщенные ответы передаются каждому эксперту путем личного общения, либо по обычной или электронной почте с просьбой пересмотреть и уточнить свое мнение, если он сочтет необходимым. Эта процедура может повторяться несколько раз.

Метод Дельфи Проведение экспертизы по методу Дельфи

Метод Дельфи Метод Дельфи — это систематический способ обобщения оценок экспертов. Считается, что метод Дельфи наиболее применим, если к работе привлекаются эксперты, компетентные не по всей проблеме, а по ее различным составляющим. Чтобы решить, следует ли использовать метод Дельфи, очень важно тщательно рассмотреть ситуацию, к которой будет применен метод. И прежде чем принимать решение, необходимо задать ряд вопросов: кто будет проводить экспертизу, и где будут находиться ее участники; какая должна поддерживаться связь с ними в процессе рассмотрения существующей проблемы; какие существуют в наличии альтернативные методики, и какие результаты реально можно ожидать от их применения?

Метод Дельфи Метод «Дельфи» характеризуется тремя особенностями, которые отличают его от обычных методов группового взаимодействия экс­пертов. К таким особенностям относятся: анонимность экспер­тов; использование результатов предыдущего тура опроса; статистическая характеристика группового ответа. Анонимность заключается в том, что в ходе проведения про­цедуры экспертной оценки прогнозируемого явления, объекта участ­ники экспертной группы неизвестны друг другу. При этом взаимо­действие членов группы при заполнении анкет, полностью устраня­ется. В результате такой постановки автор ответа может изменить свое мнение без публичного объявления об этом.

Метод Дельфи Достоинства метода Метод Дельфи способствует выработке независимости мышления членов группы. Обеспечивает спокойное и объективное изучение проблем, которые требуют оценки. Недостатки метода Чрезмерная субъективность оценок. Требует достаточно много времени и организационных усилий. Ожидаемый результат Согласованный список идей с их сопутствующими сильными и слабыми сторонами.

Коллективное принятие решений Коллективное принятие решений

Парадокс Кондорсе Принцип де Кондорсе (маркиз де Кондорсе, 1743-1794) : кандидат, который побеждает при сравнении один на один с любым из других кандидатов, является победителем на выборах. Каждый из голосующих упорядочивал кандидатов по степени своего желания видеть его победителем. Согласно де Кондорсе, справедливое определение победителя возможно путем попарного сравнения кандидатов по числу голосов, поданных за них. Принцип де Кондорсе предлагался как рациональный и демократический. Рассмотрим пример голосования в собрании представителей из 60 чел. Пусть на голосование поставлены три кандидата: А, В и С, и голоса распределились следующим образом:

Парадокс Кондорсе

Правило большинства голосов Столкнувшись с этим парадоксом, Кондорсе выбрал «наименьшее зло», а именно то мнение, которое поддерживается большинством голосов (избранным следует считать А). Пусть результаты голосования изменились: При этих новых результатах голосования, в соответствии с принципом Кондорсе, избранным будет кандидат С, который при попарном сравнении побеждает двух других кандидатов. Однако если мы используем другой принцип выбора: большинство голосующих, которые назвали данного кандидата лучшим, то победителем оказывается кандидат А. Но при этом кандидат А не набрал абсолютного большинства голосов.

Метод Борда Согласно этому методу, результаты голосования выражаются в виде числа баллов, набранных каждым из кандидатов. Пусть число кандидатов равно п. Тогда за первое место присуждается n баллов, за второе — n-1, за последнее ̶ один балл. Применим метод Борда к приведенному выше примеру. Подсчитаем число баллов для каждого из кандидатов: А: 23×3+19×1 + 16×1 + 2×2=108; В: 23×1 + 19×3 + 16×2 + 2×1 = 114; С: 23×2 + 19×2 + 16×2 + 2×3=138. В соответствии с методом Борда мы должны объявить победителем кандидата С.

Метод Борда Однако с методом Борда, как и с принципом Кондорсе, возникают проблемы. Предположим, что результаты голосования в выборном органе таковы: Подсчитав баллы в соответствии с методом Борда, получим: А — 124, В — 103, С — 137. В соответствии с методом Борда победителем следует объявить кандидата С. Однако в данном случае явным победителем, является кандидат А, набравший абсолютное большинство голосов: 31 из 60.

Аксиомы Эрроу Систематическое исследование всех возможных систем голосования провел в 1951г. Кеннет Эрроу из Стенфордского университета. Он поставил вопрос в наиболее общем виде: можно ли создать такую систему голосования, чтобы она была одновременно рациональной (без противоречий), демократической (один человек — один голос) и решающей (позволяла осуществить выбор)? Аксиома 1 (универсальности) Первая аксиома Эрроу требует, чтобы система голосования была достаточно общей для того, чтобы учитывать все возможные распределения голосов избирателей. Аксиома 2 (единогласия) . В соответствии с ней необходимо, чтобы коллективный выбор повторял в точности единогласное мнение всех голосующих. Если, например, каждый из голосующих считает, что кандидат А лучше кандидата В, то и система голосования должна приводить к этому результату.

Аксиомы Эрроу Аксиома 3 (независимости от несвязанных альтернатив) Пусть избиратель считает, что из пары кандидатов А и В лучшим является А. Это предпочтение не должно зависеть от отношения избирателя к прочим кандидатам. Третья аксиома достаточно привлекательна, но не столь очевидна с точки зрения каждодневного человеческого поведения. Аксиома 4 (полноты) . Система голосования должна сравнить любую пару кандидатов, определив, кто из них лучше. При этом имеется возможность объявить двух кандидатов равнопривлекательными. Требование полноты не кажется слишком строгим для системы голосования. Аксиома 5 (условие транзитивности) Если в соответствии с мнением избирателей кандидат В не лучше кандидата А (хуже или эквивалентен), кандидат С не лучше кандидата В, то кандидат С не лучше кандидата А. Считается, что система голосования, не допускающая нарушения транзитивности, ведет себя рациональным образом.

Аксиомы Эрроу Определив пять аксиом — желательных свойств системы голосования, Эрроу доказал, что системы, удовлетворяющие этим аксиомам, обладают недопустимым с точки зрения демократических свобод недостатком: каждая из них является правилом диктатора — личности, навязывающей всем остальным избирателям свои предпочтения. Результаты, выявленные Эрроу, получили широкую известность. Они развеяли надежды многих экономистов, социологов, математиков найти совершенную систему голосования. Требование исключения диктатора приводит к невозможности создания системы голосования, удовлетворяющей всем аксиомам Эрроу. Поэтому результат Эрроу называют «теоремой невозможности».

Распределение ресурсов по правилу большинства

Распределение ресурсов по правилу большинства