Метод усложненной экспертной процедуры, предложенный в методике ПАТТЕРН

Методика ПАТТЕРН рассмотрена в гл. 5. В ней выделяются три группы критериев оценки:

■ относительной важности;

■ взаимной полезности;

■ состояния и сроков разработки ("состояние – срок").

Эти группы критериев применялись для оценки составляющих "дерева целей" и оценки реализации проектов, реализующих цели. Но в последующем разрабатывались и применялись модификации этих видов критериев.

В гл. 5 эти группы методов рассмотрены в варианте ПАТТЕРН. Здесь же обратим внимание на то, за счет чего предлагаемая в ПАТТЕРН система критериев позволяет повысить объективность оценок, и приведем варианты ее развития.

Оценка относительной важности с учетом нескольких критериев и их весовых коэффициентов осуществляется методом нормирования. Используются несколько критериев (коэффициентов) относительной важности и учитываются их весовые коэффициенты. Составляется матрица соответствия элементов, подчиненных узлу, и критериев, принятых при их оценке (см. табл. 5.1 в гл. 5).

В процедуре предусмотрена проверка выполнения двух условий нормирования (5.1) и (5.2) для достижения однородности результатов: нормирование весовых коэффициентов критериев и оценок относительной важности оцениваемых компонент по каждому критерию. Результирующие оценки относительной важности j-го элемента i-го уровня определяются следующим образом в соответствии с (5.3):

(6.1)

После окончания обработки оценок – производится проверка правильности полученных результирующих оценок согласно (5.4)

Приняты следующие обозначения: – наименование критерия; – вес критерия; – относительный вес оцениваемого элемента (по соответствующему критерию); – коэффициент относительной важности j-го элемента ί-го уровня.

В многоуровневой иерархической структуре рассмотренная процедура повторяется на каждом уровне для каждого узла иерархической структуры. Процедуру оценки начинают с верхнего уровня структуры, далее перемещаются на следующий сверху уровень, где проводится последовательно оценка по каждому из узлов, затем – на третий сверху с последовательной оценкой по каждому из узлов и т.д. Для получения нормированных оценок относительной важности элемента самого нижнего или любого элемента промежуточных уровней иерархической структуры необходимо умножить оценку элемента rij интересующего уровня на аналогичные оценки всех элементов-узлов, находящихся между этим элементом и вершиной иерархии.

Процедура оценки организуется, как правило, в форме двух-трех туров. После проведения каждого тура эксперты знакомятся с результатами оценок коллег. Тем экспертам, мнения которых существенно отличается от других, может быть предоставлена возможность обоснования своей точки зрения, что может повысить объективность оценок, побудить некоторых экспертов пересмотреть свои оценки.

Для выполнения рассмотренных расчетных операций разрабатывают автоматизированные процедуры.

Пример ввода данных для одного узла оцениваемой иерархической структуры приводится в гл. 5. При разработке автоматизированной процедуры, естественно, необходимо предусмотреть рассмотренные условия нормирования и перемножения исходных оценок нижележащих элементов на оценки объединяющей их компоненты. Примеры автоматизированных процедур приведены в учебном пособии авторов [4].

В последующем метод, предложенный в ПАТТЕРН, развивался. При организации процедуры оценки предлагалось учитывать коэффициенты компетентности экспертов, уточняемые на каждом туре опроса с учетом их близости к усредненным оценкам. Для учета коэффициентов компетентности применялась процедура, аналогичная приведенной, только в матрице вместо критериев размещались эксперты и их коэффициенты компетентности.

Последовательность обработки результатов оценок при учете и весовых коэффициентов критериев, и коэффициентов компетентности экспертов может быть любая: можно вначале обрабатывать оценки в последовательности, изложенной выше, а можно – на втором туре вначале учесть коэффициенты компетентности экспертов и обработку вести по каждому критерию последовательно, а затем – объединить оценки по разным критериям.

При большом различии коэффициентов компетентности экспертов для обработки оценок используются более сложные алгоритмы с учетом согласованности мнений экспертов, а на их основе следует либо исключать мнения экспертов, имеющих низкую согласованность мнений с другими, либо обращать особое внимание на эти мнения, как на редкие.

Названные меры, позволяющие повысить объективность оценки, можно дополнить выделением сфер компетентности экспертов по уровням и узлам иерархической структуры.

Процедуры, учитывающие весовые коэффициенты критериев и коэффициенты компетентности экспертов, позволяют получить более объективные оценки по сравнению с простым усреднением мнений экспертов. Однако при этом сохраняется один из основных недостатков экспертных оценок – усреднение, применение итераций и введение зависимости коэффициентов компетентности экспертов от средней оценки усиливает коллективно-субъективные мнения.

Поэтому, наряду с выявлением противоречивых и редких мнений (мнений экспертов с низким коэффициентом согласованности с другими), полезно использовать (как, например, рекомендовано в обобщенной методике в гл. 5, параграф 5.4) косвенные количественные оценки и графические представления, позволяющие сопоставлять эти оценки и оценки экспертов. При этом целесообразно учитывать не суммарные Гу-, а промежуточные оценки qx • s-x по каждому критерию.

Результаты могут выводиться на дисплей или принтер либо в виде гистограмм, либо оценки разных экспертов и косвенные количественные оценки могут сопоставляться в одной плоскости, что удобнее для выявления противоречивых оценок.

Группа оценок взаимной полезности, выделенная в системе оценок методики ПАТТЕРН, позволяет уточнить оценки относительной важности. Однако полный перебор всех компонентов соответствующего уровня "дерева целей" весьма трудоемок. Поэтому предлагались различные варианты сокращения полного перебора сопоставляемых компонентов. В различных разработках в нашей стране оценка взаимной полезности иногда трактовалась как оценка взаимосвязанности без определения числового коэффициента силы связи.

Пример

Например, при разработке автоматизированных систем управления выбор состава подсистем осуществлялся с учетом их взаимосвязанности, и в состав структуры функциональной части АСУ на планируемый период включались подсистемы, получившие по сранению с другими более низкие оценки относительной важности, но связанные с подсистемами, получившими высокие оценки относительной важности; а разработка подсистем, не связанных с наиболее значимыми, переносилась на последующий плановый период.

Оценки состояния и сроков разработки ("состояниесрок") в варианте методики ПАТТЕРН трудно применять в реальных условиях. Требуется предварительное тщательное обоснование затрат ресурсов по этапам жизненного цикла проекта (см. табл. 5.2). По мере реализации проекта исходные оценки могут изменяться. На практике рассматриваемый критерий иногда трактуется как оценка эффективности использования экономических ресурсов.

В то же время для крупных дорогостоящих проектов применение идей оценки по критерию "состояние – срок") представляется полезным.

В последующем разрабатывались и применялись модификации групп и видов критериев, предложенных в методике ПАТТЕРН.

Повышение объективности оценок при использовании идей этой методики повышается за счет:

■ расчленения большой неопределенности по уровням иерархической структуры;

■ введения групп критериев и расчленения неопределенности по группам критериев;

■ введения видов критериев относительной важности и учета весовых коэффициентов критериев;

■ возможности выделения сфер компетентности экспертов по разным критериям.

 
< Пред   СОДЕРЖАНИЕ     След >