Метод экспертного опроса

Сущность экспертного опроса. Основные способы формирования экспертных групп

Метод экспертного опроса связан с опросом специально отобранных экспертов. Эксперты — это специалисты в области знания переменных, дающие необходимую информацию об объекте оценки. Полученная информация может быть использована для оценки состояния проблемы, прогноза тенденций ее развития, оценки степени достоверности показателей, характеризующих сферу образования. Повышение объективности результатов оценок экспертов достигается целым рядом логических и статистических процедур отбора специалистов, организации их опроса, выбора конкретной методики опроса, обработки результатов экспертизы. Совокупность этих процедур и называется методом экспертного опроса.

Для обсуждения нерешенных проблем специалисты привлекались задолго до появления метода экспертных оценок. Однако только в 50—60-х годах XX века были разработаны специальные методы и способы изучения, обобщения и анализа знаний экспертов. На основе экспертного знания были разработаны рекомендации, имеющие высокую экономическую, социальную и психологическую эффективность. Достаточно вспомнить теорию участия, теорию альтернативного управления, теорию массовых организаций, концепцию постоянно действующих производственных совещаний рабочих. В основе всех этих теорий лежит идея самореализации личности в труде.

Для подготовки экспертизы обычно формируется группа специ- алистов-организаторов из пяти-семи человек. В ее задачи входят: постановка проблемы, определение целей и задач экспертизы, ее границ, основных этапов; разработка процедуры экспертизы; отбор экспертов, проверка их компетентности и формирование групп экспертов; проведение опроса и согласование оценок; формализация (квантификация) полученной информации, ее обработка, анализ и интерпретация.

Для получения экспертных оценок формируется группа экспертов. Каждый из них должен отвечать таким критериям, как компетентность, высокая квалификация, большой стаж работы, результаты работы, соответствующее образование, профессиональная принадлежность, способность к анализу, синтезу, прогнозу. Тщательность количественного и качественного отбора экспертов определяет эффективность метода. Оценки экспертов именуются экспертными оценками, а результаты опроса группы экспертов — экспертными результатами.

Процедура формирования экспертной группы предполагает предварительный ответ на ряд вопросов, а именно: «Кто предпочтительнее для роли экспертов — узкие специалисты или “универсалисты”»?, «Сколько должно быть отобрано экспертов?» Практика проведения экспертных опросов показывает, что наилучшее соотношение узких специалистов и «универсалистов» то, где несколько преобладают «универсалисты».

Еще в 60—70-х годах XX столетия была зафиксирована следующая закономерность: чем больше областей специализации имеет человек (ученый, педагог, инженер и т. п.), тем выше его продуктивность.

При отборе кандидатов в группу экспертов следует помнить, что среди них может оказаться категория лиц, отвечающих односложно — «да» или «нет». Но люди, оценивающие большинство свойств объекта одинаковым образом — высоко или низко, — не могут быть отнесены к числу экспертов. Следует подчеркнуть, что на оценку эксперта влияет не только его компетентность по проблеме, но и система его взглядов, способность к восприятию новых идей, противостоянию авторитетным мнениям и групповым интересам, каковыми являются, например, интересы образовательного учреждения.

При ответе на вопрос о количестве членов экспертной группы следует учитывать направленность экспертного опроса на получение среднего коллективного мнения специалистов. Определение же численности экспертов должно основываться на действии математического закона больших чисел. Этот закон позволяет погашать индивидуальные отклонения от средней величины, характеризуя устойчивое, типическое состояние для данного явления, а также максимально уменьшать влияние субъективных особенностей экспертов, выявляя их устойчивое мнение.

Особого внимания заслуживает вопрос о способах формирования экспертной группы. Наиболее распространенными являются документальный и экспериментальный способы отбора, способы голосования, коллективной оценки и индивидуальной самооценки.

Документальный способ предполагает подбор экспертов исходя из их социально-демографических и профессиональных характеристик.

Экспериментальный способ заключается либо в проверке эффективности и качества предшествующей работы экспертов, либо в прохождении кандидатами в эксперты профессиональных тестов, позволяющих оценить их компетентность.

Отбор экспертов с помощью голосования означает передачу выбора экспертов коллективному органу, например общему собранию, конференции, семинару. В таких случаях кандидаты в эксперты могут выбираться как внутри коллективного органа, так и извне. Этот способ может быть реализован либо с помощью исключения из предложенного списка кандидатов лиц, не приемлемых на роль эксперта, либо их ранжирования на основе балльной оценки, либо парного сравнения всех кандидатов. Этот вариант связан с именем французского философа XVIII века Кондорсе, который первым предложил выяснять соотношение между всеми возможными парами кандидатов. По каждому кандидату определяется, сколько раз он был первым, т. е. предпочтен другому кандидату, сколько раз вторым и т. д.

В настоящее время наиболее распространенными способами отбора являются самооценка экспертов и коллективная оценка.

Самооценка экспертов построена на выявлении совокупного индекса (К) индивида, слагаемого из оценки экспертами своих знаний (Kj), опыта (К2) и способности к прогнозу и предвидению (К3). Для определения значений перечисленных критериев используется ранговая шкала с позициями: высокий уровень (1 балл), средний (0,5 балла), низкий (0 баллов). Кандидатам в эксперты предлагается ответить, например, на такой вопрос табличной формы: «Как вы оцениваете свой уровень владения теоретическими знаниями по проблеме, свой опыт работы и свои способности к прогнозу? (Отметьте, пожалуйста, крестиком или галочкой в соответствующей графе против каждой из трех характеристик) (табл. 21)».

Таблица 21

Параметры определения компетентности экспертов

Критерии компетентности

Уровень компетентности

Высокий (I балл)

Средний (0,5 балла)

Низкий (0 баллов)

Знание проблемы (Kj)

+

Опыт работы (К2)

+

Способность предвидеть ход развития (К3)

+

Формула расчета совокупного индекса имеет вид

Проведя необходимые арифметические операции, получим

Уровень компетентности предполагаемого эксперта равен 0,7, т. е. выше среднего. Возможность включения его в группу экспертов зависит от сравнения полученного результата с результатами самооценки других кандидатов.

С целью преодоления некоторых недостатков способа самооценки, в первую очередь стремления кандидатов к завышенной оценке, может быть использована коллективная самооценка компетентности членов коллектива, из числа которых будут отобраны лучшие кандидаты (табл. 22). Обязательным требованием при этом является знание каждым участником всех членов коллектива.

Таблица 22

Методика отбора экспертов

Кого

выбрали

(назвали)

Кто выбирал (назвал)

Сколько раз выбрал (назвал)

1

2

3

4

5

6

7

8

9

10

1

0

1

1

1

1

1

5

2

1

0

1

1

1

1

1

1

1

8

3

1

0

1

2

4

1

1

0

1

1

1

5

5

1

1

1

1

0

1

1

1

7

6

1

1

0

1

1

1

5

7

1

1

1

1

1

1

0

1

1

8

8

1

0

1

2

9

1

1

1

1

1

0

5

10

1

1

1

0

3

Итого

5

5

5

5

5

5

5

5

5

5

50

Процедура отбора специалистов такова: каждому из десяти участников опроса предлагается заполнить таблицу (см. табл. 22), используя следующие обозначения — 1 (выбор), 0 (нет выбора) и прочерк (никто сам себя не выбирает). Горизонталь (ФИО того, кто выбирает) и вертикаль (ФИО того, кого выбирают) абсолютно симметричны. Это поможет из десяти кандидатов выбрать пять лучших.

Дальнейший ход определения кандидатов таков. Единицы из табл. 22 заменяются числами выбираемого по столбцам; получается новая таблица (табл. 23).

Таблица 23

Сводная таблица отбора экспертов

Кого

выбрали

(назва-

ли)

Кто выбирал (назвал)

Сум

марная

оценка

Ран

говая

оценка

компе

тентно

сти

1

2

3

4

5

6

7

8

9

10

1

5

7

5

2

3

22

7

2

5

2

5

5

5

8

2

5

3

35

3

3

-

8

7

15

8

4

5

8

8

2

3

26

5

5

5

8

2

5

5

8

-

5

38

2

6

2

7

8

2

5

24

6

7

5

8

2

5

7

5

5

3

40

1

8

5

3

8

10

9

8

2

7

5

8

30

4

10

5

2

5

12

9

В итоге мы получаем ранжированный ряд оценок уровня компетентности всех десяти кандидатов в эксперты. Коллективная оценка выявила пять лучших (7, 5, 2, 9 и 4) кандидатов в эксперты с точки зрения уровня их компетентности. Их и следует включить в экспертную группу.

Следующий этап экспертного опроса — это организация самого опроса (экспертизы) по объекту оценки. Логика его проведения предполагает разработку опросника, объяснения экспертам целей, задач опроса, выделение определенного времени на ответы; обработку ответов с последующей их интерпретацией, составлением аналитического отчета или служебной справки и выработкой рекомендаций и предложений.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ     След >