Процак И.Н.

Одесский национальный политехнический университет

Оценка точности результатов группового опроса экспертов

 

Наличие информации и правильность ее использования в значительной степени предопределяют оптимальность выбранного решения. Кроме данных, состоящих из числовых статистических величин, информация включает в себя другие, не поддающиеся непосредственному измерению величины.

Математические методы, которые используются для прогнозирования разных жизненных вопросов и ситуаций, часто учитывают качественные факторы, которые влияют на результат принимаемых решений.

В расчетах необходимо иметь количественную оценку этих факторов. Для этого используются экспертные методы.

Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характе­ристик экспертов, отсюда следует проблема определения уровня компетентности экспертов, которая в свою очередь служит причиной неточностей результата обработки. Поэтому важно так определить эти коэффициенты, чтобы обеспечить возможность получения максимально точных результатов экспертного оценивания.

Данная работа посвящена разработке и обоснованию методов обработки мнений экспертов с учетом коэффициентов компетентности экспертов, которые разрешают значительно увеличить точность получаемого конечного результата оценки качественных факторов.

В процессе выполнения работы были изучены все возможные методы определения коэффициентов компетентности, и выбраны, для дальнейшего использования в качестве количественного описания характеристики эксперта два из них: методика оценки компетентности экспертов, основанная на вычислении относительных коэффициентов компетентности по результатам высказываний специалистов о составе экспертной группы итерационным методом, а также метод определения коэффициентов компетентности, учитывающий занимаемую должность и уровень образования.

Сущность первой методики заключается в том, что ряду специалистов предлагается высказать суждение о включении лиц в экспертную группу для решения определенной проблемы. Проведя несколько туров такого опроса, можно составить достаточно полный список кандидатов в эксперты. Далее составляется матрица, по строкам и столбцам которой записываются фамилии экспертов. Элементами матрицы являются переменные:

Причем каждый эксперт может включать или не включать себя в группу. По данной таблице можно вычислить относительные коэффициенты компетентности экспертов, используя алгоритм решения задачи о лидере[1].

Суть второго метода заключается в том, что в зависимости от ученой степени и занимаемой должности мнение эксперта оценивается определенным количеством баллов. Далее выводиться общая оценка для каждого эксперта путем суммирования этих баллов по всем (в данном случае двум) показателям.

При проведении эксперимента были отобраны эксперты, коэффициенты компетентности которых определялись при использовании выше указанных методов.

Обозначим коэффициенты компетентности, полученные первым методом К1, а вторым как К2.

Экспертам было предложено оценить семь показателей (далее объектов), которыми оценивается деятельность предприятия.

Оценка показателей производилась методом ранжирования, которое представляет собой процедуру упорядочения оцениваемых объектов экспертом.

Для того чтоб при получении групповых весовых коэффициентов объектов учесть показатели компетентности экспертов,  мы каждое значение ранга, присвоенное объекту, умножаем на коэффициент компетентности эксперта, присвоившего этот ранг. Причем коэффициенты компетентности К2 предварительно нормируем. Затем для каждого объекта вычисляем суммарный весовой коэффициент по всем экспертам.

При ранжировании объектов используется мера согласованности мнений группы экспертов[2], который  способствует выра­ботке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мне­ний экспертов. В качестве такой меры выступает  дисперсионный коэффициент конкордации (коэффициент согласия).

При наличии связных рангов коэффициент конкордации вычисляется по формуле:

,             (1)

где

                         (2)

 

                     (3)

Tj -показатель связных рангов в j-ой ранжировке.

Hj- число групп равных рангов в j-ой ранжировке, hk- число равных рангов в k-ой группе связанных рангов при ранжировке j-м экспертом.

rij – элементы матрицы ранжирования, соответственно S содержит в себе значения коэффициентов компетентности экспертов.

При W=0 согласованность оценок различных экспертов отсутствует, а при W=1 согласованность мнений экспертов полная.

При крайних коэффициентах конкордации могут быть даны следующие рекомендации. Если W=0, то для получения достоверных оценок следует уточнить исходные данные о событиях и (либо) изменить состав группы экспертов. При W=1 не всегда можно считать оценки объективными, поскольку может оказаться, что все члены экспертной группы условились придерживаться одинаковых взглядов.

Необходимо, чтобы найденное значение W было больше заданного значения WЗ (W>WЗ). Обычно принимается W=0,5, т.е. при W>0,5 выводы экспертов согласованы в большей мере (сходятся в оценке событий), чем несогласованы. При W<0,5 оценки нельзя считать в достаточной степени согласованными.

Коэффициент конкордации представляет собой случайную величину. Оценка значимости W может быть произведена по критерию Пирсона  c2 [1]. Величина m(n-1)W имеет c2  распределение с v =n-1 степенями свободы.

При наличии связных рангов c2  распределение с v =n-1 cтепенями свободы имеет величину:

                    (4)

В ходе проведения экспериментальных вычислений были получены следующие результаты:

№ п/п

m

n

W

W1

W2

c2

c12

c22

1

10

7

0,708

0,717

0,700

42,49

39,89

39,12

2

7

7

0,720

0,740

0,710

30,28

31,05

30,10

3

15

7

0,708

0,708

0,700

42,49

39,39

38,98

где

m-количество экспертов;

n – количество оцениваемых показателей;

W – значение коэффициента конкордации без учета коэффициентов компетентности;

W1 – значение коэффициента конкордации с учетом коэффициентов компетентности К1;

W2 – значение коэффициента конкордации с учетом коэффициентов компетентности К2;

c2 – значение c2  распределения без учета коэффициентов компетентности;

c12– значение c2  распределения с учетом коэффициентов компетентности К1;

c22– значение c2  распределения с учетом коэффициентов компетентности К2;

На основании полученных данных можно сделать предварительные выводы о том, что вычисления  W и c2  с учетом коэффициентов компетентности, определенных первым способом, во всех рассмотренных случаях  дают более точные результаты. К тому же К1  изначально являются нормированными величинами, что в случае с К2 требует меньшее количество вычислений, т.к. К2 необходимо нормировать.

На данном этапе исследований ведется разработка программного продукта, позволяющего автоматизировать вычислительные процессы, что даст возможность проводить эксперименты с большими количествами экспертов и оцениваемых объектов.

Список литературы:

1.     Горский В.Г., Орлов А.И., Гриценко А.А. Метод согласования кластеризованных ранжировок // Автоматика и телемеханика. 2000. №3. С. 159-167.

2.     Орлов А.И. Экспертные оценки // Заводская лаборатория. 2006. Т.62. № 1. С.54-60.