Семантика системы баллов в задачах экспертного оценивания и обратной теории игр

Современные информационные технологии/1. Компьютерная инженерия

К.т.н. Богданов Н.И.

Харьковский национальный автомобильно-дорожный университет

К.м.н. Макаров Г.Г.

Санкт-Петербургская государственная академия физической культуры им. П.Ф.Лесгафта

Семантика системы баллов в задачах экспертного оценивания и обратной теории игр

Данные, выраженные баллами (очками, рангами) широко используются в квалиметрии, педагогике, медицине, велеологии, спорте, социологии, управлении проектами, экологии и многих других предметных областях, с которыми имеет дело инженерия знаний [1]. Источником этих данных является экспертное оценивание. Решение задач разработки систем учебного, велеологического, спортивного и потребительского мотивирования [2], а также задач обратной теории игр для мультиагентных систем [1] приводит к построению набора балльных оценок и способа их агрегирования – системе баллов [3]. К построению такой системы может быть сведена и обработка экспертных оценок. Математическая теория измерений предлагает для неё лишь один из вариантов статистического усреднения [4]. Основанием для их применения служит традиция, а не критерии, вытекающие из смысла задачи. Такой подход не только скрывает процедуру обработки от содержательного контроля и отрывает её от семантики практической задачи, но и приводит к грубым ошибкам (пример такой ошибки - оценка результатов экзаменационной сессии 5,5,2; среднее арифметическое даёт 4, медиана 5, содержательно же оценка 2) [3].

Цель публикации: разработка прецедента перехода от некритического использования имеющихся математических моделей обработки балльных оценок к семантическому конструированию системы баллов с последующим переходом к процедуре обработки, соответствующей смыслу поставленной задачи.

Осознанный переход к семантическому конструированию системы баллов, не означает отказа от математических методов в пользу произвольных способов обработки. Задача семантического конструирования заключается к приведению способа обработки балльных оценок в соответствие со смыслом решаемой задачи.

Процесс семантического конструирования системы баллов рассматривается применительно к конкретной задаче комплексной оценке исходного состояния здоровья клиента при планировании велеологических мероприятий. Вместе с тем прелагаемую систему несложно адаптировать к ряду других приложений, например, к задачам педагогического и технического тестирования или к обратной задаче теории игр для мультиагентных систем

Прежде всего, отметим, что процедура оценки имеет иерархический характер. Каждая из функциональных систем организма оценивается по ряду функций набором балльных оценок (системой баллов) следующего вида:

Вi = <bi1,bi2,…bij,…,bin>,

где i – индекс соответствующей функциональной системы, n – число её балльных оценок (размерность системы баллов)

Такие кортежи балльных оценок в свою очередь образуют набор

Bo = <B1,B2,..,Bi,…Bm>

где m – общее число оцениваемых функциональных систем.
Задача результирующего оценивания - получение на основе этих данных результирующей балльной оценки исходного состояния здоровья клиента – bo. Ограничимся пока обсуждением только точечной оценки. Семантическое конструирование в данном случае необходимо начать с определения семантики (статуса) самой нижней балльной оценки. От неё зависит и семантика всей системы баллов. Покажем это на примере. Допустим, что используется трёхбалльная шкала оценок:

bi Є {«отлично», «хорошо», «удовлетворительно»},

где Є - функция принадлежности множеству { }

Тогда возникает два варианта назначения - оценка «удовлетворительно» выставляется: а) при граничных состояниях функции, между приемлемым уровнем функционирования и дисфункцией; б) при выраженной тенденции. к нарушению функции при достаточном запасе её устойчивости. Процедуры обработки на всех уровнях иерархии будет зависеть от принятого варианта назначения оценок.

Рассмотрим сначала вариант (а) назначения оценки «удовлетворительно», как более реалистичный в условиях добровольного обращения клиента к велеологическим мероприятиям. Психологические особенности поведения многих субъективно здоровых людей приводят к тому, что они обращаются к оздоровительным мерам лишь после того, как обнаружат у себя те или иные проявления дисфункций одной или нескольких функциональных систем организма. В этом случае можно рекомендовать ввести четвёртую оценку, например, «вполне удовлетворительно» как промежуточную между оценками «хорошо» и «удовлетворительно» для фиксации состояний, соответствующих варианту (б), сохранив наименование оценки «удовлетворительно» для наихудшей оценки из психологических соображений. Это позволит без ятрогенных воздействий на клиентов использовать семантику «слабого звена» следующим образом

«Если min<bi1,bi2,…bij,…,bin>=«удовлетворительно»,

то Bi=«удовлетворительно», иначе Bi=res(SP)»,

где res(SP) – результат стандартной процедуры обработки принятый для варианта (а).

В более мягком виде эта же семантика применима и для определения bo:

«Если (Bi =«удовлетворительно»)&(Bj=«удовлетворительно»)&(i/=j),

то bo=«удовлетворительно», иначе Bi=res(SP)»,

где /= «не равно».

При этом степень смягчения семантики слабого звена будет определяться представлениями пользователя о системных связях функциональных систем (то есть, сколько функций должны проявить свои пограничные состояния, чтобы дать достаточные основания признать пограничным и общее состояние организма).

Перейдём к семантическому конструированию стандартной процедуры обработки балльных оценок SP, применяемой в обоих вариантах назначения оценок. Как было показано в [3] и во введении, традиционные процедуры усреднения не могут отобразить семантические характеристики системы баллов. Не отображает их и назначение оценок путём разбиения шкалы с большим числом баллов (например, 100) на ряд интервалов (в частности, так рекомендуется оценивать результаты тестирования знаний в Болонском процессе). Хотя, в отличие от среднего арифметического, в этом случае не приходится совершать некорректные арифметические операции с баллами, такое назначение оценок построено на подсчёте общего количества обезличенных, подобно числам, баллов.

Семантическое конструирование процедуры обработки SP направлено на повышение информативности результирующих балльных оценок. Это может быть достигнуто разными способами (как и вычисление традиционных средних), поэтому рассмотрим один из возможных подходов к конструирования SP, который условно назовём «принципом качества баллов». Наглядным примером его широкой реализации является «критерий диплома с отличием»:

«Если (ни один из bij Є Вi /= «вполне удовлетворительно»)&(gi>0.75n)

, то Вi= «отлично» («с отличием»), иначе Вi= НЕ «отлично»,

где n – общее количество оценок, gi - количество оценок «отлично» i-й функциональной системы.

Этот критерий не основан на общем количестве обезличенных баллов. Он принимает во внимание качество баллов, то есть учитывает, в составе каких оценок они получены. Это семантическое отношение можно выразить пословицей «ложка дегтя бочку мёда портит». Оно оправдано и применительно к велеологическому оцениванию, потому, что в этом случае принимается ответственное решение о реабилитационных велеологических мерах. Вторая характеристика касается допустимого количества оценок «хорошо». Она находит своё основание в семантике «принципа устойчивости». Уровень индифферентности (неустойчивости) составляет 0,5. В практических расчётах, не связанных с риском для жизни неопределённость расчёта учитывается коэффициентом запаса 1,25-1,5. Таким образом, 0,75 обеспечивает верхний уровень устойчивости отличных оценок. Если оценки выставляются независимыми экспертами, то уровень 0.75 даёт «подавляющее большинство голосов». Последовательное проведение приведенных выше оснований приводит к результирующему критерию:

«Если (ни один из bij Є Вi/= «вполне удовлетворительно»)&(gi>0.75n), то Вi= «отлично», иначе, если (((ни один из bij Є Вi /= «вполне удовлетворительно»)&(gi<0.75n))\/(si<0.25n)&(gi>si)), то Вi= «хорошо», иначе Вi=«вполне удовлетворительно»»,

где si – количество оценок «вполне удовлетворительно». При этом предполагается, что оценки «удовлетворительно» не применяются. Реализация обработки балльных оценок осуществляется в среде Microsoft Excel.

В заключение отметим, что семантическое конструирование системы баллов не противоречит математическому понятию среднего (по Коши) и помимо прямого назначения – оценки состояния организма, даёт возможность использовать инцентивность системы баллов для мотивации клиента к достижениям в своем оздоровлении [2]. Таким же образом, учёт семантики систем баллов может повысить эффективность решения задач принятия решений, классификации, ранжирования, агрегирования и обратной теории игр [1,4].

Литература

1 Рассел С., Норстед П. Искусственный интеллект. 2-е изд.– М.:Изд.дом«Вильямс»,2006.– 1408с.

2. Балл Г.А.«Мотив»: уточнение понятия.//Психологический журнал, 2004,том 25, №4. С.56-65.

3. Богданов Н.И. Семантика системы баллов в проблемной коммуникации с ЭВМ//Депон. 02.03.81 в НИИВШ №31-81/Реф. в сб. «Обучение в высшей и средней школе». - Вып.6. - М.: НИИ ВШ, 1981. С.35.

4. Орлов А.И. Теория принятия решений.- М.: Издательство "Март", 2004. - 656 с.