Методические аспекты измерения результатов профессионального обучения

Колясникова Л.В.

ФГАОУ ВПО «Российский профессионально-педагогический университет»

кафедра профессиональной педагогики

канд. пед. наук, доцент

E-mail lvk7@rambler.ru

620017 Екатеринбург, ул. Баумана, д. 22-б, кв. 9

Методические аспекты измерения результатов

профессионального обучения

Измерение результатов профессионального обучения является неотъемлемой составляющей процесса подготовки специалистов и бакалавров. В статье рассмотрен один из возможных концептуальных подходов к измерению компетенций выпускника учреждения профессионального образования.

Ключевые слова: измерение результатов обучения, профессиональные компетенции, латентная переменная, индикаторные переменные.

Проблема измерения результатов обучения в настоящее время стоит достаточно остро. Процесс перехода от когнитивного подхода к организации процесса обучения на компетентностный предполагает как изменение результатов и содержания подготовки специалистов, так и технологий формирования и измерения профессиональных компетенций.

В федеральных государственных образовательных стандартах прописаны компетенции выпускников по каждому направлению профессиональной подготовки. Но вопрос измерения качества сформированности как отдельных компетенций, так и общей готовности выпускников к предполагаемой профессиональной деятельности пока остается открытым.

На наш взгляд, оценивание качества подготовки выпускников и их готовности к осуществлению профессиональной деятельности должно проводиться в несколько этапов и включать, по крайней мере, два компонента: 1) измерение латентного качества личности выпускника «готовность к выполнению основных рабочих процессов», описанных в функциональной карте специалиста (в перспективе также бакалавра или магистра); 2) оценка качества учебно-производственной или учебно-профессиональной деятельности по четко определенным и нормативно утвержденным критериям, которую должны проводить, в том числе, и независимые от образования эксперты (представители работодателей региона, заказчики образовательных услуг и т.д.).

В настоящее время отсутствуют оба эти компонента. К сожалению, что касается педагогических измерений, как области педагогического знания, то и в самой науке можно отметить несформированный понятийно-терминологический аппарат, что порождает недопонимания как между учеными, занимающимися этой научной проблемой, так и противоречия между результатами теоретических исследований и практическим применением измерительных технологий в процессе профессиональной подготовки.

Управление в социально-экономических системах (в том числе в образовании) существенным образом отличается от управления в технических системах. Отличие – в специфике исследуемых переменных. Дело в том, что большинство исследуемых переменных являются латентными (скрытыми, ненаблюдаемыми), т.е. не измеряются в явном виде, как, например, длина или вес в физике.

Пользуясь определением компетенции, данным в федеральных государственных образовательных стандартах, согласно которому «компетенция – способность применять знания, умения и личностные качества для успешной деятельности в определенной области», мы можем отнести компетенции выпускника к латентным характеристикам его личности.

Поскольку данная, и теперь основная, характеристика результатов образования учащихся и студентов является достаточно сложной, то для выявления уровня сформированности профессиональных компетенций, на наш взгляд, необходимо использовать особую методику. Она включает в себя сочетание, как уже говорилось ранее, двух процессов – измерения и оценивания. Измерение знаний, умений и личностных качеств, необходимых для осуществления основных видов профессиональной деятельности, может осуществляться с помощью сертификационных тестов. Тогда вопросом создания таких тестов должны заниматься квалифицированные специалисты. Думается, эту работу будут выполнять специалисты экспертно-методических центров, прошедшие специальную подготовку.

В процессе экспертного оценивания будут выявляться способности выпускников применять знания, умения и личностные качества для успешного осуществления профессиональной деятельности. Здесь необходимо отметить, что в любом случае оцениваемые способности будут относиться к квазипрофессиональной деятельности. В западной профессиональной школе вообще считается, что можно говорить о профессиональной компетенции специалиста только в профессиональной среде, когда человек имеет опыт непосредственной профессиональной деятельности.

Если мы рассматриваем какую-либо профессиональную компетенцию выпускника как его латентную характеристику, то согласно теории измерения латентных переменных непосредственно измерить компетенцию нельзя, эта переменная проявляется через так называемые индикаторные переменные.

Измеряемое латентное качество понимается нами как некий конструкт. С одной стороны, понятие об измеряемом качестве искусственно сконструировано и является латентным. С другой стороны, это качество может быть представлено операционально, набором некоторого числа индикаторных переменных.

Приведем пример, иллюстрирующий декомпозицию профессиональной компетенции, измерение и оценивание уровня ее сформированности. При подготовке педагога профессионального обучения одной из компетенций выпускника является его «готовность к проектированию, применению комплекса дидактических средств при подготовке рабочих» (ПК-22). Составляющие профессиональной компетенции:

- владение содержанием подготовки рабочих конкретной отрасли экономики;

- знание дидактических средств, применяемых в подготовке рабочих;

- знание правил проектирования и области применения дидактических средств при подготовке рабочих;

- представление о новых тенденциях проектирования средств обучения;

- умение конструировать дидактические средства и их комплексы для подготовки рабочих (наличие портфолио);

- психологическая готовность к созданию и внедрению нового (возможен психологический тест).

Для проверки знаниевой компоненты компетенции ПК 22 необходимо создать конструкт, который будет являться измерительным инструментом. Это может быть дидактический тест. Определить его конструктную валидность можно экспертным методом. Но для осуществления объективных измерений лучше дополнить экспертный метод методикой анализа качества теста на основе теории измерения латентной переменной.

Тогда выявление точности измерения латентной переменной осуществляется путем определения числа индикаторных переменных, числа градаций индикаторных переменных, коррелированности индикаторных переменных, пропуска данных и других. Решение этой задачи крайне важно для практических применений, поскольку от точности измерения латентной переменной зависит степень пригодности и целесообразности конструирования и использования самого интегрального показателя.

В методике измерения латентных переменных задействован математический аппарат, поэтому без программного обеспечения эта методика не может применяться. В качестве программного обеспечения можно предложить диалоговую систему RUMM 2030 (Мердокский университет, Перт, Австралия, научный руководитель проф. Д. Эндрич). Программой предусмотрена возможность варьирования многими параметрами генерирования модельных данных: числа индикаторных переменных, числа градаций индикаторных переменных, трудности индикаторных переменных и других; исследования точности измерения латентной переменной в зависимости от коррелированности индикаторных переменных.

Кроме того, анализ качества заданий проводится по следующим аспектам: выявление экстремальных заданий, совместимость набора тестовых заданий, соответствие трудности разрабатываемого теста уровню подготовленности студентов, равномерность распределения заданий по трудности, диапазон варьирования трудности тестовых заданий, соответствие тестового задания модели измерения, качество дистракторов. Анализ качества теста в парадигме измерения латентных переменных на линейной интервальной шкале позволяет дать многоаспектную содержательную оценку теста и получить важные рекомендации для его улучшения.

Методика измерения латентных переменных в настоящее время используется в социально-экономических системах, к которым относится и сфера образования. Думается, свое дальнейшее применение она найдет в создании измерительных систем для реализации компетентностного подхода в профессиональном образовании.

Литература:

1. Маслак А.А. Измерение латентных переменных в образовании и других социально-экономических системах: теория и практика. – Славянск-на-Кубани: Изд. Центр СГПИ, 2007. – 424 с.

2. Маслак А.А., Поздняков С.А. Анализ качества тестовых заданий с выбором одного правильного ответа: методические рекомендации. – Славянск-на-Кубани: Изд. Центр СГПИ, 2009. – 47 с.

3. Маслак А.А., Поздняков С.А. Измерение качества выпускных квалификационных работ: методические рекомендации. – Славянск-на-Кубани: Изд. Центр СГПИ, 2009. – 44 с.

4. Федеральный государственный образовательный стандарт высшего профессионального образования по направлению подготовки 47 б -Профессиональное обучение (по отраслям)