Педагогические науки/2. Проблемы подготовки специалистов

Доцент Прахова М.Ю.

Доцент, д. т. н.  Коловертнов Г.Ю.

Доцент, к. т. н.  Шаловников Э.А.

Уфимский государственный нефтяной технический университет, Россия

ТестированиЕ КАК ИНСТРУМЕНТ КОНТРОЛЯ 

ПРИ ПОДГОТОВКЕ СПЕЦИАЛИСТОВ в высшей школе

Переход на двухуровневую систему образования бакалавр – магистр в результате присоединения России к Болонской  конвенции  в 2003 году вызвал множество изменений в системе высшего образования. Наиболее важным представляется переход от репродуктивного обучения, т.е. передачи «готовых знаний»,  к компетентностному обучению, цель которого - формирование профессионально значимых умений и навыков обучающихся, так называемых компетенций, и как следствие - разработка новых информационных технологий преподавания, создание объективной и эффективной системы контроля качества получаемого образования, соответствующей международным стандартам.

Именно качество образования является главным критерием оценки деятельности учебного заведения. Достижение этой цели – высокого качества образования  – немыслимо без  организации эффективного педагогического контроля.

Одним из способов такого контроля является тестирование. Вопрос использования тестирования как инструмента оценки знаний в высшей школе вызывает оживленные дискуссии практически в любом ВУЗе. При этом как сторонники, так и противники тестирования приводят весомые аргументы в подтверждение своей позиции. Актуальность этих дискуссий повысилась после появления в  министерстве образования и науки идеи ввести независимое тестирование для всех выпускников бакалавриата в стране вместо традиционного госэкзамена, положение о котором есть в государственном программном документе  «Инновационная Россия - 2020», подготовленном Минэкономразвития, - это некий стандартизированный экзамен, введение которого «… будет способствовать мобильности студентов внутри страны и станет индикатором качества подготовки бакалавров в вузе» [1]. Тем не менее отношение к тестированию во всех сообществах, так или иначе связанных c высшей школой, - преподавателей, работодателей и студентов продолжает оставаться весьма неоднозначным. При этом профиль образования (гуманитарный или технический)  не имеет значения: сторонники и противники введения тестов есть во всех вузах. Поэтому  имеет смысл еще раз проанализировать достоинства и недостатки тестирования, чтобы, во-первых, максимально использовать его плюсы и свести к минимуму влияние минусов, а во-вторых, найти ту нишу в видах педагогического контроля за усвоением дисциплины, где использование тестов наиболее целесообразно.

Использование тестирования в образовании не является изобретением Болонского процесса. Наука оценивания знаний при помощи тестов появилась в конце XIX - начале XX века на стыке психологии, социологии, педагогики и других, так называемых поведенческих наук. При этом, если на Западе тестирование как инструмент оценивания какого-либо качества используется уже более века, то в России оно то поощрялось, то запрещалось. В других же странах финансовые вложения в разработку тестов и методик их интерпретации постоянно возрастали. Тесты  использовались для решения о приёме в вузы, на престижную работу и других жизненно важных вопросов. Однако оценка точности результатов измерения и адекватности интерпретации результатов не подкреплялась серьезной проверкой, а процедура тестирования часто не была стандартизирована. Поэтому расширение масштабов тестирования сильно обострило  проблему влияния полученных результатов на социальные, психологические и экономические последствия формирования жизненной траектории личности и привело к антитестовым выступлениям, в которых в том числе  участвовали и студенты. В СССР возобновление развития тестовых технологий совпало по времени с началом внедрения ЭВМ, которые позволили формализовать процесс тестирования  и облегчили работу с большим массивом статистических данных. 

         Всеми вопросами, касающимися тестирования, занимается специальная наука  тестология  - междисциплинарная наука о создании качественных и научно обоснованных измерительных диагностических методик. Фактически тестология  представляет собой  математизированную технологию создания и использования разнообразных тестов (психологических, технических, медицинских, профессиональных, педагогических и т.д.)  и  является отраслью прикладной математики и кибернетики. Специалистов по тестированию мало не только в России, но и вообще в мире.  Вся научная и методическая литература публикуется в основном на английском языке. На Западе от уровня развития тестового контроля напрямую зависит рейтинг вуза: чем выше уровень тестирования, тем выше и рейтинг. На сегодняшний день мировыми лидерами в использовании тестовых технологий в образовании являются США, Нидерланды, Япония, Австралия. При этом сами американцы отмечают, что, хотя национальные стандартные тесты сдаются с каждым годом все успешнее, пропасть между уровнем знаний американских студентов и их сверстников из европейских и азиатских стран-конкурентов увеличивается, а среди причин такого положения называют «святую веру в стандартное тестирование» [3]. Не менее красноречиво  называлась одна из редакционных статей  в газете “Los-Angeles Times”:  «Тестирование уничтожает обучение».

 В качестве несомненных преимуществ тестирования обычно отмечаются  следующие моменты [4 - 7]:

- объективность контроля, т.к. все студенты находятся в равных условиях как в процессе самого тестирования, так и при обработке результатов по единым критериям, субъективизм со стороны преподавателя исключен;

- оперативность проведения и обработки результатов (особенно при компьютерном тестировании), что делает тестирование исключительно удобным инструментом мониторинга качества образовательного процесса в рамках системы менеджмента качества;

- стандартизация тестовых заданий и процедуры тестирования позволяет оценивать уровень знаний по какой-либо дисциплине студентов различных вузов (интернет-тестирование) с последующим использованием этих результатов при аккредитации специальностей;

- анализ результатов тестирования можно использовать для принятия соответствующих управленческих решений, касающихся коррекции учебных программ дисциплин, выбора образовательных технологий, методического обеспечения дисциплины и т.п.;

- тестирование позволяет проверить знания по всей дисциплине, в то время как любой экзамен – это в некотором роде лотерея: какие вопросы попадутся в билете. Даже если преподаватель имеет обыкновение задавать дополнительные вопросы, контролируемый объем знаний на экзамене много меньше;

- обеспечивается более точная оценка знаний, т.к. шкала оценивания теста имеет гораздо больше градаций (в соответствии с количеством заданий), чем обычная шкала оценивания знаний;

- тестирование требует гораздо меньше затрат на проведение и проверку, чем экзамен (без учета затрат на разработку самих тестовых заданий, что, в идеале, делается один раз).

В принципе все эти утверждения, конечно же, справедливы. Однако во многих высших учебных заведениях России тестирование до сих пор относят к инновационным методам, что объясняется отсутствием у большинства преподавателей научных знаний о методологии и технологии тестирования. Создание надежного, валидного теста с устойчивыми характеристиками является очень сложным и трудоемким делом. Чтобы тест действительно был инструментом объективной оценки знаний дисциплины, должны быть тщательно продуманы все его компоненты – собственно тестовые задания, процедура тестирования и способ интерпретации результатов (модель статистической обработки). В результате большинство тестов, разрабатываемых преподавателями на свой страх и риск (что, кстати, все равно является положительным моментом и заслуживает всяческого поощрения), по сути своей являются набором из 20-30 вопросов, к каждому из которых придумано несколько ответов,  степень  правдоподобия которых зависит от наличия времени у преподавателя и его воображения. Практическая ценность таких тестов как инструмента контроля весьма сомнительна.

Недостатки, присущие,  на наш взгляд, тестированию  (некоторые из них отмечены  также в цитируемых выше работах),  являются очевидными продолжениями его достоинств:

- разработка качественных тестовых заданий является длительным и трудоемким процессом, а мнение о том, что тест создается раз и навсегда, глубоко ошибочно. Практика показывает, что варианты тестовых заданий надо менять достаточно часто, т.к. очень скоро они становятся известными «неограниченному кругу лиц». При использовании компьютерного тестирования предпочтительно иметь некий банк заданий, которые комплектуются в варианты случайным образом. Менять такие задания можно гораздо реже, но зато их первоначальное количество увеличивается в разы. Существует большое количество дисциплин (в основном технических), программа которых  существенно обновляется каждый год, что влечет за собой изменение тестов;

- декларируемая широта охвата материала в тестировании явно имеет обратную сторону, т.к. хотя и требует от студента знакомства со всем материалом, но очень поверхностного, на уровне понятий, а не сути;

 - в любом тестировании (как и на экзамене) присутствует элемент случайности,   причинами которой  могут быть  случайная ошибка при оформлении ответа («зачеркнул не ту клеточку») или, что случается гораздо чаще,  угадывание ответа. Это искажает результаты теста и приводит к необходимости использования для их обработки достаточно сложного математического аппарата, позволяющего учесть вероятностную составляющую;

- даже безукоризненно составленные тестовые задания не позволяют оценить нестандартное, нешаблонное мышление, хотя  именно эти  студенты становятся впоследствии магистрами  и аспирантами. Этот недостаток, на наш взгляд, наиболее существенный – тестирование не позволяет студентам продемонстрировать их умение думать.

Авторы статьи провели в нескольких группах эксперимент для примерной оценки случайной составляющей правильных ответов на вопросы теста. Студентам предлагался тест по дисциплине, которую они не изучали, например, студентам специальности «Автоматизация технологических процессов и производств» был предложен тест по технологии машиностроения и т.п. Проведенные эксперименты показали, что при ответе «наобум» среднее количество угаданных ответов составило в среднем 27%. Это означает, что студент, ответив в ходе тестирования правильно на треть вопросов (33%) и угадав какую-то часть,  может достичь заветного рубежа в 60%, обеспечивающего получение зачета по дисциплине.

Для изучения мнения студентов о тестировании авторами статьи было также проведено анкетирование. Анкета  содержала следующие вопросы:  

1)  что для Вас предпочтительнее – тест с несколькими вариантами ответа  или коллоквиум, задания которого требуют развернутый обоснованный ответ? Почему?

2)  имеет ли для Вас значение, сколько правильных ответов может быть в тестовом задании, и в каком порядке задаются вопросы – последовательно по теме теста или вразброс?

3)   Вы обычно  отвечаете  на вопросы теста осмысленно или в большей степени  рассчитываете на удачу?

4)  как Вы  считаете, насколько адекватной Вашим знаниям бывает оценка за тест – соответствует, завышена или занижена?

5) Ваше личное мнение о тестах как о способе оценки знаний (достоинства и недостатки).

Своеобразными «фокус-группами» стали школьники – выпускники одного из лицеев и студенты старших курсов (бакалавры и специалисты) очной и заочной форм обучения двух технических университетов: нефтяного (УГНТУ) и авиационного (УГАТУ).  Результаты тестирования оказались в чем-то ожидаемыми, а в чем-то довольно неожиданными. Ответы школьников свидетельствуют, что половина из них полагаются на удачу, но структура тестового задания тем не менее для них небезразлична (видимо, чем упорядоченнее тестовые задания, тем легче угадать);  оценка чаще всего является завышенной (75%). Предпочтение тестирования объясняется честно и бесхитростно: «в тестах легче и быстрее найти, откуда списать». Студенты очной формы обучения (опрашивались студенты нескольких специальностей) в большинстве своем высказались против тестов  (тестирование оказалось предпочтительным только для 28 и 38% респондентов). При этом даже эти 38% участников опроса, отвечая на последний вопрос анкеты, отмечали в качестве основных недостатков  тестирования большую вероятность случайного угадывания правильного ответа и невозможность оценить способность студента логически рассуждать и доказывать свою точку зрения. Вот два наиболее характерных ответа на этот вопрос: «Тесты являются наиболее любимым способом оценки знаний для студентов, т.к. можно угадать правильный ответ или списать у соседа, но в полной мере не отображают знания студента по теме»; «Тест не показывает ход мысли, который сам по себе ценен, и вообще, тест для удачливых, а коллоквиум – для думающих!». К структуре тестовых заданий превалируют два требования: только один правильный ответ и расположение заданий в последовательности, соответствующей последовательности материала дисциплины (а не трудности заданий, к чему призывает большинство идеологов тестирования, особенно школьного). У заочников картина обратная – тест выбрали 66% респондентов, при этом 58% отвечает наудачу. Отсюда ожидаемо высокая степень равнодушия к структуре тестовых заданий – для половины опрошенных она не имеет значения. Таким образом,  сами студенты  основными преимуществами теста считают малые затраты времени (это отметили практически все) и удобство (возможность использовать для ответа готовые формулировки), а недостатками – неспособность оценить умение обосновывать и отстаивать свое мнение, а также частое несоответствие результата реальным знаниям. Что же касается объективности тестирования, то многие подчеркивают, что тест объективен постольку, поскольку освобождает от субъективизма преподавателя, но объективной оценки знаний не дает. Безусловно, проведенное анкетирование носит «любительский» характер, но определенную пищу для размышлений оно дает.

Все сказанное относится к модели образования, построенной на стандартах второго поколения, в которых качество образования оценивается количеством приобретенных знаний. В работе [4], авторы которой ставят своей целью «убедить оппонентов в перспективности тестовой технологии оценки качества знаний студентов»  и во многом действительно убедительны, не зря все время употребляется именно это смысловое понятие - «знания». Переход же на стандарты третьего поколения, реализующие компетентностный подход к образованию, делает тестирование (по крайней мере, в нынешнем виде), на наш взгляд, не просто довольно сомнительным, а  непригодным для оценки качества образования инструментом.  Компетенция является интегральным понятием, это поведенческая модель профессиональной и социальной активности, способность выпускника установить и реализовать связь между «знанием – умением» и конкретной ситуацией. Она складывается из трех составляющих. Во-первых, это знание, но не просто некий информационный багаж, а мобильное, способное быстро найти нужную информацию, отсеять от ненужной, перевести в опыт собственной деятельности. Можно сказать, что это знание не только и не столько о конкретном предмете, сколько о том, как в любой момент найти другое нужное знание. Во-вторых, это умение использовать знания в конкретной ситуации; понимание, каких знаний недостает именно для этой ситуации и как их можно получить. В-третьих, это адекватная оценка – себя, мира, своего места в мире, конкретных знаний, их необходимости или ненужности для своей деятельности, а также метода получения или использования. Определить точный вклад отдельной дисциплины в формирование какой-либо компетенции невозможно, поэтому сумма результатов тестирования по отдельным дисциплинам не может быть оценкой качества подготовки выпускника. Кроме того, использование результатов тестирования осложняется нелинейным освоением содержания образовательной программы [7], включающей большое количество дисциплин по выбору и предполагающей индивидуальные образовательные технологии.   

В этой ситуации у тестирования есть две альтернативы. Первая - использование в качестве «нишевого» инструмента  для каких-то частных ситуаций (например, блиц-опрос с целью допуска к лабораторным работам, входного контроля по дисциплине, проверки самостоятельного изучения темы и т.п.). Разработка таких тестовых заданий не требует специальной подготовки преподавателя, экономится время, затрачиваемое на контроль, т.е. преимущества тестирования реализуются, а минусы остаются «за кадром». Вторая альтернатива – наоборот, выход тестирования на более высокий уровень. Для этого необходимо создание тестов нового поколения – интегрированных, позволяющих оценить уровень подготовки по направлению в целом или отдельно по профилям направления. В качестве ориентира для таких тестов можно использовать методологию и практику профессиональных тестов, разработанных объединениями работодателей. Задания таких тестов (по крайней мере, часть из них) должны быть открытого типа, т.е. требующих свободного изложения ответа с необходимым обоснованием. Это позволит смоделировать простейшие ситуации, которые встретятся студенту на производстве.  Предположим, требуется проверить усвоение темы «Измерение расхода жидких и газообразных сред». Тестовое задание можно сформулировать, например, так: «В расходомере переменного перепада давления используется …» и дальше привести несколько вариантов ответов, описывающих более-менее правдоподобно упомянутый принцип измерения. А можно привести краткое описание технологической среды, расход которой требуется измерить, требуемую точность измерения, другие требования к расходомеру, и попросить выбрать наиболее подходящий из предложенных вариантов, дав краткое обоснование своего выбора. Конечно, такое задание потребует несколько большее время как для выполнения, так и для проверки, но пользы от него гораздо больше.

Естественно, переход на такой уровень тестирования требует совершенно другого отношения к разработке тестовых заданий и возможен только при наличии  на каждой  кафедре хотя бы одного-двух преподавателей, прошедших специальную подготовку в области разработки тестовых заданий, экспертизы, методики проведения тестов и способных обучить остальных. Такая широкомасштабная задача может решаться только при наличии в университете специального подразделения,  занимающегося именно тестированием.

          Но даже в этом случае, по нашему мнению,  всеобъемлющим инструментом контроля знаний тестирование не станет. В соответствии с принципами формирования компетенций необходимо развивать коммуникативные способности студента, он должен не только знать верный, по его мнению, ответ, но и уметь объяснить, почему он верный, уметь отстоять свою позицию. Научиться этому можно только в процессе устного общения между студентом  и преподавателем, дискуссионного обсуждения вопросов на семинарах. Эти формы образовательного процесса  всегда были важнейшими и останутся таковыми, несмотря на изменение модели высшего образования.

 

Литература:

1. «Инновационная Россия – 2020» (Стратегия инновационного развития Российской Федерации на период до 2020 года): [Электронный ресурс]. – URL http://www.gosbook.ru/node/13852.

2. Ким В.С. Тестирование учебных достижений. Монография. – Уссурийск: Издательство УГПИ, 2007. – 214 с.

3. Кириллова С.В. TIMSS на оба ваши дома! : [Электронный ресурс]. – URL http://ps.1september.ru/articlef.php?ID=200501006.

4. Косухин В. Роль и место тестирования в деятельности вуза / В. Косухин, Г. Логинова, И. Логинова // Высшее образование в России. – 2008. - № 1. – С. 94 – 97.

5. Канашина Е.М. Использование тестов в учебном процессе: [Электронный ресурс]. – URL http://testobr.narod.ru/index.htm.

6. Тестовый метод оценки знаний студентов СамГУ: «за» и «против»: [Электронный ресурс]. – URL http://www.universite.ru/index.php

7. Васильева Ю.С., Гордин В.Э. Опыт тестирования в Санкт-Петербургском филиале Государственного университета - Высшей школы экономики: результаты, проблемы и перспективы: [Электронный ресурс]. – URL http://www.hse.ru/data/2010/04/30/1216579667.