Кузембекова Ж.Ж.

Казахский национальный университет имени аль-Фараби, Алматы

Интерпретация тестовых результатов on-line тестирования

Преимущество on-line тестирования заключается в том, что оно позволяет строить быстрые статистические анализы при большом количестве тестируемых, а также заменяет ряд традиционных видов контроля уровня владения иностранным языком.

Для того, чтобы получить квалификацию тестового задания, следует определить статистические характеристики тестовых заданий заданий.

По мнению В.С. Аванесова, «тестовое задание – это составная единица теста, отвечающая требованиям технологичности, формы, содержания и, кроме того, статистическим требованиям» [1, 163].

Технологичность – является одним из критериев к тестовым заданиям. Под технологичностью подразумевается то, что процесс тестирования осуществляется с помощью технических средств. Как отмечечает В.С. Аванесов, задания становятся технологичными, если их содержание четко и быстро понимается тестируемыми, а форма заданий способствует процессу компьютеризации тестирования [там же, 163].

Технологичность on-line тестирования проявляется в экономии времени при проведении тестирования, уменьшении времени, отводимого на проверку ответных листов (если при традиционном письменном тестировании могли использоваться специальные трафареты, то при on-line тестировании применяются новые компьютерные программы), стандартизации и ускорении самой процедуры тестирования, сопровождающейся повышением репрезентативности его результатов и возможностью применения статистического анализа результатов языковых тестов, удобстве массового on-line тестирования и др.

В современной мировой тестологии, как отмечает В.С. Аванесов, тестовые задания должны пройти ряд статистических обработок [1]:

Этап статистической обработки, вслед за Т.М. Челышковой [2], В.С. Аванесовым [1], можно разбить на несколько этапов.

Первый этап связан с формированием матрицы тестовых результатов, в которой количественные данные представляются в систематизированной и компрессионной форме, чтобы обеспечить их дальнейшую обработку и интерпретацию.

Матрицей называется компактная форма записи множества элементов, связанных некоторой общностью содержания [1, 157]. Формирование матрицы начинается с выбора определенного правила для оценки ответов испытуемых на задания теста. Обычно результаты ответов оцениваются дихотомически: а именно, за каждый правильный ответ тестируемый получает один балл, за неправильный ответ или за пропуск задания – ноль баллов. Если символом x_ij обозначить результат выполнения i-м тестируемым j-го задания теста, то в сокращенной форме приведенное выше правило можно записать в виде:

После выбора оценочного правила эмпирические данные сводятся в матрицу. Строки матрицы, состоящие из единиц, двоек, троек и четверок, соответствуют ответам испытуемых на различные задания теста. По столбцам располагаются профили ответов испытуемых на каждое задание теста.

В данной диссертационной работе для статистических методов выбрана небольшая матрица, в которой зафиксированы ответы 25 тестируемых на 40 заданий теста по чтению.

Второй этап. Из матрицы тестовых результатов устраняются строки и столбцы, состоящие только из нулей (двоек, троек, четырех) или только из единиц. В нашей матрице таких столбцов и строк нет, так как все тестируемые выбрали и правильные, и неправильные ответы.

Третий этап связан с подсчетом индивидуальных баллов тестируемых и количеством правильных ответов на каждое задание теста. Индивидуальный балл тестируемого получается суммированием всех единиц, полученных им за правильные выполненные задания теста. Полученные результаты в ходе тестирования продемонстрированы в диаграмме (см. Рисунок 1).

Рисунок 1 – Количества правильных ответов

Всем известно, что корреляция задания с критерием (r_xy) является одним из статистическим требованием к заданиям. По мнению В.С. Аванесова такое название, представляет собой сокращенный вариант более правильного понятия – корреляция оценок, полученных тестируемыми в задании, с оценками, полученными ими же по кому-либо критерию, например, по сумме баллов. Корреляция определяет меру дифференцирующей способности задания. Чем выше значения r_xy, тем больше вероятность превращения задания в тестовой форме в тестовое задание. Получаем корреляционный коэффициент каждого задания с помощью программы Exсel.

Результаты корреляционного коэффициента представлены в рисунке 2.

.

Рисунок 2 – Корреляционный коэффициенты

По итогам тестировании соответствие требованиям валидности только 45% единиц, т.е. только 18 из апробированных 40 тестовых заданий преодолели необходимый порог корреляционного коэффициента rxy – 0.400 и получили квалификацию тестовых заданий. Представлена дифференцированная оценка валидности тестовых заданий в виде возрастающей шкалы от нижнего корреляционного коэффициента -0,01125 до высшего корреляционного коэффициента 0,633691.

Интерес к исследованию проблемы разработки тестовых заданий по чтению вызван тем, что в процессе тестирования проверяется степень сформированности коммуникативной компетенции иностранных граждан в соответствии с уровнями общего владения казахским языком как иностранным.

В результате проведенного анализа математических методов и процедур из 40 тестовых заданий валидными оказались только 18, которые дали возможность сделать вывод о том, что при разработке тестовых заданий их валидность можно определить только после первичной апробации, несмотря на учет всех критериев селекции.

Применение on-line тестирования в данном исследовании оказалось более приемлемым и эффективным по сравнению с другими тестовыми системами.

Как показал опыт on-line тестирования, бесспорным преимуществом тестов перед нетестовыми формами контроля является его практичность, которая проявляется в:

– экономии аудиторного времени и времени работы преподавателя в особенности при проведении тестирования в on-line режиме;

– уменьшении времени, отводимого на проверку ответных листов (если при традиционном письменном тестировании могли использоваться специальные трафареты, то при on-line тестировании применяются новые компьютерные программы);

– стандартизации и ускорении самой процедуры тестирования, сопровождающейся повышением репрезентативности его результатов и возможностью применения статистического анализа результатов языковых тестов;

– изменении отношения тестируемых к on-line тестированию, которое вызывает большую степень доверия, т.к. исключает влияние субъективных моментов при проведении и оценке результатов;

– повышении качества тестовых заданий благодаря их предварительной многократной проверке;

– удобстве массового on-line тестирования и др.

Литература:

1. Аванесов В.С. Композиция тестовых заданий: Учебная книга. – М.: Центр тестирования, 2002. – 240 с.

2. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. – М.: Логос, 2002. – 423 с.