Модели анализа тестирования в образовательном процессе

Модели анализа тестирования в образовательном процессе

О. М. Полещук, К. К. Рыбников

Последние пять лет Центр тестирования проводит тестирование выпускников с целью совершенствования приема в вузы и создания равных условий при оценке качества знаний для всех испытуемых [1]. Эти мероприятия являются частью российской образовательной реформы и направлены на получение объективной и независимой информации об уровне знаний абитуриентов. В связи с особой ролью проводимых мероприятий и ростом год от года охваченной этими мероприятиями аудитории, особенно актуальна задача перевода набранных тестируемыми баллов в привычные оценки "2", "3", "4", "5" или "неудовлетворительно", "удовлетворительно", "хорошо", "отлично". В настоящей работе не будут рассматриваться недостатки использования вышеперечисленных баллов или соответствующих им уровней для оценки знаний обучающихся. Отметим только, что многие учебные заведения для внутреннего контроля давно используют свои, более чувствительные шкалы.

Методы, применяемые для перевода набранных тестируемыми баллов в привычные оценки, как правило [2-5], опираются на аппарат теории вероятностей и математической статистики, хотя природа неопределенности, возникающей при оценке знаний, является лингвистической [6], а не случайной (в смысле физической случайности). Вероятностная мера, применяемая для измерения неопределенности типа физической случайности, является аддитивной нечеткой мерой [7], в то время как [8-10] реальное поведение человека противоречит предположению об аддитивности мер, которые он использует при оценке каких-либо событий. В психологии до сих пор используются стохастические модели обучаемости, хотя ряд авторов экспериментально показал [8,9], что способность обучаться в вероятностной обстановке не свойственна человеку. В то же время [7] одной из замечательных способностей человека является его способность обучаться в нечеткой обстановке. В соответствии с этим методы, применяемые для анализа моделей тестирования, должны опираться на теорию нечетких множеств, которая занимается изучением и измерением неопределенности лингвистической природы. Отказ от методов, опирающихся на аддитивную вероятностную меру, актуален не только для моделирования образовательного процесса. Он также актуален для моделирования областей, в которых приходится учитывать действия лица, принимающего решения, или следствия его суждения.

Постановка задачи. На основе аппарата теории нечетких множеств построить модель, позволяющую переводить результаты тестирования, выраженные в баллах, в привычные оценки "2", "3", "4", "5" или "неудовлетворительно", "удовлетворительно", "хорошо", "отлично".

Решение. Необходимым этапом решения этой задачи является этап отбора квалифицированных преподавателей, предъявляющих статистически похожие (в смысле нечёткой кластеризации) требования к оценке знаний по материалу, в рамках которого был составлен тест. Новым в решении поставленной задачи является не сам этап (например, в [2] этот отбор осуществляется по - критерию), а метод решения. Мы предлагаем подойти к решению этого вопроса с позиции теории нечетких множеств. Фазифицируем оценки, которые были выставлены каждым преподавателем в процессе приема экзаменов по программному материалу теста (в предыдущем тестированию периоде). Процедура фазификации изложена в работе [11], функции принадлежности нечетких на [0,1] множеств имеют трапецеидальный или треугольный вид.

Пусть

- функция принадлежности нечеткого множества "неудовлетворительно" -го преподавателя,

- функция принадлежности нечеткого множества "удовлетворительно" -го преподавателя,

- функция принадлежности нечеткого множества "хорошо" -го преподавателя,

- функция принадлежности нечеткого множества "отлично" -го преподавателя.

Определим расстояние между критериями оценок -го и -го преподавателей:

, , - число преподавателей.

Составим матрицу

, , ,

которая является симметричной с нулями на главной диагонали. По матрице составим матрицу отношения сходства [6] между критериями разных преподавателей

, , .

Пусть - отношение подобия (сходства). Тогда [6]

,

где - отношение эквивалентности в смысле обычной теории множеств. Таким образом, декомпозируя на отношения эквивалентности , мы получаем систему вложенных классов, соответствующих отношению подобия .

Выделив группу преподавателей, критерии которых статистически похожи, формируем из них экзаменационную комиссию по приему экзамена у тестируемых в пределах программного материала, отраженного в тесте. Опираясь на совокупную выборку оценок, выставленных преподавателями в процессе экзамена, фазифицируем оценки "2", "3", "4", "5" [11]. Обозначим соответственно за , , , их функции принадлежности.

Пусть тест состоит из заданий и за правильно выбранный ответ каждого задания ставится один балл, а за неправильно выбранный ответ ноль баллов. Следует отметить, что процедура накопления баллов путем их сложения не является корректной, так же, как некорректны все арифметические операции в порядковой шкале. Но поскольку именно эта процедура применяется чаще всего, то на эту некорректность можно закрыть глаза только при условии, что предложенные в тесте задания составлены таким образом, что проверяют знания по независимым разделам соответствующего предмета. По полученной после тестирования совокупной выборке результатов тех же респондентов, которые сдавали экзамен по программе теста, фазифицируем [11] все баллы . Обозначим за , их функции принадлежности. Определим расстояние между функциями принадлежности оценок и функциями принадлежности баллов:

, .

Критерий перевода баллов в оценку предлагается следующий: за -е количество баллов ставится оценка , если , .

Если , , то ставится оценка . Предложенный критерий позволяет любое количество баллов однозначно перевести в общепринятую оценку.

Описанная процедура перевода результатов тестирования, выраженных в баллах, в привычные оценки "2", "3", "4", "5" может применяться к тестам по любому предмету. Очевидно, что диапазоны баллов, соответствующих одной и той же оценке для разных тестов, будут разными, а сама процедура требует сопровождения и обновления.

Заметим, что система тестирования, предусматривающая двухбалльную оценку (О или 1) за каждый ответ на задание, может быть описана системой булевых уравнений.

В ряде работ (например [12]) рассматривается возможность сведения задачи решения системы булевых уравнений к системе псевдобулевых неравенств, а также метод решения этих систем. В [12] описывается случай полиномиальной (от размеров системы) сложности реализации этого метода.

При реализации метода может быть использован следующий метод оценки числа решений системы псевдобулевых неравенств. Эта оценка позволяет определить объем ответа при тестировании.

Рассмотрим псевдобулево неравенство

;

, ; .

Минимальным покрытием этого неравенства называется множество , такое, что

и для любого вышеуказанное неравенство не выполняется.

Из формулы включения-выключения следует, что число решений псевдобулева неравенства определяется как

,

где - множество минимальных покрытий,

.

Рассматривая сумму, определяющую , можно заметить, что модуль каждого из её слагаемых меньше предыдущего. Таким образом, рассматривая последовательно величины

получаем последовательность оценок, сходящуюся к точному значению числа решений.

Такой подход может быть распространен и на случай системы псевдобулевых неравенств. Для этого достаточно формально заменить систему минимальных покрытий неравенства на объединение систем минимальных покрытий, входящих в систему неравенств.

Пример. Система псевдобулевых неравенств

эквивалентна булевому уравнению

.

Для первого слагаемого формулы, определяющей N , получаем оценку

,

для первого и второго

,

а на последующих этапах

,

,

.

Несмотря на весьма большое, как правило, число неравенств в практических задачах и, следовательно, очень большое число минимальных покрытий, уже на первых этапах подсчета возможно получение приемлемых оценок числа решений.

На основании этого можно предложить следующие пути применения предлагаемого подхода:

получать оценки числа решений системы за счет одного-двух слагаемых суммы в формуле для

использовать предварительные оценки каждого неравенства системы с целью отбрасывания наименее информативных, то есть тех, которым удовлетворяет большее число вершин -мерного единичного куба.

Список литературы

А. Рыжкин, Н. Ефремова. Современные измерители знаний (опыт тестирования) // Высшее образование в России. 2001. №1. С.15-24.

Г. Хубаев. О построении шкалы оценок в системах тестирования // Высшее образование в России. 1996. №1. С. 122-125.

М. Панин. Морфология рейтинга // Высшее образование в России. 1998. №1. С.90-94.

В. Наделяев, Т.Мартынова и др. Рейтинговая система оценки знаний при изучении общетехнических дисциплин // Высшее образование в России. 1997. №1. С.103-107.

В. Алчинов, А. Купцов. Рейтинг-контроль успеваемости курсантов // Высшее образование в России. 1998. №1. С.95-97.

А. П. Рыжов. Элементы теории нечетких множеств и измерения нечеткости. М.: Диалог. МГУ, 1998.116 с.

А. Н. Аверкин и др. Нечеткие множества в моделях управления и искусственного интеллекта. М.: Наука. Гл. ред. физ-мат. лит., 1986. 312 с.

Ю. Козелецкий. Психологическая теория решений. М.: Прогресс. 1979, 504 с.

Т. С. Уолстен. Использование алгебр. моделей для изучения процессов принятия решений. // Нормативные и дескриптивные модели принятия решений. М.: Наука., 1981. С. 310-319.

А.Tversky, D. Kahneman. Judgement under uncertainty: heuristics and bases. 1974. V. l85. P. H34-Н31.

О. М. Полещук. О применении нечетких множеств в задачах построения уровневых градаций // Лесной вестник. 2000. № 4(13). С. 143-146.

К. К. Рыбников. Методы решения систем булевых уравнений, основанные на погружении множества решений в выпуклый многогранник // Автоматизация и компьютеризация информационной техники и технологии. Научные труды МГУ леса. 1995. Вып. 269. С. 88-91.

Для подготовки данной применялись материалы сети Интернет из общего доступа