Особенности оценивания качества обучения
Фирма Microsoft, разрабатывающая и широко использующая такую форму тестов, предлагает для иллюстрации их особенностей сопоставление с соревнованиями по прыжкам в высоту. Прыгун, независимо от его способностей, быстро достигает такого уровня планки, на котором он имеет примерно равные шансы как взять высоту, так и сбить планку. «Баллом» для прыгуна является последняя взятая высота. Для получения высокого балла прыгун не должен брать каждую возможную более низкую высоту, также он не должен пытаться брать более высокий уровень планки.
Пример из области образования будет более наглядным. В ходе устного экзамена учитель обычно сначала задает вопрос средней сложности, и если ученик отвечает правильно, то ему предлагается более сложное задание. В случае же первого неправильного ответа в качестве следующего задается более легкий вопрос. Этот процесс продолжается, и в течение короткого периода времени у учителя постепенно складывается правильное представление о качестве знаний ученика. При этом ему не надо задавать каждому испытуемому слишком легких или слишком сложных вопросов, а достаточно отталкиваться от того уровня сложности вопросов, на которые ученик дал правильные ответы.
Точно так же должен быть организован нелинейный тест типа CAT, обеспечивающий проведение контроля качества обучения на уровне квалифицированного устного экзаменатора. В таком тесте первоначально задается вопрос средней сложности, и полученный ответ немедленно влияет на постепенно формируемую будущую общую оценку. Если ответ правильный, то предполагаемая оценка возможностей экзаменуемого повышается на определенную величину. Затем выбирается и задается более сложный вопрос. Если же ответ на него дан неправильно, то предполагаемая оценка возможностей экзаменуемого снижается, а в качестве следующего вопроса снова предлагается более легкий. По мере того как задаются все новые и новые вопросы, все более точной становится оценка уровня знаний экзаменуемого. Тест заканчивается когда точность оценки достигает статистически приемлемого уровня (или когда будет задано максимальное количество вопросов). Так как точно неизвестно, когда адаптивный тест закончится, то обычно он состоит из переменного количества вопросов, причем минимальное и максимальное значения для количества вопросов устанавливаются заранее.