Контроль качества обучения при аттестации: компетентностный подход

тесте, предположив, что речь идет не о четырех заданиях, а относится ко всему тесту.

В реальной ситуации тестирования локализация места расположения результата студента на оси переменной зависит от соотношения между величиной его истинного балла и трудностью заданий теста. Если балл студента довольно высок, а задание достаточно легкое, то у обучаемого есть все основания для успешного выполнения этого задания теста. В противном случае, когда соотношение между упомянутыми выше величинами меняется на противоположное, у студента есть веские основания для неуспеха. Конечно, наверняка предугадать ничего нельзя в силу действия различных смещающих факторов (эффект забывания, подсказки и т.д.). Поэтому при прогнозировании результата обычно говорят лишь о некоторой вероятности успеха или неуспеха обучаемого при выполнении заданий теста.

Таким образом, вероятностный характер наблюдаемых результатов выполнения теста обусловлен влиянием различных факторов, способствующих возникновению ошибок измерения. Среди них выделяют случайные и систематические. К числу последних принадлежат те, которые появляются из-за просчетов разработчиков в процессе создания теста. К ним могут привести нарушения требований методики сбора статистических данных, некачественная интерпретация результатов выполнения теста и ряд других причин. К случайным факторам относятся: настроение испытуемого, поведение экзаменатора, обстановка при тестировании в аудитории и многое другое – словом, все то, что учесть и предвидеть при тестировании невозможно.

Чаще всего при планировании измерений в образовании выбирают одномерные конструкты. Это упрощает процесс построения шкалы, но не всегда адекватно содержанию используемых или вновь создаваемых тестов. Рис. 2.5 иллюстрирует случай одномерных измерений, который в ситуации оценивания уровня подготовленности студентов можно интерпретировать следующим образом: одна латентная переменная Т – истинный уровень подготовленности каждого обучаемого при тестировании – приводит к возникновению одной оценки наблюдаемой переменной X — уровня подготовленности обучаемого. Помимо переменной Т, на оценки X оказывает влияние фактор ? — ошибка измерения.

Рис. 2.5. Иллюстрация связи переменных при одномерном измерении

Чтобы принять гипотезу об одномерности теста, необходимо выявить связь между теоретическим конструктом и эмпирическими индикаторами, роль которых выполняют задания теста. Оценка связи требует ответа на вопрос: есть ли разница между доказательством одномерности конструкта и доказательством одномерности заданий теста?

На рис. 2.6 приведена измерительная модель для одномерного случая, иллюстрирующая связь между конструктом, обозначенным символом T, и четырьмя заданиями (x₁, x₂, x₃, x₄). Числа, стоящие у каждого луча, показывают меру предполагаемой корреляционной связи между конструктом и заданиями теста.

Рис. 2.6. Измерительная модель, иллюстрирующая связь между конструктом и заданиями теста (одномерный случай)

При анализе модели важно понимать, что конструкт является латентным (скрытым от возможностей непосредственного измерения) фактором, взаимодействие которого с заданиями порождает наблюдаемые результаты выполнения теста. Влияние конструкта, включающего одну или несколько латентных переменных измерения, на эмпирические индикаторы отражено на рассматриваемом рисунке с помощью направленных лучей.

Гипотетическая корреляционная матрица, показывающая меру связей между конструктом и заданиями теста, помещена в табл. 2.1. В силу симметрии чисел в матрице относительно главной диагонали, состоящей из единиц, таблица имеет треугольный вид.

Таблица 2.1 Значения корреляции между заданиями

Для анализа связи между размерностью конструкта и размерностью тестовых заданий, используемых при оценивании наблюдаемых переменных, необходимо подсчитать частные корреляции, получаемые путем удаления влияния на парные корреляции третьей переменной. Используя величины корреляций в табл. 2.1 и упомянутый подход, можно показать, что частная корреляция между любой парой наблюдаемых переменных x₁, x₂, x₃ после удаления влияния латентной переменной T будет равна нулю.

Аналогичные вычисления можно провести для любой пары наблюдаемых переменных x₁, x₂, x₃. Интерпретируя полученные нулевые результаты для анализа связи переменных, можно утверждать, что после удаления эффекта влияния фактора T связь между наблюдаемыми переменными исчезает. Таким образом, латентный фактор T является единственной переменной, связывающей наблюдаемые переменные x₁, x₂, x₃, поэтому его следует трактовать как единственный общий фактор для совокупности наблюдаемых переменных. Отсюда следует вывод об одномерности совокупности заданий x₁–x₃, поскольку корреляция между ними после удаления влияния общего фактора становится равной нулю.

Подобный концептуальный подход к доказательству одномерности был предложен Макдональдом и Хати (McDonald, 1981; Hattie, 1985) [38]. Конечно, на практике при анализе размерности пространства измерений говорить о точном равенстве нулю частных корреляций не приходится в силу влияния различных ошибок измерения. Однако в случае близких к нулю значений частных корреляций по результатам педагогических измерений можно строить единственную шкалу. Поскольку каждое задание в рассмотренном гипотетическом примере измеряет один и только один конструкт, то справедлив вывод об одномерности заданий теста. Обратный вывод в общем случае не верен: из одномерности заданий не следует одномерность теста. Совокупность одномерных заданий, каждое из которых измеряет свой конструкт, не означает наличия общего единственного фактора, свидетельствующего об одномерности пространства измерений.

Если конструкт включает не одну, а несколько переменных, то измерения называют многомерными. Такая ситуация как раз характерна при разработке и использовании компетентностных тестов. Совокупность переменных образует пространство переменных измерения, размерность которого равна их числу. Геометрическая интерпретация двумерных измерений приведена на рис. 2.7. Рисунок изображает частный случай, когда каждая из латентных переменных F₁ и F₂ воздействует на обе наблюдаемые переменные Х₁ и Х₂, находящиеся под влиянием ошибок измерения E₁ и E₂.

Рис. 2.7. Иллюстрация связи переменных при двумерном измерении

Возможны, конечно, другие ситуации, в которых каждая из латентных переменных F₁ и F₂ воздействует только на одну из переменных X₁ и X₂, либо только одна из латентных переменных приводит к возникновению двух наблюдаемых.

Многомерность требует построения по результатам измерения не одной, а нескольких шкал, количество которых должно быть равно размерности пространства измерений. Иногда при проведении многомерных измерений создают несколько субтестов, каждый из которых является одномерным и измеряет свою переменную с помощью одномерных заданий. Примером такого подхода является полидисциплинарный