Поскольку речь идет о неоднозначных решениях, оценивание результатов выполнения заданий приходится проводить экспертными методами и разрабатывать стандартизованные методики для работы экспертов. По результатам оценивания строится порядковая шкала, в которой откладываются ранговые баллы студентов.
Новейший вид измерителей, пока находящийся в стадии разработки во всех странах мира, – это компетентностные тесты, ориентированные на современный интегративный подход к оценке качества обучения с позиций прогнозирования дальнейших жизненных успехов студентов [10, 32]. Оценка уровня компетентности, распадающейся на спектр отдельных компетенций, представляет большую сложность. В образовании компетенции представляют интерес многоплановые и многоструктурные характеристики качества подготовки обучающихся, которые вряд ли могут быть в полной мере стандартизованы. Трудность здесь видится в том, что компетентность нельзя трактовать как сумму предметных знаний и умений. Скорее, это приобретаемые в результате обучения новые способности, увязывающие знания и умения со спектром интегральных характеристик качества подготовки, в том числе и со способностью применять полученные знания и умения в решении межпредметных практических задач, в будущей профессиональной деятельности после окончания учебного заведения. В этой связи возникает необходимость создания межпредметных (комплексных) тестов, требующих при оценке подготовленности студентов использования методов многомерного шкалирования и специальных методов интеграции оценок отдельных характеристик подготовки выпускников вузов.
Специалисты рекомендуют разрабатывать компетентностные тесты в рамках критериально- ориентированного подхода, поскольку бессмысленно говорить о численном аналоге уровня сформированности компетенций. Для получения надежных и валидных результатов итоговой аттестации выпускников вузов в рамках компетентностного подхода обычно используют уровневую шкалу, которую в зарубежных работах обычно, называют вертикальной.
Основные направления работ по созданию методики корректного измерения при компетентностном подходе связаны с анализом содержательной структуры и трудностей заданий компетентностного теста. Таким образом, процесс построения вертикальной шкалы (рис. 3.10) для каждой компетенции идет двумя путями. С одной стороны, экспертно выделяются планируемые уровни учебных достижений и соответствующие им по содержанию задания под каждый уровень, нуждающиеся в обосновании своей прогностической валидности путем привлечения работодателей. С другой стороны, строится количественная шкала, получающаяся на основании статического анализа результатов выпускников в итоговой аттестации и позволяющая соотнести определенные совокупности заданий по количественным оценкам их трудности с выделенными диапазонами компетентности. Таким образом, для каждого диапазона компетентности определяется фрейм заданий, образующих часть общего компетентностного теста.
На рис. 3.10 показаны минимальный, базовый, промежуточный, продвинутый уровни и уровень высокой компетентности. Этот рисунок приведен в качестве примера использования вертикальной шкалы в международных исследованиях качества образования. При аттестации, по-видимому, вполне достаточно выделения трех уровней компетентности для построения вертикальной шкалы: минимального, базового и высокого.
При интерпретации результатов выполнения уровневых компетентностных тестов возможны различные схемы построения итогового балла испытуемого для принятия аттестационного решения. В одном случае внутри каждого уровня компетентности экспертно определяют критериальный балл, подлежащий обязательной эмпирической валидизации и позволяющий говорить об освоении определенного уровня компетенции в различных диапазонах в том случае, когда балл испытуемого, подсчитанный только по совокупности заданий, относящихся к данному диапазону компетентности, превышает критерий в каждом диапазоне. В другом случае можно сосредоточиться только на одном диапазоне, например диапазоне высокой компетентности, и засчитывать результаты аттестуемых как положительные вне зависимости от освоения ими компетенций на базовом или минимальном уровнях. В третьем случае балл испытуемого можно находить простым сложением результатов по отдельным заданиям компетентностного теста, не задаваясь вопросом о принадлежности заданий отдельным диапазонам компетентности, а затем сопоставлять его с критериальным баллом и принимать решение об аттестации студента.
Конечно, при построении вертикальной шкалы можно использовать не только компетентностные тесты. В этом случае при вертикальном шкалировании важно добиться сопряжения результатов, полученных на различных уровнях измерения при использовании разнообразных оценочных средств и сопряжения количественных диапазонов шкалы с содержательной структурой оценочных средств. Это работа не одного дня, требующая доказательства валидности заданий (содержательной, конструктной, прогностической) статистическими методами и определения оптимальных весовых коэффициентов при интеграции данных по различным измерителям в единой шкале разнообразных оценочных средств.
Компетентностный подход имеет большое будущее для итоговой аттестации, несмотря на всю сложность реализации его на практике. Сегодня, когда в образовательный процесс вовлечены не отдельные представители интеллектуальной элиты, а большие сообщества, возникла насущная необходимость установления связи качества подготовленности выпускников учебных заведений с требованиями сферы предполагаемого употребления результатов труда. Таким образом, сама жизнь выдвигает новые требования как к квалификации педагогов, так и к качеству подготовленности выпускников вузов. В этой связи одним из основных направлений развития современных педагогических измерений становится переориентация на междисциплинарность и полипрофессиональность, присущие современному образовательному пространству.
К числу новых форм измерителей относятся тесты, которые разрабатываются для оценки практической деятельности студентов (Performance assessment). Они позволяют выявить уровень освоения практических навыков с помощью экспериментальных заданий деятельностного характера, по результатам выполнения которых получается некоторый материальный продукт, оцениваемый экспертами по стандартизованной шкале тестовых баллов. Многие из тестов, оценивающих результаты практической деятельности, не выдержали бы никакой критики специалистов тестологов из-за низких характеристик по ряду показателей качества в области педагогических измерений. Тем не менее они имеют высокую очевидную валидность и вызывают большой интерес у студентов.
Анкеты и интервью предоставляют дополнительную информацию о студентах, их окружении и деятельности во внеучебное время, позволяющую обоснованно интерпретировать данные тестирования или результаты применения других современных оценочных средств.
Анкеты относятся к инструментарию, дающему возможность собрать надежные и валидные данные об измеряемых переменных в тех случаях, когда процесс создания анкет проходит определенные научно обоснованные стадии. Вначале осуществляется формулирование проверяемой и нулевой гипотез и решаются проблемы учета всех сопутствующих факторов, влияющих на результаты эксперимента. Затем разрабатывается план исследований, включающих проведение анкетирования, обработку данных, их анализ и интерпретацию в соответствии с планом эксперимента. Разработка структуры анкеты и ее вопросов проводится в строгом соответствии с научно обоснованными требованиями, которые приводятся в многочисленной литературе по проблемам психодиагностики и измерений в социальных науках. Помимо содержания и формы представления вопросов, эти требования охватывают также внешний вид анкет, систему кодировки данных, их анализа и интерпретации.
При проведении анкетирования обычно принимается решение о том, что считать единицей анализа, в процессе которого происходит приписывание каждому респонденту определенного значения по оцениваемой переменной на основе выбранных правил. Обычно в образовании в качестве единиц анализа выступают учащиеся, педагоги или администрация учебных заведений, иногда к участию в анкетировании в качестве респондентов привлекаются родители студентов.
Интервью можно также рассматривать как научно обоснованный метод сбора дополнительных данных о студентах, их родителях или преподавателях. Специалисты различают континуум видов интервью, постепенно меняющихся от неструктурированного и открытого к высоко структурированному и закрытому интервью, требующему от респондентов однозначных ответов в рамках фиксированных форматов. В
