статистических характеристик, которые позволяют получать надежные, валидные и сопоставимые(в условиях аттестации) результаты педагогических измерений. Для того чтобы совокупность заданий выполняла функции измерителя, необходимо анализировать результаты контроля качества образования испытуемых, оценивать их соответствие концептуально выбранной переменной измерения, анализировать точность измерений.
Следует также при интерпретации баллов учитывать предысторию развития студента и дополнительную информацию о нем, релевантную целям измерения, а лишь потом использовать результаты оценивания для принятия управленческих решений в образовании.
Несомненно, что эти и некоторые другие проблемы в полной мере в этом учебном пособии не отражены. Однако его следует рассматривать лишь как первую книгу в серии, посвященной проблемам разработки оценочных средств в рамках компетентностного подхода к трактовке качества результатов образования.
В рамках такой серии необходимы также специальные книги по теории IRT, многомерному шкалированию, факторному и дисперсионному анализу результатов педагогических измерений, методам анализа прироста учебных достижений, поскольку компетентностный подход, безусловно, требует лонгитюдных измерений, отслеживающих процесс формирования компетенций у каждого студента и фиксирующих прирост в вузовских системах мониторинга качества образования. Необходимы также методики анкетирования и взаимодействия с работодателями, методики обработки, анализа и интерпретации данных о качестве образования и др.
Очевидно, что подготовка подобной серии изданий под силу лишь квалифицированному и многочисленному коллективу, представляющему различные высшие учебные заведения. Авторы пособия заинтересованы в сотрудничестве с коллегами, имеющими родственные интересы, и предлагают им направлять свои предложения о подготовке публикаций в рамках задуманной нами серии изданий по следующему электронному адресу: [email protected]
Словарь терминов
А
Анализ заданий – процесс определения статистических характеристик заданий на основе обработки, анализа и интерпретации эмпирических результатов выполнения теста репрезентативной выборкой испытуемых.
Апробация – пробное тестирование, предшествующее основному и предпринимаемое в целях коррекции и доработки теста.
Б
Балл истинный – гипотетическая оценка переменной измерения, не зависящая от средств измерения, являющаяся константой испытуемого в момент измерения, но меняющаяся в процессе обучения.
Балл критериальный (пороговый) – тестовый балл, определяемый экспертными и статистическими методами и делящий группу испытуемых на подгруппы по результатам выполнения теста согласно выбранному критерию.
Балл наблюдаемый – количественный показатель выраженности измеряемого свойства, полученный непосредственным суммированием (с весовыми коэффициентами или без них) результатов испытуемого по отдельным заданиям теста.
Балл стандартизованный (шкалированный) – переведенный в одну из стандартных шкал наблюдаемый балл. Обычно он выражает отклонение результата испытуемого от среднего значения баллов, выраженное в единицах стандартного отклонения.
Банк тестовых материалов – структурированная совокупность накопленных тестовых заданий или тестов с устойчивыми статистическими характеристиками, представленная, как правило, в компьютерной форме с помощью соответствующих программно-инструментальных средств.
Батарея тестов – совокупность специальным образом подобранных тестов, системообразующие свойства и совместимость которых обоснована статистическим путем.
В
Валидность – многомерная характеристика теста, включающая сведения об области исследуемых явлений и репрезентативности тестовой методики по отношению к ней. В более простой формулировке валидность можно определить как совокупность характеристик, определяющих способность теста служить поставленной цели его создания.
Валидность задания – количественная характеристика способности задания служить целям дифференциации испытуемых по значениям измеряемой переменной при выполнении теста. Валидность задания оценивается путем подсчета индекса дискриминативности, бисериального коэффициента корреляции, дифференцирующей способности задания теста.
Валидность прогностическая – количественная характеристика теста, предназначенная для выявления точности и обоснованности ближайшего и отдаленного прогноза, экстраполяции результатов измерения на будущее, производимых на основе результатов тестирования.
Валидность содержательная – качественная характеристика теста, фиксирующая репрезентативность представленного в тесте содержания дисциплины.
Вес задания – числовой коэффициент, выбранный экспертным или статистическим методами и используемый при подсчете итоговых баллов испытуемых по тесту.
Внутренняя согласованность – характеристика гомогенности теста, указывающая на степень дисциплинарной общности (однородности) содержания заданий теста.
Выборка репрезентативная – формируемое специальным образом подмножество генеральной совокупности, пропорции которого отражают в том или ином масштабе пропорции всех наиболее значимых страт, реально существующих в генеральной совокупности. Репрезентативная выборка используется для стандартизации теста.
Выборка случайная – формируемое случайным образом подмножество исследуемого множества (генеральной совокупности) элементов.
Выборка стандартизации – формируемое специальным образом для достижения репрезентативности подмножество генеральной совокупности, используемое для определения норм теста.
Выборки объем – число элементов, извлеченных из генеральной совокупности в соответствии с задачами исследования, степенью однородности генеральной совокупности, заданной величиной доверительной вероятности и требуемой точностью результатов измерения.
д
Дискриминативность задания (синоним – дифференцирующая способность задания) – числовая характеристика способности задания дифференцировать испытуемых по величине измеряемой переменной относительно наибольшего и наименьшего результатов. Оценивается с помощью бисериальной корреляции в рамках классической теории тестов.
Дисперсия – показатель разброса некоторого множества результатов измерений вокруг среднего арифметического, подсчитываемый как усредненное значение возведенных в квадрат отклонений от арифметического среднего, квадрат стандартного отклонения.
Дистрактор – разрабатываемые в заданиях с выбором варианты неправильных, но правдоподобных ответов, отвлекающие внимание испытуемого при выборе правильного ответа.
Дистракторный анализ – статистический метод изучения правдоподобности дистракторов, строящийся на анализе частоты выбора неправильных ответов испытуемыми группы.
Длина теста – количество заданий в тесте, оптимизируемое в соответствии с другими параметрами (цели тестирования, время тестирования, возраст учащихся и т.д.) статистическим путем.
3
Задание на дополнение (конструирование) ответа – тестовое задание, требующее от испытуемого самостоятельного получения краткого (регламентированного) или развернутого (свободно конструируемого) ответа.
