Бывают случаи, когда педагог заинтересован в оценке прогностической валидности, например, указывающей меру вероятности прогноза успешности профессиональной деятельности выпускника вуза по результатам выполнения теста. В этом случае результаты по тесту коррелируют с результатами аттестации молодых специалистов, проводимой на предприятиях и организациях в течение нескольких первых лет работы. Высокая корреляция означает, что разработанные тесты прогностичны для отбора лучших выпускников вуза, обладающих сформированными профессиональными компетенциями.
Выводы
В отличие от традиционных средств контроля тесты проходят процесс научного обоснования качества, предполагающий оценку соответствия характеристик тестов двум важнейшим критериям: надежности и валидности. Разработка тестов для принятия административно-управленческих решений в образовании требует длительного исследовательского периода, охватывающего в циклическом режиме все этапы создания теста.
Анализ эмпирических данных тестирования начинается с построения матрицы, отражающей взаимодействие испытуемых и заданий в процессе выполнения теста. Обработка данных матрицы в классической теории тестов основывается на дескриптивной статистике, анализ результатов обработки позволяет оценить качество тестовых заданий и всего теста.
Наибольшую трудность при создании теста представляет интерпретация результатов обработки эмпирических результатов тестирования, но только благодаря ей может быть достигнуто высокое качество теста. Полная стандартизация процедуры предъявления теста способствует повышению точности и созданию качественных тестов.
Для разработки аттестационных тестов в вузе рекомендуется использовать традиционную теорию тестов.
Практические задания и вопросы для обсуждения
В таблице приведены ответы 30 испытуемых на одно задание теста. Всех испытуемых можно разбить на две подгруппы, одна из которых содержит 15 испытуемых высокого уровня подготовленности, а другая – 15 человек низкого уровня подготовленности (сильная и слабая группа). По данным таблицы вычислите:
1 ) среднее значение тестовых баллов по сильной и по слабой группе, сравните их;
2) дисперсию баллов по всей группе (30 испытуемых);
3 ) долю правильных ответов на задание по сильной группе ( 15 испытуемых);
4) долю правильных ответов на задание по слабой группе (15 испытуемых);
5 ) корреляцию между ответами испытуемых на задание и суммой баллов по тесту для сильной группы;
6 ) корреляцию между ответами испытуемых на задание и суммой баллов по тесту для слабой группы.
7. Сертификация аттестационных тестов
7.1. Общие сведения о системе сертификации педагогических тестов
Источники повышения валидности теста:
• подбор оптимальной трудности заданий для обеспечения нормального закона распределения баллов по тесту;
• экспертиза качества содержания теста;
• расчет оптимального времени выполнения теста;
• подбор валидных заданий с высокой дискриминативностью.
Система добровольной сертификации (далее – Система) педагогических тестовых материалов (ПТМ) была создана на базе Исследовательского центра проблем качества подготовки специалистов Московского института стали и сплавов (технологического университета) приказом Министерства образования Российской Федерации от 17.04.2000 г. № 1122 «О сертификации качества педагогических тестовых материалов». Система получила регистрационный номер в реестре органов по сертификации Федерального агентства по техническому регулированию и метрологии (регистрационный № РОСС RU.B154.04TM00). Система сертификации функционирует с 2000 г.
Цель сертификации – повышение качества образования путем совершенствования ПТМ, применяемых для оценки знаний обучающихся методом тестирования в учебных заведениях Российской Федерации и других структурах системы образования. При этом решаются две задачи: первая – выявление и фиксация достигнутого уровня качества сертифицируемых ПТМ, вторая – разработка рекомендаций, определяющих методику совершенствования ПТМ.
Сертификация осуществляется специально созданным Центром сертификации качества педагогических тестовых материалов (далее – Центр сертификации), который также оказывает консультационные услуги по доведению характеристик ПТМ до уровня соответствия утвержденным требованиям к их качеству (Требования к качеству ПТМ). Требования к качеству ПТМ составляют нормативную базу Системы. Объективность и достоверность результатов сертификации обеспечивается участием в работах по сертификации ПТМ компетентных экспертов, рекомендованных учебно-методическими объединениями вузов, использованием научно обоснованных методик экспертизы качества ПТМ и профессиональных статистических пакетов для компьютерной обработки данных.
Система добровольной сертификации распространяется на все виды ПТМ, используемые для оценки знаний обучающихся во всех типах учебных заведений и других образовательных структурах Российской Федерации. Система добровольной сертификации распространяется на все виды ПТМ, используемые для оценки знаний обучающихся во всех типах учебных заведений и других образовательных структурах Российской Федерации. Согласно Правилам функционирования Системы объектами сертификации являются:
• совокупности тестовых заданий, объединенные в варианты тестов и используемые для оценки знаний обучающихся;
• компьютеризованные банки тестовых заданий;
• совокупности тестовых методик, объединенные в технологии;
• программно-инструментальные средства для генерации и предъявления традиционных и адаптивных тестов;
• программные средства для математико-статистической обработки данных тестирования;
• сопроводительные материалы, включающие спецификацию теста для бланковой или компьютерной формы представления, описание метода генерации варианта традиционного или адаптивного теста из банка данных, описание системы оценивания, включающее ключи правильных ответов, критерии или нормы оценивания, шкалы, описание процедур предъявления теста, проверки результатов тестирования и сообщения результатов испытуемым, а также другая продукция, относящаяся к категории педагогических тестовых материалов.
Центр сертификации вносит информацию в созданный в рамках Системы Федеральный реестр сертифицированных ПТМ с целью оказания посреднических услуг и предоставления заинтересованным лицам соответствующей информации о возможностях приобретения ПТМ у их авторов. Благодаря этому широкий круг заинтересованных учебных заведений имеет возможность приобрести сертифицированные ПТМ, обеспечивающие высокое качество результатов педагогических измерений.
