Федеральный реестр сертифицированных ПТМ представляет собой специализированную базу данных, содержащую наиболее общую информацию о сертифицированных ПТМ (наименование дисциплины, специальность или направление подготовки, вид объекта сертификации, его предназначение и др.). Сведения о сертифицированных ПТМ вносятся в Федеральный реестр по желанию авторов ПТМ. Дополнительные сведения о сертифицированных ПТМ и контактная информацию об авторах ПТМ предоставляется Центром сертификации на платной основе по согласованию с авторами ПТМ. Соблюдение авторских прав является обязательным условием деятельности Центра сертификации.
7.2. Требования к качеству педагогических тестов
Требования к качеству ПТМ прошли длительный период обсуждения, в котором приняли участие представители различных учебных заведений и управленческих структур в сфере образования. Основное назначение требований к качеству ПТМ состоит в обеспечении информации о критериях качества тестовых материалов для разработчиков и пользователей ПТМ. Разработка требований к качеству ПТМ и их систематическое обновление является обязательной составляющей деятельности Системы.
По структуре требования к качеству ПТМ состоят из набора регламентированных характеристик, правил, методики критериев, которые ориентированы на различные виды ПТМ. Часть требований к качеству ПТМ носит описательный характер, другая выражается в виде количественных характеристик – критериев качества.
Выполнение всех требований к качеству ПТМ является обязательным, если ПТМ используются при аттестации выпускников и учебных заведений. При сертификации ПТМ для текущего контроля часть требований носит необязательный характер либо не выдвигается совсем. Таким образом, в зависимости от планируемой области применения определяется класс требований, на соответствие которым проверяются разработанные ПТМ. С повышением уровня ответственности при принятии управленческих решений на основе результатов использования ПТМ повышается жесткость требований к качеству, предъявляемых к представленным материалам, а также дополняется список информации, необходимой для проведения работ по сертификации.
При сертификации ПТМ используются требования к содержанию тестов, критерии качества содержания гомогенных тестов, критерии качества содержания гетерогенных тестов, требования к формам заданий тестов, требования к статистическим характеристикам заданий и тестов, требования к характеристикам заданий компьютеризованного банка ПТМ, требования к структуре банка и технологии компьютерной генерации вариантов ПТМ, требования к сопроводительным материалам ПТМ.
7.3. Требования к содержанию аттестационных тестов
1. Содержание теста должно полностью соответствовать цели создания. Выполнение требования предполагает ясную формулировку цели и подробное описание проверяемых содержательных элементов, знаний, умений и так далее в спецификации теста.
2. Отображение требований ФГОС в содержании теста должно быть по возможности полным. В содержании теста, предназначенного для целей аттестации, необходимо отобразить объем требований ФГОС, который условно можно принять за 100%.
3. Содержание теста должно обладать правильными пропорциями . Оно должно охватывать все важные аспекты предметной области в правильном соотношении, соответствующем используемым учебным программам или другим документам, определяющим структуру и пропорции содержания учебной дисциплины.
4. Содержание теста должно соответствовать спецификации. Не следует перенасыщать содержание теста теми разделами, по которым легче составить задания.
5. Содержание разделов гомогенного теста должно удовлетворять требованию однородности, что означает наличие только положительных значимых корреляций между результатами по заданиям внутри раздела. Содержание заданий каждого раздела теста должно обладать дисциплинарной общностью, которая устанавливается путем анализа корреляционной матрицы, полученной подсчетом интеркорреляций между результатами испытуемых по отдельным заданиям теста.
6. Содержание каждого задания теста должно удовлетворять требованию значимости. Необходимо включать в тест только те элементы содержания, которые являются наиболее важными, ключевыми элементами курса.
7. Содержание каждого задания теста должно быть логически корректным. Корректность означает, что при правильном выполнении задания испытуемые приводят или выбирают только запланированные разработчиком ответы.
8. Каждое задание тестов должно обладать высокой содержательной валидностью. Коэффициент точечной бисериальной корреляции между результатами репрезентативной выборки испытуемых по каждому заданию и суммой баллов по тесту должен быть не меньше 0,3.
9. В гетерогенном полидисциплинарном тесте содержание каждого гомогенного субтеста должно удовлетворять требованиям к качеству гомогенного теста.
10. Каждый субтест полидисциплинарного теста должен обладать содержательной независимостью от остальных субтестов гетерогенного теста. Результат по каждому гомогенному субтесту должен быть снабжен содержательно-независимой интерпретацией, которая в совокупности с другими соответствует общей цели создания полидисциплинарного теста.
11. Качество содержания и размерность пространства измерений междисциплинарного гетерогенного теста, состоящего из междисциплинарных заданий, необходимо обосновывать путем применения методов многофакторного анализа. Для этого из матрицы интеркорреляций между заданиями должны быть выделены независимые факторы, а в каждом факторе со значимыми нагрузками выделяются непересекающиеся подмножества заданий междисциплинарных тестов.
Общие требования к форме представления тестовых заданий во всех видах тестов представлены ранее (см.
7.4. Требования к статистическим характеристикам теста
Итоговые тесты, используемые для целей аттестации, обязательно должны проходить процедуру статистического обоснования качества. При представлении результатов обоснования на сертификацию необходимо указать теоретическую базу (классическую теорию или IRT), использованную разработчиком для статистического обоснования качества теста.
1. Статистические данные о результатах выполнения задания должны включать: распределение ответов испытуемых (в процентах) по выделенным кодам и/или баллам; процент испытуемых, не приступавших к выполнению задания; значения точечно-бисериального коэффициента по каждому коду или баллу, включая группы не приступавших к выполнению задания, выполнивших задание неправильно, выполнивших задание частично и полностью выполнивших задание правильно.
2. Тестовое задание с выбором ответов должно сопровождаться оценками качества работы дистракторов, которые необходимо получать в долях испытуемых, выбравших каждый дистрактор, и в виде бисериального коэффициента корреляции. Дистрактор считается работающим, если доля испытуемых отлична от нуля, а бисериальный коэффициент принимает отрицательное значение и значимо отличается от нуля.
3. Тестовое задание должно иметь статистическую оценку трудности в долях правильных ответов испытуемых, в процентах правильных ответов или в шкале логитов, если использовалась современная теория конструирования тестов.
4. Тестовое задание должно иметь оценку валидности, полученную с помощью индекса дискриминативности, точечного бисериального коэффициента или параметра дифференцирующей способности.
5. Распределение статистик по каждому варианту теста должно удовлетворять критериям правдоподобности при проверке гипотезы о нормальном распределении эмпирических результатов (для нормативно-ориентированных тестов).
6. Распределение индивидуальных (сырых) баллов должно иметь правостороннюю асимметрию (для критериально-ориентированных тестов).
7. Для комплекта вариантов теста необходимы нормы, включающие среднее значение сырых баллов, дисперсию с указанием временного промежутка действия норм. Среднее значение должно быть в центре распределения индивидуальных баллов, дисперсия должна значимо отличаться от нуля без нарушения
