Ничего не требуется. Однако в описании продукта должны присутствовать соответствующие формулировки эффективности.
3.3.5 Сопровождаемость
Ничего не требуется. Однако в описании продукта должны присутствовать соответствующие формулировки сопровождаемое™.
3.3.6 Мобильность (переносимость)
Ничего не требуется. Однако в описании продукта должны присутствовать соответствующие формулировки мобильности.
4 Указания по тестированию
Указания, приведенные в 4.1-4.5, определяют порядок тестирования продукта на соответствие его требованиям к качеству. Данные указания охватывают как тестирование для характеристик, присущих всем аналогичным продуктам, так и тестирование для характеристик, продекларированных в описании продукта. Указания также охватывают как тестирование путем проверки документов, так и тестирование программ и данных по принципу «черного ящика».
Данные указания описывают функциональное тестирование (тестирование по принципу «черного ящика»). Структурное тестирование данными указаниями не охватывается, потому что для его проведения необходимо наличие исходного кода.
Рассматривают только тестирование продукта в необходимых для него системах. Эргономическую оценку на рабочем пространстве вычислительной системы в настоящем стандарте не рассматривают.
Примечания:
1 Данные указания предназначены в первую очередь для тестирования, проводимого третьей стороной по некоторой схеме сертификации (см. 1 с). При производстве дешевле и эффективнее использовать структурное тестирование.
2 В разделе 4 отсутствуют требования к пакетам программ (все данные требования приведены в разделе 3). Пакет программ может быть аттестован без проведения тестирования согласно разделу 4, а подобная процедура может оказаться неэффективной для выявления существующих в продукте несоответствий.
3 Так как необходимая система определяется в описании продукта, то любое несоответствие продукта в необходимой системе трактуется как несоответствие продукта.
4 Схема сертификации может предусматривать тестирование на соответствие необязательным рекомендациям.
5 Руководство по эргономической оценке приведено в ИСО 9241-11 [16].
4.1 Необходимые условия для тестирования
4.1.1 Наличие компонентов продукта
Для тестирования пакета программ должны иметься в наличии все его поставляемые компоненты (см. 3.1.2 h), а также нормативные документы, указанные в описании продукта (см. 3.1.2 е).
4.1.2 Наличие компонентов системы
Для тестирования пакета программ необходимо наличие составных частей всех вычислительных систем, указанных в описании продукта.
4.1.3 Обучение
Если в описании продукта указана необходимость соответствующего обучения, то испытатель (тестировщик) должен иметь доступ к учебным материалам и обучающим программам.
4.2 Работы по тестированию
Описание продукта, документация пользователя, программы и любые данные, поставляемые как части пакета программ:
- должны быть протестированы на соответствие требованиям раздела 3;
- могут быть протестированы на соответствие рекомендациям раздела 3.
Цели тестирования должны быть определены исходя из требований раздела 3 и должны охватывать все эти требования (полноту, непротиворечивость и т.д.).
Если в описании продукта упомянуты другие продукты, то их необходимо протестировать только по требованиям, предъявленным к ним в описании тестируемого продукта.
Подробные формулировки из описания продукта, документации пользователя, функций и данных для продукта тестировать нет необходимости, если по оценке тестировщика:
- они оказывают незначительное влияние на соответствие названной рабочей задаче;
- они могут быть протестированы в принципе, но с неоправданными затратами ресурсов.
Те подробные формулировки, которые не были протестированы, должны быть указаны в протоколах тестирования и в отчете о тестировании. Причины, по которым они не были протестированы, должны документироваться в протоколах тестирования.
4.2.1 Описание продукта
