том, что ни один из методов обработки числовых данных при анализе сложных систем не является самодостаточным.
Семантическая компонента формальной системы, используемой для представления данных, полученных в результате процедур принципиально различного типа, обычно остается вне поля зрения аналитика вплоть до завершения цикла аналитической обработки, когда привлекается модель интерпретации результатов. Но, в то же время, именно
В рамках рассмотрения методов обработки и анализа числовых данных мы не будем рассматривать математические процедуры и операции, традиционно используемые для обработки результатов инструментальных измерений. Наше внимание будет сосредоточено на проблемах обработки численных данных, полученных в результате проведения опроса экспертов, поскольку этот класс данных отличается отсутствием возможности аналитическим путем оценить точность полученных данных. В числе таких методов следует выделить два класса:
— методы экспертных оценок;
— метод решающих матриц.
По причине такого смешения и возникла путаница — методы экспертных оценок
Рассматривая возможность использования экспертных оценок, обычно исходят из того, что неизвестная характеристика исследуемого явления может трактоваться как случайная величина, знаниями о законе распределения которой располагает специалист-эксперт. Также предполагается, что эксперт в силах оценить достоверность и значимость того или иного события, происходящего в системе. То есть, применительно к группе экспертов, считается, что истинное значение исследуемой характеристики находится внутри диапазона экспертных оценок, полученных от группы, и что в результате обобщения мнений экспертов может быть получена достоверная оценка.
Однако это не всегда так, поскольку все зависит от первоначального объема знаний о системе и степени изученности проблемы. Если знания экспертов в данной предметной области достаточно обширны, для того, чтобы полагать группу экспертов «хорошим измерителем», тогда, действительно, предположение об адекватности коллективной оценки небеспочвенно. Но если такой уверенности нет, многие приемы обработки данных экспертных опросов оказываются не только неэффективны, но и вредны.
Надо сказать, что должность эксперта не является экзотической для государственного устройства России. Так, мало кто из опрошенных нами сотрудников информационно-аналитических подразделений смог расшифровать хорошо известное по школьному курсу русской литературы словосочетание «коллежский асессор». Каково же было их удивление, когда они узнали, что на самом деле оно соответствует современной должности «эксперт коллегии», «научный консультант»!
Обычно, когда речь идет о применении экспертных оценок, рассматривается целый комплекс проблем, так или иначе связанных с этой процедурой, при этом рассматривают:
1. Процедуры формирования экспертных групп (это и требования к квалификации экспертов, их психологическим характеристикам, размерам групп, и вопросы тренировки экспертов);
2. Формы проведения экспертного опроса (способы проведения анкетирования, интервьюирования, смешанные формы) и методики организации опроса (создание психологической мотивации, методики анкетирования, применения методов активизации мышления);
3. Подходы к оцениванию результатов (ранжирование, нормирование, различные виды упорядочения, включая методы предпочтений, попарных сравнений и др.) и методы обработки экспертных оценок;
4. Способы определения согласованности мнений экспертов, достоверности экспертных оценок (например, статистические методы оценки дисперсии, оценки вероятности для заданного диапазона изменений оценок, оценки ранговой корреляции, коэффициента конкордации и иные);
5. Методы повышения согласованности оценок путем применения соответствующих способов обработки результатов экспертного опроса.
Пункты 1 и 2 данного перечня отчасти рассмотрены в подразделе, посвященном методам активизации мышления, и в большей степени относятся к проблемам организационного плана. Здесь же наш интерес будет сосредоточен на проблемах, перечисленных в пунктах 3–5.
Существенный интерес с точки зрения механизмов обработки экспертных оценок представляет проблема выбора вида шкал, используемых в ходе опроса. Выделяются следующие
— шкалы равномерные и неравномерные;
— шкалы абсолютные и нормированные;
— шкалы дискретные и непрерывные;
— шкалы одноуровневые и иерархические;
— шкалы измерений и отношений;
— шкалы одномерные и многомерные.