Аналитика: методология, технология и организация информационно-аналитической работы

Качество решения задачи распознавания определяется тем, насколько качественно решена задача формализации признаков и критериев распознавания, и построения системы эталонов. Поскольку нам не дано иной альтернативы для снижения размерности задачи, речь идет о построении дискретной картины мира (тех его фрагментов, знание состояния которых важно для решения задачи) в виде формальных признаков. Более того, специфика большинства методов ситуационного анализа заключается, прежде всего, в том, каким способом осуществляется формализация признаков, и их выделение из общего потока данных. Один из подходов к решению задачи распознавания ситуаций излагается ниже.

Ранее нами рассматривались различные способы представления и отображения данных (а значит, и способы задания эталонов для распознавания). Анализ кибернетического подхода к решению задачи распознавания образов позволил выдвинуть гипотезу о возможности применения технологии дискретного масштабирования образов, широко используемой в отношении графических объектов, к анализу ситуаций. Это становится возможным, поскольку ситуация с точки зрения кибернетики предстает в таком же дискретном виде, как и графические объекты при решении задачи распознавания. В отношении знаковых систем, с помощью которых человек выражает свои мысли, это утверждение тем более справедливо (знаки по своей природе дискретны). При распознавании графических образов достаточно широко используются методы прореживания точек в геометрическом пространстве. Когда же речь идет о распознавании ситуации, аналогичное прореживание возможно в некотором пространстве признаков, описывающих состояние некоторой системы.

Таким образом, переход от дискретного масштабирования образов объектов к дискретному масштабированию образов ситуаций вполне логичен. Автоматически возникают следующие вопросы: «Правомерно ли рассматривать множество признаков, как множество равно значимых для решения задачи распознавания элементов?», «Существуют ли пути автоматизации процесса прореживания точек в пространстве признаков?», «Как и какую метрику можно ввести в таком пространстве признаков?». Ответы на эти вопросы подсказывает все та же теория распознавания образов. Ответы, если расположить их по порядку, таковы: «Не правомерно», «Существуют (при специфической организации пространства признаков)», «Метрика должна вычисляться на основе анализа иерархии, упорядочивающей однотипные признаки». Иными словами, пространство признаков должно быть построено по иерархическому принципу, определяющему параметры алгоритма отсеивания менее информативных признаков. В этом случае процесс масштабирования эталона или образа ситуации до некоторого момента не будет приводить к потере существенных для распознавания черт ситуации. В области ситуационного анализа эти технологии, идеи которых были заложены еще в 1950-е, нашли применение лишь в конце 1980-х — начале 90-х годов.

При обработке изображений теория распознавания образов пошла дальше — с целью преодоления недостатков обычной растровой (построчной, поэлементной) дискретизации изображения были разработаны технологии векторизации контурных изображений по совокупности опорных точек. Это стало возможно благодаря дальнейшей математизации кибернетики и внедрению высокопроизводительной вычислительной техники. При использовании технологии векторизации контурное изображение, считываемое в режиме растрового сканирования, подвергается анализу с целью дальнейшего представления в виде совокупности фрагментов кривых, описывающихся примитивными функциями. Полученная в результате выполнения таких процедур совокупность математических описаний в дальнейшем позволяет осуществлять масштабирование контуров в обоих направлениях без потерь.

Но можно ли синтезировать подобные процедуры в отношении дискретного образа ситуации? Могут ли ситуации, представленные в виде знаковых моделей, построенных на основе текстов, быть описаны таким же образом? — Увы, нет — знаковые системы, используемые для описания ситуаций человеком (попросту — человеческая речь), устроены иначе, нежели числовой ряд, в котором между любыми двумя неравными числами, расположенными на числовой оси, если не налагаются особые ограничения, всегда может быть вставлено еще одно число. Любое слово или знак — это уже дискретный образ некоторого объекта, процесса или ситуации. Конечно, существуют способы параметризации отдельных терминов, но без введения строгой системы метризованных эталонов задачи сравнения решаются с очень низкой точностью (попробуйте определить размер «маленького румяного яблочка», описание которого встретилось в тексте, без знания того, что именно было взято в качестве эталона).

Но с другой стороны, мы уже рассматривали пример успешного снижения размерности задачи распознавания на примере метода А. Бертильона, продемонстрировавшего возможность идентификации лица по минимальному набору формальных признаков. Подобные методы могут быть использованы и в отношении ситуаций — задача состоит в том, чтобы синтезировать иерархическую систему признаков (терминов некоторого заданного уровня детализации), однозначно идентифицирующих ситуацию на заданном уровне иерархии описания (с заданной степенью точности). Создание такой системы позволяет успешно решать задачу классификации.

Исследование терминологической иерархии, лежащей в основе построения системы распознавания ситуации, позволяет выявить факт неполноты терминологии, неравной точности определений в соседних ветвях иерархии. При отсутствии терминов промежуточного уровня точности, требуемых для описания некоторой ситуации, в такой системе без порождения нового термина может быть синтезирован временный «терминологический портрет ситуации». Такой портрет представляет собой некоторую совокупность терминов, использование которых отличает данную разновидность ситуации от ей подобных. При накоплении статистики повторного появления терминологических портретов может быть выявлен факт устойчивой повторяемости таких терминологических портретов, чем может быть обоснована необходимость введения нового термина. Задачи такого типа часто встречаются в практике распознавания образов и носят название задач кластеризации. Таким образом, могут быть сформулированы достаточно строгие правила, регламентирующие момент и процедуру определения новых терминов. В принципе, совершенно необязательно, чтобы введенный термин был словом в общепринятом смысле — достаточно, чтобы существовала возможность его «декодирования» — такой подход легко может быть реализован в компьютерной системе распознавания. Другое дело, что таким же образом может быть установлен момент, когда возникает настоятельная потребность введения «полноценного» термина (удобопроизносимого и интуитивно понятного).

В качестве одного из алгоритмов построения текущего образа ситуации по материалам СМИ и иных источников информации, использующих для представления информации текстовые массивы, может быть использован статистический алгоритм анализа «повестки» дня, часа (а равно и любого другого временного интервала на протяжении которого оценивается частотноранговое распределение терминов в оперативных сообщениях — вспомним о Дж. Зипфе). При этом может фиксироваться как абсолютное значение «вектора», составленного из терминов равной частоты встречаемости, так и дифференциальный показатель, содержащий лишь изменения в составе вектора относительно взятого эталона. Подобные алгоритмы позволяют существенно усовершенствовать методы генерации словарей ключевых слов для фильтрации сообщений, релевантных текущей тематике сообщений, а при некотором их усовершенствовании могут быть использованы и для наглядного представления совокупности текстов, полученных за некоторый период.

Известно, что любое СМИ, пекущееся о своем рейтинге, осуществляет мониторинг сообщений открытых (и не только) источников информации в интересах выявления ситуаций, относящихся к важным «тематическим зонам». Пропуск важных для потребителя информационной продукции событий (а любое разумно построенное СМИ строит собственную модель потребителя) способен понизить рейтинг СМИ. Классическим подходом к решению этой задачи является подход, основанный на анализе поступающих сообщений с использованием перечня ключевых слов. Но ситуация меняется, а перечень ключевых слов всегда является неполным. Это вызвано хотя бы тем, что в оборот постоянно вводятся новые слова — например, в компьютерной области за месяц появляется в среднем порядка 300 новых терминов и устойчивых аббревиатур. Однако самой распространенной причиной