Большие данные – краеугольный камень системы надзора за нормативно-правовым соответствием
Тьерри Дюшам (Thierry Duchamp),
учредитель и директор по производственным вопросам, Scaled Risk
Большинство финансовых учреждений адаптировали существующие информационные системы, чтобы соответствовать посткризисным нормативно-правовым актам. К сожалению, ограничения их устаревших технологий оказались огромными, и это не позволило им оправдать ожидания надзорных органов относительно того, что большие объемы данных за несколько лет, хранящиеся в банках, теперь могут быть доступны очень быстро, если не в режиме реального времени.
В этой главе говорится о том, как технологии работы с большими данными способны облегчить реализацию информационных систем управления рисками и обеспечить нормативно-правовое соответствие. Кроме того, здесь речь идет о том, как технологии превращают препятствия в деловые возможности. Если банки рассматривать в этом контексте как гигантские базы данных, тогда технология обработки больших баз данных предлагает возможность связать ранее разобщенные функции и работающие модели. Единая система работы с большими массивами данных может предложить универсальное аналитическое решение по нормативно-правовому соответствию.
Так как технология больших данных постоянно развивалась с момента появления в веб-отрасли, она начала использоваться для поддержки уникальных требований и задач финансовой сферы. Эта глава посвящена архитектуре и возможностям Scaled Risk, компании, которая предлагает финансовое ПО как программное решение и объясняет, почему эти компоненты являются обязательным требованием для внедрения технологии больших данных в финансовом контексте. Мы также проиллюстрируем на реальных примерах, как большие данные можно использовать для управления рисками и задачами нормативно-правового соответствия.
Внедрение технологии больших данных в банках проходило слишком медленно
С начала 2010-х гг. термин «большие данные» обычно использовался, чтобы описать новое поколение технологий и новые подходы к управлению данными.
Эта технология была создана крупными игроками веб-индустрии, потому что традиционные технологии не были способны адаптироваться к непредсказуемому количеству пользователей, быстро растущим объемам данных и увеличивающейся необходимости в вычислительных мощностях. Отрасли веб-разработки также требуется больший уровень гибкости и скорости адаптации, чтобы можно было быстро развивать приложения, не прерывая работу системы. Инновация «Больших данных» подтолкнула мощности информационных систем отрасли веб-разработки к самому высокому уровню гибкости, скорости и простоты использования.
Удивительно, что предприятия, включая банки, в большинстве своем упустили эту возможность – с очевидными последствиями. Инновации на предприятиях развивались крайне медленно по сравнению с Интернетом. В конце концов, обычные инструменты демонстрируют высокий уровень гибкости и удобства для пользователя, в то время как бизнес-инструменты остаются закостенелыми и трудны для обучения.
Могут ли большие данные из Интернета использоваться непосредственно в банках?
К сожалению, прямое использование не будет простым и ясным; тем не менее огромная часть отрасли программного обеспечения участвует в том, чтобы адаптировать технологии больших данных на предприятиях. Адаптация к нуждам предприятий неуклонно предлагает программное обеспечение для бизнеса с теми же уровнями гибкости и эргономики, которые уже существуют в интернет-отрасли.
Это началось вначале 2010-х гг. с заметного успеха Salesforce.com, но развитие идет медленно и занимает больше времени, чем планировалось, из-за влияния следующих факторов:
• архитектура больших данных – это радикальное изменение парадигмы, внедрение требует новых знаний и новых людей;
• варианты использования в интернет-отрасли значительно отличаются от использования на предприятиях;
• уровень достоверности технологии, используемой в мире Интернета, ниже (зачастую ошибочно), чем в любой другой отрасли, особенно в сфере банковских услуг.
Большинство банков внедрило технологию больших данных с разными результатами, зачастую зависящими от бизнес-процесса, для которого требовалась технология. Самые близкие к миру Интернета и самые простые для внедрения:
• маркетинг;
• знай своего клиента (ЗСК);
• выявления мошенничества.
Системы надзора за правовым соответствием выполняемых операций нуждаются как в целостности данных, так и в работе в режиме реального времени, чтобы отвечать действующему законодательству. Устаревшие технологии были способны управлять данными на основе системного подхода и в режиме реального времени на протяжении последних 30 лет – к сожалению, с сильными ограничениями. Технология больших данных не предоставляет готовую к использованию целостность данных, полученных в режиме реального времени, что и становится проблемой.
Как можно получить актуальные, целостные данные из технологии больших данных?
Совмещение актуальности и целостности данных для больших данных – задание для инженеров, которое было решено при помощи технологий Scaled Risk. Технологии больших данных как предложение новой архитектуры основывается на прорывных вычислениях с открытым подходом (т. е. распределенная система недопустима). Открытая парадигма – это цена, которую необходимо заплатить за почти неограниченную расширяемость системы, что означает неограниченность:
• хранилища;
• вычислительных мощностей;
• возможностей кэширования.
Синхронизация времени по всему кластеру – это секрет своевременного предоставления полностью открытой последовательности данных. Этот подход, во многом вдохновленный технологией Spanner от Google (http://research.google.com/archive/spanner.html), предоставляет информацию на любую дату, начиная с одной секунды, прошедшей с настоящего момента. Эта задержка может быть сокращена при помощи аппаратного обеспечения для особой синхронизации времени.
Стандартные актуальные большие данные тоже нуждаются в улучшении, потому что они имеют разное значение в мире Интернета и в сфере банковских услуг. Если «интерактивный» – это хороший синоним для предыдущего «управляемый событиями» и «способный оповещать», это то, чего ожидают последние. Технологии Scaled Risk внедряют как последние инновации из сферы больших данных, так и старые рецепты, которые использовались с начала 1990-х гг. для получения актуальных каналов финансовых данных.
Технология больших данных – лучшая технология для реализации систем надзора за правовым соответствием
По определению система надзора за соответствием нуждается в сборе данных как из внутренних, так и из внешних источников, которыми могут стать:
• трейдинговая система;
• данные о рынке;
• вспомогательные данные и СУОК;
• внешние финансовые данные;
• актуальные и исторические новости;
• данные о правительстве [Управление по контролю над иностранными активами казначейства США, Акт о добросовестном и точном проведении кредитных операций, Правила регулирования инфраструктуры европейского финансового рынка, закон Додда – Фрэнка (Dodd – Frank)] и многие другие.
Данные, необходимые для надзора за нормативно-правовым соответствием, не только увеличиваются в объеме, но и становятся все более сложными. Вкратце, технология больших данных устраняет два главных недостатка устаревших технологий: отсутствие гибкости и эластичности, а также возможности расширения сети.
Отсутствие гибкостиБлагодаря эластичности и расширяемости инфраструктура может адаптироваться на ходу.
ГибкостьИнформационные системы должны уметь справляться с внезапными переменами в бизнесе за счет регулирования и корпоративного управления. Способность к быстрой адаптации очень трудно реализовать в системе управления реляционными базами данных (СУРБД), даже для одного отделения банка. Системы надзора за соблюдением правовых норм по своей природе централизуют многочисленные потоки информации из разных стандартов и форматов. Обработка необходимых, но многочисленных изменений в системе источников, – невыполнимая миссия, если использовать СУРБД и ETL-решения.
Технологии больших данных предлагают прорывной подход к схеме управления данными, потому что данные и соответствующие структуры данных хранятся и управляются отдельно друг от друга. Основной подход, используемый технологиями в отношении больших данных, полагается на схемы данных для чтения, это означает, что данные хранятся в формате, управляемом приложением. Этот подход предоставляет больше
