Как данные меняют системную интеграцию

Что такое данные и почему они так важны?

В экономической информатике есть четкие определения. Данные — лишь совокупность фактов, которые еще нужно обработать. Информация — результат этой обработки, который служит решению прикладных задач. Знание — проверенная на практике информация, которую можно использовать повторно для получения нужного результата.

Лишь на основе знаний возможно принятие решений для достижения максимальной выгоды или поставленных целей. И этот процесс не закрыт, ведь новая информация постоянно дополняет и конкретизирует знания.

В бизнесе любая работа с данными должна преследовать цель, решать конкретные бизнес-задачи. Только при таком подходе проект имеет шансы на успех. Когда уже реализовано несколько простых кейсов, которые помогли бизнесу, только тогда можно пробовать реализовать более сложные задачи. Слона надо есть по частям.

В то же время, нет однозначного ответа, кто должен инициировать работу с данными в компании. Есть успешные примеры, когда новаторами в этой сфере становились финансовый департамент, маркетинг или управление продажами. К тому же процесс сильно отличается в большом телеком операторе и, например, в ритейл-сети потребительской электроники. Влияет как размер бизнеса, так и количество и качество данных.

Что происходит с данными в энтерпрайз сегменте сегодня?

Их количество в мире росло экспоненциально в течение последних нескольких лет. Мобильные вычисления, машинные данные интернета вещей, социальные сети, логи различных ИТ-систем и мониторинг действий пользователей постоянно генерируют огромные объемы данных в различных форматах. Растущие количество, сложность и разнообразие источников означает, что те же технологии и подходы, которые помогали бизнесу в работе с данными в прошлом, сегодня больше не работают.

Устаревшие ИТ-инфраструктуры стали дорогими в обслуживании, в обновлении, масштабировании и защите. Они, как правило, содержат разрозненные хранилища данных, интеграция которых требует больших затрат. В результате информация часто недоступна для пользователей за пределами конкретного отдела, вызывает пробелы в отчетности и не только.

Иными словами, эти среды невозможным построение end-to-end прозрачности, необходимой предприятиям для извлечения информации из данных и ее стратегического использования. Ведь анализ неполных или устаревших данных может привести к принятию ошибочных решений.

Для этого и существует архитектура данных — направление в корпоративных ИТ, которое позволяет техническими средствами решать все вышеперечисленные проблемы и задачи.

Что такое архитектура данных

Архитектура данных — целая отрасль, которая описывает структуру логических и физических активов и ресурсов управления данными организации. Это ответвление корпоративной архитектуры, которое формирует модели, политики, правила и стандарты для регулирования сбора, хранения, упорядочения, интеграции и использования данных.

По сути в обязанности архитектора данных входит перевод бизнес-требований в технические спецификации:

• определение структуры, стандартов и принципов архитектуры данных;
• определения эталонной архитектуры, образца, которому другие могут следовать для создания и улучшения работы с данными;
• определения потоков данных, то есть того, какие департаменты генерируют данные, кому данные нужны для функционирования, как управляются все эти потоки и как данные изменяются при перемещении;
• сотрудничество с несколькими отделами, заинтересованными сторонами, партнерами и внешними поставщиками.

Как работают с данными? Какие решения применяются?

Существуют два основных подхода к работе с данными. Кто-то строит архитектуру сбора, хранения и обработки данных исключительно под конкретную задачу, тем самым используя только часть доступных данных. Кто-то пытается собирать и хранить максимально возможное количество данных, а затем анализировать их при необходимости. Оба подхода имеют своих сторонников и противников, но в последние годы хранения данных дешевеет, и все чаще компании склоняются ко второму подходу.

Иными словами, сегодня работа с данными — это больше о подходах и методологии. Вычислительные мощности — больше не помеха, ведь всегда можно пойти в облако. Провайдеры предлагают все необходимые инструменты для старта, добыча информации и накопления знаний, необходимых любому бизнесу. Более того, облачные решения в данном случае являются одними из наиболее оптимальных, хотя далеко не единственных.

Атрибуты современной облачной инфраструктуры данных

Внедрение современной облачной инфраструктуры данных означает переход от устаревших монолитных приложений, работающих на универсальных базах данных (БД), к высоко-распределенным системам на основе микросервисов, которые работают в сложной инфраструктуре, часто специально созданной под конкретные задачи.

Это также означает переход от локальных и устаревших хранилищ данных в открытых и гибких «озер» данных (Data lake). Это такой способ хранения не фрагментированных данных, при котором они «сливаются» в центральный репозиторий как есть, без необходимости их предварительного структурирования. Они должны обеспечивать прозрачность, высокий уровень автоматизации и общекорпоративных доступность, сбалансированную с управлением.

ИТ-пользователи или бизнес-пользователи могут выполнять различные типы аналитики этих данных — от информационных панелей и визуализаций к обработке Big Data, аналитики в реальном времени и машинного обучения. Все для улучшения процесса принятия решений.

Современная облачная инфраструктура данных имеет следующие характеристики:

• недорогое, эластичное и надежное хранилище — характеристики, которые обычно возникают при развертывании хранилища в облаке;
• управления и защиту в соответствии с государственными постановлений, касающихся вашей отрасли и географии;
• целостное, интегрированное представление о ваших операционные БД, хранилища и «озера»;
• широкий набор аналитических возможностей, включая возможность обработки потоковых данных в реальном времени и машинное обучение;
• динамическое обнаружение и реакция на изменения;
• автоматизация, включая непрерывное обучение и адаптивность;
• каталог всех данных вашей организации, что облегчает их поиск, управление доступом и отслеживания;
• полностью управляемые сервисы для наиболее распространенных в организации БД с открытым исходным кодом

Эти качества не только создают интеллектуальную аналитическую платформу, но и сокращают расходы, связанные с лицензированием ПО, аппаратной инфраструктурой и обслуживанием, разработкой приложений и административными накладными расходами.

Почему системный интегратор — идеальный дата-архитектор?

Все базовые сетевые и вычислительные решения с каждым годом становятся все более автоматизированными, предоставляя интуитивные юзер-френдли интерфейсы. Решение буквально работают «из коробки», с их настройкой могут справиться и штатные системные администраторы.

А вот построить логику взаимодействия сложных систем, в которых используются одновременно наземные и облачные вычислительные мощности, каналы подключения как с защищенных офисных локаций, так и из отдаленных точек доступа — вот где сегодня по-настоящему нужен инженерный ресурс системных интеграторов.

Украинские реалии

В Украине роль интегратора сегодня очевидно меняется: из просто команд, которые вручную коммутируют маршрутизаторы с серверами, у команды высококлассных инженеров и архитекторов, которые все ближе к бизнес-задач и занимаются разработкой логики систем. Целью становится построение всей цепочки взаимодействия с цифровым средой в компании так, чтобы это среда стала безопасным, прозрачным и эффективным, могло быстро масштабироваться и давало бизнеса ценность.

К сожалению, пока не все интеграторы в Украине имеют такое видение рыночной ситуации. И при этом есть команды, которые успели подготовиться к новым реалиям. Они усиливают не тендерные, а технологические, аналитические и маркетинговые отделы, они работают над тем, чтобы выстраивать всесторонние отношения с каждым партнером, помогать ему с процессом digital-трансформации, которую без надежной и гибкой инфраструктурной основы просто невозможно реализовать.

Одной из таких команд, которая полностью отражает мое персональное видение, оказалась команда Netwave. Я давно знаю руководителей нескольких направлений, со многими коллегами работал в других компаниях.

Начиная когда-то с сетевой инфраструктуры, сегодня компания стала мультивендорной и по-настоящему комплексным интегратором. Меня привлекает, что в Netwave ориентированные на масштабные архитектурные проекты и создают технологические фундаменты для топовых украинских бизнесов. Недавно компания реорганизовалась, создала подразделение Business Development, сфокусирован на развитии и реорганизации бизнеса, на открытии новых направлений. Среди них — «Управление данными», как раз его я и возглавляю.

И хотя большинство членов моей команды уже давно и слаженно работают в компании, то пул задач, который перед ней стоит — новый и непростой. Поэтому своей задачей вижу максимальное использование накопленного опыта коллег для глубокого понимания технологического стека наших клиентов. Только так мы можем быть максимально полезными бизнеса, предлагать эффективные решения.

Ожидания от работы с командой Netwave

Несмотря на то, как меняются продукты и решения вендоров, куда движутся запросы и потребности клиентов, думаю, в будущем любой системный интегратор постепенно придет к формату поставщика услуг (managed service providers, MSP). Ведь внедрить решение — только первый шаг. Далее любую систему надо «держать в тонусе», адаптировать под динамично меняющиеся запросы бизнеса. Но наращивать внутренний штат даже для крупных клиентов слишком дорого и долго.

И если мы говорим о комплексных инфраструктурные решения, они становятся все более сложными. Все чаще внутри одной бизнес-системы сочетаются фокусные продукты различных вендоров. И понимать их совместимость и реализовывать бесшовную интеграцию без широкого опыта просто невозможно.

Я уверен, что лучше и продуктивнее фокусировать свою команду на развитии и инновациях, а вопросы наращивания технической базы можно отдавать на аутсорс. Удаленный режим работы показал, что не обязательно концентрировать весь ресурс внутри компании, удаленное обслуживание и поддержка вполне возможны и не менее эффективные. Следующий шаг — еще активнее выход за рамки внутренних команд и привлечения доверенных партнеров для еще более сложных и ответственных задач.

Думаю, это наиболее важный вектор развития сегодня. И к нему мы уже готовы!