Як дані змінюють системну інтеграцію

Що таке дані і чому вони настільки важливі?

В економічній інформатиці є чіткі визначення. Дані – лише сукупність фактів, які ще потрібно опрацювати. Інформація – результат цього опрацювання, який слугує вирішенню прикладних задач. Знання – перевірена на практиці інформація, яку можна використати повторно для отримання потрібного результату.

Тільки на основі знань можливе прийняття рішень для досягнення максимальної вигоди або поставлених цілей. І цей процес не закритий, адже нова інформація постійно доповнює і конкретизує знання.

У бізнесі будь-яка робота з даними повинна переслідувати чітку мету, вирішувати конкретні бізнес-завдання. Тільки при такому підході проєкт має шанси на успіх. Коли вже реалізовано кілька простих кейсів, які допомогли бізнесу, тільки тоді можна пробувати реалізувати більш складні завдання. Слона треба їсти частинами. 

В той же час, немає однозначної відповіді, хто повинен ініціювати роботу з даними в компанії. Є успішні приклади, коли новаторами в цій сфері ставали фінансовий департамент, маркетинг або управління продажами. До того ж процес сильно різниться у великому телеком операторі та у рітейл мережі споживчої електроніки. Впливає як розмір бізнесу, так і кількість та якість даних.

Що відбувається з даними у ентерпрайз сегменті сьогодні?

Їх кількість в світі зростала експоненціально протягом останніх кількох років. Мобільні обчислення, машинні дані інтернету речей, соціальні мережі, логи різних ІТ-систем та моніторинг дій користувачів постійно генерують величезні обсяги даних в різних форматах. Зростаючі кількість, складність і різноманітність джерел означає, що ті ж технології і підходи, які допомагали бізнесу в роботі з даними в минулому, сьогодні більше не працюють.

Застарілі ІТ-інфраструктури стали дорогими в обслуговуванні, в оновленні, масштабуванні та захисті. Вони, як правило, містять розрізнені сховища даних, інтеграція яких вимагає великих витрат. В результаті інформація часто недоступна для користувачів за межами конкретного відділу, що викликає прогалини в звітності і не тільки.

Іншими словами, ці середовища унеможливлюють побудову end-to-end прозорості, необхідної підприємствам для добування інформації з даних і її стратегічного використання. Адже аналіз неповних або застарілих даних може призвести до прийняття помилкових рішень.

Для цього й існує архітектура даних – напрямок в корпоративних ІТ, який дозволяє технічними засобами вирішувати всі перераховані вище проблеми і завдання.

Що таке архітектура даних

Архітектура даних – ціла галузь, яка описує структуру логічних і фізичних активів та ресурсів управління даними організації. Це відгалуження корпоративної архітектури, яке формує моделі, політики, правила і стандарти для регулювання збору, зберігання, упорядкування, інтеграції і використання даних.

По суті в обов’язки архітектора даних входить переклад бізнес-вимог у технічні специфікації:

• визначення структури, стандартів і принципів архітектури даних;
• визначення еталонної архітектури, зразка, якому інші можуть слідувати для створення і поліпшення роботи з даними;
• визначення потоків даних, тобто того, які департаменти генерують дані, кому дані потрібні для функціонування, як управляються всі ці потоки і як дані змінюються при переміщенні;
• співпраця з декількома відділами, зацікавленими сторонами, партнерами і зовнішніми постачальниками.

Як працюють з даними? Які рішення застосовуються?

Існують два основні підходи до роботи з даними. Хтось будує архітектуру збору, зберігання і обробки даних виключно під конкретне завдання, тим самим використовуючи лише частину доступних даних. Хтось намагається збирати і зберігати максимально можливу кількість даних, а потім аналізувати їх при необхідності. Обидва підходи мають своїх прихильників та противників, але в останні роки зберігання даних дешевшає, і все частіше компанії схиляються до другого підходу.

Іншими словами, сьогодні робота з даними – це більше про підходи і методологію. Обчислювальні потужності – більше не перешкода, адже завжди можна піти в хмару. Провайдери пропонують всі необхідні інструменти для старту, добування інформації і накопичення знань, необхідних будь-якому бізнесу. Більш того, хмарні рішення в даному випадку є одними з найбільш оптимальних, хоча далеко не єдиних.

Атрибути сучасної хмарної інфраструктури даних

Впровадження сучасної хмарної інфраструктури даних означає перехід від застарілих монолітних додатків, що працюють на універсальних базах даних (БД), до високо розподілених систем на основі мікросервісів, які працюють у складній інфраструктурі, часто спеціально створеній під конкретні завдання.

Це також означає перехід від локальних і застарілих сховищ даних до відкритих і гнучких «озер» даних (Data lake). Це такий спосіб зберігання не фрагментованих даних, при якому вони «зливаються» в центральний репозиторій як є, без необхідності їх попередньої структуризації. Вони повинні забезпечувати прозорість, високий рівень автоматизації і загальнокорпоративну доступність, збалансовану з керуванням.

ІТ-користувачі або бізнес-користувачі можуть виконувати різні типи аналітики цих даних – від інформаційних панелей і візуалізацій до обробки Big Data, аналітики в реальному часі і машинного навчання. Все заради поліпшення процесу прийняття рішень.

Сучасна хмарна інфраструктура даних має наступні характеристики:

• недороге, еластичне і надійне сховище – риси, які зазвичай виникають при розгортанні сховища в хмарі;
• керування і захист відповідно до державних постанов, що стосуються вашої галузі та географії;
• цілісне, інтегроване уявлення про ваші операційні БД, сховища і «озера»;
• широкий набір аналітичних можливостей, включаючи можливість обробки потокових даних в реальному часі та машинне навчання;
• динамічне виявлення і реакція на зміни;
• автоматизація, включаючи безперервне навчання і адаптивність;
• каталог всіх даних вашої організації, що полегшує їх пошук, керування доступом та відстеження;
• повністю керовані сервіси для найбільш поширених в організації БД з відкритим вихідним кодом;

Ці якості не тільки створюють інтелектуальну аналітичну платформу, але й скорочують витрати, пов’язані з ліцензуванням ПЗ, апаратною інфраструктурою і обслуговуванням, розробкою додатків і адміністративними накладними витратами.

Чому системний інтегратор – ідеальний дата-архітектор?

Всі базові мережеві та обчислювальні рішення з кожним роком стають все більш автоматизованими, надаючи інтуїтивні юзер-френдлі інтерфейси. Рішення буквально працюють “з коробки”, з їх налаштуванням можуть впоратися і штатні системні адміністратори.

А ось побудувати логіку взаємодії складних систем, в яких використовуються одночасно наземні і хмарні обчислювальні потужності, канали підключення як з захищених офісних локацій, так і з віддалених точок доступу – ось де сьогодні по-справжньому потрібен інженерний ресурс системних інтеграторів.

Українські реалії

В Україні роль інтегратора сьогодні очевидно змінюється: з просто команд, які вручну комутують маршрутизатори з серверами, у команди висококласних інженерів та архітекторів, які все ближче до бізнес-завдань та займаються розробкою логіки систем. Метою стає побудова всього ланцюжка взаємодії з цифровим середовищем в компанії так, щоб це середовище стало безпечним, прозорим та ефективним, могло швидко масштабуватися і давало бізнесу цінність.

На жаль, поки що не всі інтегратори в Україні мають таке бачення ринкової ситуації. Та при цьому є команди, які встигли підготуватися до нових реалій. Вони підсилюють не тендерні, а технологічні, аналітичні та маркетингові відділи, вони працюють над тим, щоб вибудовувати всебічні відносини з кожним партнером, допомагати йому з процесом digital-трансформації, яку без надійної і гнучкої інфраструктурної основи просто неможливо реалізувати.

Однією з таких команд, яка повністю відображає моє персональне бачення, виявилася команда Netwave. Я давно знаю керівників декількох напрямків, з багатьма колегами працював у інших компаніях.

Починаючи колись з мережевої інфраструктури, сьогодні компанія стала мультивендорним і по-справжньому комплексним інтегратором. Мене приваблює, що в Netwave орієнтовані на масштабні архітектурні проєкти і створюють технологічні фундаменти для топових українських бізнесів. Нещодавно компанія реорганізувалася, створила підрозділ Business Development, сфокусований на розвитку і реорганізації бізнесу, на відкритті нових напрямків. Серед них – “Управління даними”, якраз його я і очолюю.

І хоча більшість членів моєї команди вже давно і злагоджено працюють в компанії, той пул завдань, який перед нею стоїть – новий і непростий. Тому своїм завданням бачу максимальне використання накопиченого досвіду колег для глибокого розуміння технологічного стеку наших клієнтів. Тільки так ми можемо бути максимально корисними бізнесу, пропонувати найефективніші рішення.

Очікування від роботи з командою Netwave

Дивлячись на те, як змінюються продукти і рішення вендорів, куди рухаються запити і потреби клієнтів, думаю, в майбутньому будь-який системний інтегратор поступово прийде до формату постачальника послуг (managed service providers, MSP). Адже впровадити рішення – тільки перший крок. Далі будь-яку систему треба “тримати в тонусі”, адаптувати під динамічно мінливі запити бізнесу. Але нарощувати внутрішній штат навіть для великих клієнтів занадто дорого і довго.

І якщо ми говоримо про комплексні інфраструктурні рішення, вони стають все більш складними. Все частіше всередині однієї бізнес-системи сполучаються фокусні продукти різних вендорів. І розуміти їх сумісність та реалізовувати безшовну інтеграцію без широкого досвіду просто неможливо.

Я впевнений, що краще і продуктивніше фокусувати свою команду на розвитку та інноваціях, а питання нарощування технічної бази можна віддавати на аутсорс. Віддалений режим показав, що не обов’язково зосереджувати весь ресурс всередині компанії, що віддалене обслуговування і підтримка цілком можливі та не менш ефективні. Наступний крок – ще активніший вихід за рамки внутрішніх команд і залучення довірених партнерів для ще більш складних та відповідальних завдань.

Думаю, це найбільш важливий вектор розвитку сьогодні. І до нього ми вже готові!