Netwave
  • Дата 16:34, 17 Травня
  • Час для ознайомлення 10 хвилин

Об’єктне сховище: легкість керування масштабними масивами даних

Категорія Теги
Поділитись:

Об’єми неструктурованих даних постійно зростають, і сьогодні все частіше виникає питання, як найефективніше їх зберігати та забезпечувати постійний доступ і легке керування. Поступовий і незворотний перехід до хмарних та програмно визначених рішень підказує, що потрібно переглядати підходи. Втім, на ринку вже довгий час існують комплексні рішення корпоративного класу, які встигли довести свою ефективність і надійність.

Як показує практика, об’єктне сховище є однією з найкращих відповідей на ці виклики. Технологія дозволяє оперувати неймовірними масивами даних при значному зниженні економічних витрат і з легкістю інтегрувати її у існуючі інфраструктури, в тому числі і хмарні.

Що таке об’єктне зберігання даних? 

Це ціла стратегія, спрямована на керування “даними про дані” або метаданими. Уявіть, що кожен файл складається з самих даних та метаінформації (власник, права, час модифікації тощо). Об’єктне зберігання даних дозволяє розділити ці частини та зберігати окремо. 

Такий підхід дозволяє децентралізовано та розподілено зберігати дані величезних об’ємів та при цьому ще й підвищувати керованість і швидкість доступу.

  • Ширша аналітика даних. Зберігання об’єктів визначається метаданими, і подібний рівень класифікації для кожної частини даних розширюює можливості для аналізу.
  • Нескінченна масштабованість. Просто продовжуйте додавати дані, безкінечно. Обмежень більше немає.
  • Швидший пошук даних. Завдяки зручній структурі категоризації об’єктних сховищ та відсутності ієрархії папок ви можете отримати свої дані набагато швидше.
  • Зниження вартості. Завдяки scale-out характеру об’єктних сховищ зберегати всі дані набагато дешевше.
  • Оптимізація ресурсів. Оскільки об’єктне сховище не має ієрархії, а метадані повністю налаштовуються, обмежень набагато менше, ніж для файлов або блочних сховищ.

Об’єктне сховище може бути реалізоване як на рівні пристрою (жорсткого диска), так і на рівні протоколу доступу до хмарної системи зберігання. Сьогодні ми хочемо детальніше розказати про СЗД, які поєднують обидві можливості, аккумулючи всі переваги об’єктного підходу до зберігання даних. А саме – про StorageGRID від NetApp.

Історія рішення та сучасні потреби бізнесу

Сьогодні StorageGRID – це досить універсальне програмно визначене об’єктне сховище, яке підтримує стандартні для галузі API, включаючи Amazon Simple Storage Service (S3) API та API OpenStack Swift.

Але спочатку продукт створювався виключно для потреб системи охорони здоров’я, яка накопичує неймовірні об’єми даних та вимагає постійного і швидкого доступу до них. В результаті, наприклад, у США рішення буквально інтегроване в цю галузь: обладнання в лікарнях за замовчуванням підтримує можливість відправляти дані безпосередньо в об’єктне сховище StorageGRID. Та з поступовою і незворотною діджиталізацією світової економіки масштабні масиви неструктурованих даних починають проявлятися і впливати на розвиток у майже всіх сферах бізнесу. І український ринок – не виключення.

Одним з найбільших генераторів даних є ринок IoT, який нікуди не дівся і зберігає досить високі темпи розвитку. Наприклад, в аграрному секторі для здобуття конкурентних переваг виробники все частіше починають використовувати незліченну кількість датчиків та вимірюючих пристроїв на полях. Ці системи генерують щодня купу даних. 

Іншою цікавою сферою, яка вже надовго залишиться з нами, є стрімінгові сервіси та інші контент-провайдери. Вони потребують швидкого та постійного доступу до своїх медіатек. 

До того ж компанії не тільки надають послуги онлайн, але й збирають та зберігають купу інформації про своїх клієнтів. Тому десь поряд з медичною сферою розташовується і фінансовий сектор зі своїми неймовірно масштабними базами даних.

Об’єктне сховище StorageGrid був розроблений спеціально для задоволення цих та інших потреб ринку. Зокрема:

  • для зберігання великої кількості дрібних об’єктів з екстремально високими транзакційними навантаженнями;
  • для шивдкого доступу до масивів даних з великими об’єктами;
  • для довготривалого та невимогливого до швидкості зберігання;
  • для глобально розподілених масивів нестркуктурованих даних;
  • для потокового доступу до даних з потребою у великій пропускній здатності.

Як вже згадувалося, платформа орієнтована на роботу з неструктурованими і розподіленими даними, що значно підвищує доступність сервісів. При цьому керувати ними можна з єдиної панелі та на основі політик, які є загальними для всіх сайтів, де застосовується StorageGrid. І тут ми вже переходимо до функціоналу.

Важливі функції

Іншими словами, об’єктне сховище StorageGRID корисний у багатьох випадках і може допомогти організаціям ефективно масштабувати об’єм та покращити управління даними як у локальних, так і у хмарних сховищах, будь то в загальнодоступній, приватній чи гібридній хмарі. Висока ефективність та широкий спектр застосування досягається завдяки функціональним перевагам. Ось лише деякі з них:

Erasure Coding

Майже всі об’єктні СЗД вміють зберігати кілька копій одного об’єкту (реплікація), дублюючи дані на різні ноди і сайти, що забезпечує відмовостійкість. Erasure Coding (EC) – це механізм, схожий на RAID, але виконується на рівні об’єкта, який розбивається на кілька частин, а не на рівні цілих жорстких дисків. EC дозволяє істотно зменшити споживання простору у сховищі при забезпеченні механізму відмовостійкості.

Geo-EC

Geo Distributed Erasure Coding – це та ж функція, але частини об’єкта при цьому можуть бути на системах, розташованих в різних частинах світу, дозволяючи зберігати дві або три копії даних, і цим досягати неймовірних показників доступності.

Hierarchical EC

StorageGrid дозволяє розподіляти дані на основі політик їх довговічності та відмовостійкості. Hierarchical Erasure Coding дозволяє на основі цих політик автоматично виконувати локальний EC і Geo-EC. Це добре підходить для випадків, коли у вас є три або більше сайти. Система захищає від виходу з ладу одного з них.

DDP

Dynamic Disk Pools – це функціонал обладнання NetApp E-Series, свого роду RAID. DDP дозволяє не втрачати в продуктивності в разі локального збою одного або декількох дисків. Ця функція відмінно доповнює Geo-EC.

Безпека, цілісність та доступність даних

З огляду на історію створення StorageGRID та початкову орієнтацію на сектор охорони здоров’я, ці фактори були і залишаються одними з найважливіших у складі рішення.

об'єктне сховище
  • Цілісність даних забезпечується завдяки процесу постійної їх перевірки на етапах запису, зчитування та міграції. У випадку програмно визначенного об’єктного СЗД цей процес практично безперервний. Пошкоджені об’єкти повторно створюються з географічно розподілених копій за прозорим механізмом.
  • Доступність даних забезпечується за рахунок Fault-Tolerant архітектури та підтримки безперервності операцій. До того ж виробник постійно розвиває та оновлює ПЗ і устаткування платформи. Сервіс NetApp AutoSupport може автоматично повідомляти команду техпідтримки про події для активного та швидкого вирішення проблеми. А згадана вище функція Erasure coding покращує не тільки доступність кожної ноди, але й час відновлення, позитивно впливаючи на продуктивність і мережеву активність.
  • Високий захист забезпечується підтримкою end-to-end шифрування кожного об’єкту. Також рішення підтримує Multi-Tenancy, особливу архітектуру додатків, яка персоналізує доступ кожного кінцевого користувача та унеможливлює перехресний обмін даними. 
  • Серед інших безпекових фіч: підтримка аутентифікації та механізмів безпеки для S3 і CDMI, підтримка інтеграції з LDAP/AD для аутентифікації різних користувачів в рамках одного клієнта.

Висновки

В світлі незворотного процесу трансформації ІТ-сервісів в сторону хмарності, централізації управління та високої доступності об’єктне сховище StorageGrid виглядає одночасно усталеним і зрілим продуктом, орієнтованим на новітні шляхи вирішення бізнесових потреб. Це досить універсальний та надійний продукт для додатків з підтримкою RESTful HTTP, який підходить як для великих, так і для дрібних об’єктів. 

Сьогодні рішення вийшло далеко за межі своєї початкової сфери застосування і використовується великими компаніями у найрізноманітніших галузях. Найактивніше об’єктне сховище StorageGrid застосовується у сфері хмарних обчислень для зберігання інформації самого різного характеру та призначення: починаючи від засекречених даних уряду і закінчуючи результатами масштабних бізнесових досліджень.

Функціонал рішення дозволяє оперувати неймовірними масивами даних та забезпечує практично безмежну масштабованість при високій відмовостійкості і доступності. Кінцеві користувачі можуть фактично не помічати вихід з ладу цілих сайтів. Окремі технології дозволяють істотно економити простір та, відповідно, кошти, а широкий список інтеграції спрощує впровадження в існуючі інфраструктури та підтримку.

Якщо вас зацікавило рішення, і ви бажаєте дізнатися більше про його переваги та можливості розгортання, запрошуємо на сторінку StorageGRID на нашому сайті. Тут ви знайдете більше інформації та зможете звернутися за консультацією до нашого спеціаліста.

Поділитись:

рішення, які можуть вас зацікавити

Послуги:

Aудит та оптимізація систем зберігання даних (СЗД)

Детальніше

Організація тестування технологій та проведення пілотних проєктів

Детальніше

Технічна підтримка

Детальніше

Продукти:

Netwave