Объектное хранилище: легкость управления масштабными массивами данных

Как показывает практика, объектное хранилище является одним из лучших ответов на эти вызовы. Технология позволяет оперировать невероятными массивами данных при значительном снижении экономических затрат и с легкостью интегрировать ее в существующие инфраструктуры, в том числе и облачные.

Что такое объектное хранение данных? 

Это целая стратегия, направленная на управление «данным о данных» или метаданными. Представьте, что каждый файл состоит из самих данных и метаинформации (владелец, права, время модификации и т.п.). Объектное хранения данных позволяет разделить эти части и хранить их отдельно.

Такой подход позволяет децентрализовано и распределено хранить данные огромных объемов и при этом еще и повышать управляемость и скорость доступа.

• Более широкая аналитика данных. Хранение объектов определяется метаданными, и подобный уровень классификации для каждой части данных расширяет возможности для анализа.
• Бесконечная масштабируемость. Просто продолжайте добавлять данные, бесконечно. Ограничений больше нет.
• Быстрее поиск данных. Благодаря удобной структуре категоризации объектных хранилищ и отсутствии иерархии папок вы можете получить свои данные гораздо быстрее.
• Снижение стоимости. Благодаря scale-out характеру объектных хранилищ хранение всех данных обходится гораздо дешевле.
• Оптимизация ресурсов. Поскольку объектное хранилище не имеет иерархии, а метаданные полностью настраиваются, ограничений гораздо меньше, чем для файлов или блочных хранилищ.

Объектное хранилище может быть реализовано как на уровне устройства (жесткого диска), так и на уровне протокола доступа к облачной системы хранения. Сегодня мы хотим подробнее рассказать о СХД, которые сочетают обе возможности, аккумулируя все преимущества объектного подхода к хранению данных. А именно — о StorageGRID от NetApp.

История решение и современные потребности бизнеса

Сегодня StorageGRID — это достаточно универсальное программно определяемое объектное хранилище, которое поддерживает стандартные для отрасли API, включая Amazon Simple Storage Service (S3) API и API OpenStack Swift.

Но сначала продукт создавался исключительно для нужд системы здравоохранения, которая накапливает невероятные объемы данных и требует постоянного и быстрого доступа к ним. В результате, например, в США решение буквально интегрировано в эту отрасль: оборудование в больницах по умолчанию поддерживает возможность отправлять данные непосредственно в объектное хранилище StorageGRID. А с постепенной и необратимой диджитализацией мировой экономики масштабные массивы неструктурированных данных начинают проявляться и влиять на развитие во многих сферах бизнеса. И украинский рынок — не исключение.

Одним из крупнейших генераторов данных является рынок IoT, который никуда не делся и сохраняет достаточно высокие темпы развития. Например, в аграрном секторе для получения конкурентных преимуществ производители все чаще начинают использовать бесчисленное количество датчиков и измеряя устройств на полях. Эти системы ежедневно генерируют уйму данных.

Другой интересной сферой, которая уже надолго останется с нами, есть стриминга сервисы и другие контент-провайдеры. Они требуют быстрого и постоянного доступа к своим медиатекам.

К тому же компании не только предоставляют услуги онлайн, но и собирают и хранят много информации о своих клиентах. Поэтому где-то рядом с медицинской сферой располагается и финансовый сектор со своими невероятно масштабными базами данных.

Объектное хранилище StorageGrid было разработано специально для удовлетворения этих и других потребностей рынка. В частности:

• для хранения большого количества мелких объектов с экстремально высокими транзакционными нагрузками;
• для быстрого доступа к массивам данных с большими объектами;
• для длительного и неприхотливого к скорости хранения;
• для глобально распределенных массивов неструктурированных данных;
• для потокового доступа к данным с необходимостью в большой пропускной способности.

Как уже упоминалось, платформа ориентирована на работу с неструктурированными и распределенными данными, что значительно повышает доступность сервисов. При этом управлять ими можно из единой панели и на основе политик, которые являются общими для всех сайтов, где применяется StorageGrid. И здесь мы уже переходим к функционалу.

Важные функции

Другими словами, объектное хранилище StorageGRID полезно во многих случаях и может помочь организациям эффективно масштабировать объем и улучшить управление данными как в локальных, так и в облачных хранилищах, будь то в общедоступном, частном или гибридном облаке. Высокая эффективность и широкий спектр применения достигается благодаря функциональным преимуществам. Вот лишь некоторые из них:

Erasure Coding

Почти все объектные СХД умеют хранить несколько копий одного объекта (репликация), дублируя данные на различные ноды и сайты, обеспечивая тем самым отказоустойчивость. Erasure Coding (EC) — это механизм, похожий на RAID, но выполняется на уровне объекта, который разбивается на несколько частей, а не на уровне целых жестких дисков. EC позволяет существенно уменьшить потребление пространства в хранилище при обеспечении механизма отказоустойчивости.

Geo-EC

Geo Distributed Erasure Coding — это та же функция, но части объекта при этом могут быть на системах, расположенных в разных частях света, позволяя сохранять две или три копии данных, и этим достигать невероятных показателей доступности.

Hierarchical EC

StorageGrid позволяет распределять данные на основе политик их долговечности и отказоустойчивости. Hierarchical Erasure Coding позволяет на основе этих политик автоматически выполнять локальный EC и Geo-EC. Это хорошо подходит для случаев, когда у вас есть три или более сайта. Система защищает от выхода из строя одного из них.

DDP

Dynamic Disk Pools — это функционал оборудования NetApp E-Series, своего рода RAID. DDP позволяет не терять в производительности в случае локального сбоя в работе одного или нескольких дисков. Эта функция отлично дополняет Geo-EC.

Безопасность, целостность и доступность данных

Учитывая историю создания StorageGRID и начальную ориентацию на сектор здравоохранения, эти факторы были и остаются одними из важнейших в составе решения.

• Целостность данных обеспечивается благодаря процессу постоянной их проверки на этапах записи, считывания и миграции. В случае программно определяемой объектной СХД этот процесс практически непрерывный. Поврежденные объекты повторно создаются с географически распределенных копий за прозрачным механизмом.
• Доступность данных обеспечивается за счет Fault-Tolerant архитектуры и поддержки непрерывности операций. К тому же производитель постоянно развивает и обновляет ПО и оборудования платформы. Сервис NetApp AutoSupport может автоматически сообщать команде техподдержки о событиях для активного и быстрого решения проблемы. А упомянутая выше функция Erasure coding улучшает не только доступность каждой ноды, но и время восстановления, положительно влияя на производительность и сетевую активность.
• Высокая защита обеспечивается поддержкой end-to-end шифрования каждого объекта. Также решение поддерживает Multi-Tenancy, особенную архитектуру приложений, которая персонализирует доступ каждого конечного пользователя и исключает перекрестный обмен данными.
• Среди других фич для защиты: поддержка аутентификации и механизмов безопасности для S3 и CDMI, поддержка интеграции с LDAP / AD для аутентификации различных пользователей в рамках одного клиента.

Итого

В свете необратимого процесса трансформации ИТ-сервисов в сторону облачности, централизации управления и высокой доступности объектное хранилище StorageGrid выглядит одновременно устойчивым и зрелым продуктом, ориентированным на новые пути решения бизнес потребностей. Это достаточно универсальный и надежный продукт для приложений с поддержкой RESTful HTTP, который подходит как для больших, так и для мелких объектов.

Сегодня решение вышло далеко за пределы своей первоначальной сферы применения и используется крупными компаниями в самых различных областях. Активно объектное хранилище StorageGrid применяется в сфере облачных вычислений для хранения информации самого разного характера и назначения: начиная от засекреченных данных правительства и заканчивая результатами масштабных бизнес исследований.

Функционал решения позволяет оперировать невероятными массивами данных и обеспечивает практически безграничную масштабируемость при высокой отказоустойчивости и доступности. Конечные пользователи могут фактически не замечать выход из строя целых сайтов. Отдельные технологии позволяют существенно экономить пространство и, соответственно, средства, а широкий список интеграции упрощает внедрение в существующие инфраструктуры и поддержку.

Если вас заинтересовало решение, и вы хотите узнать больше о его преимуществах и возможностях развертывания, приглашаем на страницу StorageGRID на нашем сайте. Здесь вы найдете больше информации и сможете обратиться за консультацией к нашему специалисту.