mongodb и emc xtremio · елая книга mongodb и emc xtremio алидация...

Белая книга

MongoDB и EMC XtremIO Валидация стабильной производительности, горизонтальное масштабирование емкости по требованию, сокращение объемов данных на лету и моментальные снимки

Группа вертикальных решений EMC E-LabTM

Резюме

В этой белой книге содержится техническая валидация для развертывания MongoDB в массиве на флэш-дисках EMC XtremIO, а также описание ключевых преимуществ этого решения.

Май 2015 г.

MongoDB и EMC XtremIO 2 Валидация стабильной производительности, горизонтальное масштабирование

емкости по требованию,сокращение объемов данных «на лету» и услуги по созданию оперативных моментальных снимков

© Корпорация EMC, 2015 г. Все права защищены.

По сведениям EMC информация, содержащаяся в данной публикации, является правильной на дату публикации. Информация может измениться без оповещения.

Содержащаяся в данной публикации информация предоставляется на условиях «как есть». Корпорация EMC не предоставляет никаких условий или гарантий в отношении указанной информации и отказывается от подразумеваемых гарантий коммерческой ценности и пригодности для определенной цели.

Использование, копирование и распространение любых продуктов ЕМС, описанных в данной публикации, требует наличия соответствующей лицензии.

Актуальный перечень наименований продуктов EMC приведен в разделе «Товарные знаки корпорации EMC» на веб-сайте russia.emc.com.

Все товарные знаки, упомянутые здесь, являются собственностью их владельцев.

Номер по каталогу: H14226



Содержание

Краткое содержание ........................................................................................................................... 4

Введение ............................................................................................................................................................. 5

MongoDB ........................................................................................................................................................ 5

Бизнес-обоснование ................................................................................................................................... 5

Преимущества решений MongoDB и XtremIO ........................................................................................... 6

Стабильная производит-ельность .......................................................................................................... 7

Тесты производительности для работы базы данных MongoDB в массиве XtremIO ........... 7

Основная информация о тестировании ........................................................................................... 7

Подробные сведения о тестировании ............................................................................................... 8

Масштабируемость производительности и емкости по требованию ........................................... 12

Экономичное сокращение объемов данных «на лету» ................................................................... 12

Общая эффективность для сокращения совокупной стоимости инфраструктуры MongoDB ................................................................................................................. 12

Услуги по созданию оперативных моментальных снимков ............................................................ 13

Клонирование базы данных MongoDB за несколько минут с помощью

моментальных снимков XtremIO ....................................................................................................... 14

Простота управления ............................................................................................................................... 16

Расширенная защита данных и высокая доступность ..................................................................... 17

Свободное шифрование данных в состоянии покоя ........................................................................ 18

Сведения о среде тестирования ................................................................................................................. 19

Конфигурация сервера ............................................................................................................................ 19

Конфигурация программного обеспечения ........................................................................................ 19

Заключение ....................................................................................................................................................... 20

Справочные материалы ................................................................................................................................ 21



Краткое содержание

Данный документ содержит техническую валидацию для развертывания MongoDB 2.6.7 в массиве на флэш-дисках EMC XtremIO.

В этой белой книге рассматриваются преимущества решения и вводные сведения по развертыванию массива хранения XtremIO в среде MongoDB, в том числе:

стабильная производительность с задержкой менее 1 мс;

горизонтально масштабируемая по требованию

производительность и емкость;

существенное уменьшение емкости системы хранения,

необходимой для баз данных;

создание клонов баз данных за считанные минуты без

прерывания работы;

высокая доступность и безопасность инфраструктуры базы

данных.

Этот документ предназначен для использования разработчиками, инженерами, администраторами систем хранения и баз данных, а также партнерами, которые планируют развернуть массив хранения EMC XtremIO в среде MongoDB.



Введение

MongoDB MongoDB — одна из ведущих баз данных следующего поколения, которые помогают предприятиям трансформировать целые отрасли экономики, используя технологии обработки данных. Многие передовые организации во всем мире — от новаторских стартапов до крупнейших компаний — используют MongoDB для создания приложений, которые раньше были недоступны. При этом затраты составляют лишь малую часть стоимости традиционных баз данных. MongoDB — это первая по темпам роста экосистема баз данных. На ее счету более 9 миллионов загрузок, тысячи заказчиков и более 750 партнеров по технологиям и услугам.

Бизнес-обоснование

В большинстве случаев при развертывании MongoDB используется система хранения данных, подсоединенная непосредственно к серверу (DAS), в первую очередь потому что система DAS изначально считается экономически эффективной, простой и быстрой. Практически во всех средах MongoDB работа начинается с нескольких узлов и базовых требований к количеству операций БД в секунду. Когда компании начинают масштабирование, возникают первые сложности.

Трудности возникают, поскольку приложения следующего поколения получают широкое распространение, в результате чего растут требования к росту и производительности базовой инфраструктуры. По мере масштабирования среды могут возникать проблемы с системой DAS: сложность и неэффективность управления производительностью, емкостью и доступностью на участках экземпляров DAS. Это повышает риск и затраты организации.

По этим причинам многие ИТ-службы консолидируют свои архитектуры MongoDB DAS на твердотельных дисках XtremIO. XtremIO — это ведущий массив на флэш-дисках, трансформирующий рабочие нагрузки MongoDB через консолидированную архитектуру на твердотельных дисках, которая обеспечивает горизонтальное масштабирование производительности и емкости по требованию с помощью стабильной задержки приложений на уровне менее 1 мс.

Широкий набор встроенных постоянно доступных сервисов управления данными, включая сервисы дедупликации, сжатия и создания компактных моментальных снимков, обеспечивает чрезвычайную экономичность XtremIO для сред MongoDB по сравнению с архитектурой DAS. В отличие от DAS, XtremIO также предлагает расширенное шифрование данных в состоянии покоя и широкий спектр услуг по обеспечению доступности, включая бесперебойную модернизацию — и все это без снижения производительности. При этом среды MongoDB остаются доступными и защищенными. Возможность консолидации непроизводственных и производственных сред в сочетании с клонированием в памяти XtremIO обеспечивает новые возможности для оперативной разработки приложений.



Преимущества решений MongoDB и XtremIO

Массив на флэш-дисках EMC XtremIO — это оптимальный выбор для заказчиков, которые хотят получить простоту использования, экономичность и стабильную эффективность горизонтально масштабируемой системы хранения, а также дополнительные преимущества сокращения объема данных и сервисы управления данными, которые не может предложить DAS. Ниже перечислены преимущества развертывания MongoDB в массиве XtremIO.

Стабильная производительность

Горизонтальное масштабирование производительностии емкости по требованию

Экономичное сокращение объемов данных «на лету»

Услуги по созданию оперативных моментальных снимков

Простое управление и администрирование

Улучшенная защита данных и высокая доступность

Свободное шифрование данных в состоянии покоя

В этом документе мы подробно рассмотрим каждое из этих преимуществ.



Стабильная

производит-

ельность

XtremIO — это идеальная платформа хранения для ускорения баз данных MongoDB, которая обеспечивает непревзойденную транзакционную скорость со стабильно низкой задержкой. В XtremIO автоматическое сбалансированное распределение данных обеспечивает стабильную производительность на протяжении всего жизненного цикла томов, независимо от режимов ввода-вывода, размещения данных и размера кластера. Преимущества алгоритмов, оптимизированных для твердотельных дисков, и контроллеров в конфигурации «активный-активный» позволяют XtremIO обеспечивать стабильную производительность даже при смешанных рабочих нагрузках. Кроме того, производительность остается полностью сбалансированной, а время задержки не превышает доли миллисекунды даже в больших масштабах.

Тесты производительности для работы базы данных MongoDB в массиве XtremIO

Тесты, результаты которых приведены ниже, иллюстрируют стабильную производительность массива XtremIO с использованием кластера с двумя модулями X- Brick с помощью различных запросов и операций записи в среде MongoDB. Мы выполнили два сценария тестирования, используя MongoPerf, чтобы смоделировать различные операции MongoDB на томе XtremIO.

MongoPerf — это утилита, которая проверяет производительность операций ввода-вывода системы хранения независимо от MongoDB. Она записывает и представляет результаты тестов произвольных операций ввода-вывода.

Основная информация о тестировании

Примечание. В таблице выше показана производительность, которую следует ожидать от одного узла MongoDB, подключенного к кластеру XtremIO с модулями X-Brick. По мере добавления дополнительных узлов кластер с двумя модулями X-Brick (подобный используемому в данном тестировании) способны обслуживать значительно больше операций ввода-вывода системы хранения и более широкую полосу пропускания.

Сценарий тестирования

Подробные сведения

Количество IOPS в системе хранения

Задержка Количество операций БД в секунду

Тест 1 Моделирование операций записи базы данных MongoDB на тестовом файле размером 1 Тбайт

50 000 (ЧТЕНИЕ: 50%, ЗАПИСЬ: 50%)

Менее 0,25 мс

25 000

Тест 2

Моделирование смешанных (запросы и записи) операций MongoDB на тестовом файле размером 1 Тбайт

55 000 (ЧТЕНИЕ: 60%, ЗАПИСЬ: 40%)

Менее 0,25 мс

45 000



Подробные сведения о тестировании

Сценарий тестирования 1.

Моделирование операцией записи базы данных MongoDB с помощью MongoPerf

Утилита MongoPerf работает с использованием следующих параметров в логическом модуле MongoDB:

nThreads:16, fileSizeMB:1000000, mmf:true, r: false, w:true

Расширяющийся тестовый файл (только операции записи)

На графике видно, что массив XtremIO может легко масштабироваться до

пропускной способности записи около 2000 Мбайт/с при расширении тестового файла 1 Тбайт из-за его архитектуры с несколькими контроллерами в конфигурации «активный/активный».

Полоса пропускания томов в Мбайт/с, во время

расширения тестового файла размером 1000 Гбайт



Моделирование операций базы данных на тестовом файле

Количество IOPS системы хранения во время операций базы данных

Задержка системы хранения остается стабильной на уровне нескольких микросекунд во время операций базы данных



Сценарий тестирования 2.

Моделирование операций смешанных баз данных MongoDB с помощью утилиты MongoPerf

Утилита MongoPerf работает с использованием следующих параметров в логическом модуле MongoDB:

nThreads:16, fileSizeMB:1000000, mmf:true, r: true, w:true

Расширяемый тестовый файл

Полоса пропускания томов в Мбайт/с во время расширения тестового файла размером 1000 Гбайт

Моделирование операций базы данных на тестовом файле

Количество IOPS системы хранения во время операций базы данных



Задержка системы хранения на уровне нескольких микросекунд во время операций базы данных



Масштабируемость производительности и емкости по требованию

MongoDB легко масштабируется для обеспечения быстродействия и производительности в режиме реального времени в соответствии с потребностями бизнеса. XtremIO — это единственный массив на флэш-дисках, который можно масштабировать до нескольких узлов с линейным увеличением количества IOPS, полосы пропускания и, разумеется, емкости — и все это при задержке на уровне менее одной миллисекунды. По мере роста приложения MongoDB XtremIO будет линейно масштабировать количество IOPS и емкость со стабильной задержкой. Эти операции выполняются параллельно — по требованию и без в оперативном режиме.

Система хранения данных XtremIO создана на базе горизонтально масштабируемой архитектуры. Сначала система состоит из одного строительного блока — модуля X-Brick. Если требуется дополнительная производительность и емкость, система масштабируется путем добавления модулей X-Brick. Производительность масштабируется линейно. Это означает, что по сравнению с конфигурацией с одним модулем X-Brick конфигурация с двумя модулями X-Brick обеспечивает в два раза больше операций ввода-вывода в секунду, с четырьмя модулями — в четыре раза больше, и так далее. При горизонтальном масштабировании системы задержка остается стабильно неизменной.

Ожидаемая производительность

2 модуля X-Brick

4 модуля X-Brick

6 модулей X-Brick

8 модулей X-Brick

Обычный диапазон профиля ввода-вывода (10%–40% операций записи)

IOPS 220 000– 300 000

440 000– 600 000

660 000– 900 000

880 000– 1 200 000

Задержка Менее 1 мс

Менее 1 мс

Менее 1 мс

Менее 1 мс

Экономичное сокращение объемов данных «на лету»

В соответствии с особенностями MongoDB флэш-диски становятся важнейшей составляющей базовой архитектуры. Однако управление экономическими показатели использования флэш-дисков в традиционном развертывании DAS становится проблемой. Функциональность сокращения объемов данных в XtremIO включает сжатие, дедупликацию, «тонкое» выделение ресурсов и сервисы создания компактных моментальных снимков. Эти функции значительно повышают эффективность использования данных, что приводит к снижению совокупной стоимости владения. В отличие от других массивов на флэш-дисках, все сервисы управления данными всегда действуют «на лету» без потерь производительности.

Общая эффективность для сокращения совокупной стоимости инфраструктуры MongoDB

Протестированный массив хранения XtremeIO, используя преимущества «тонкого» выделения ресурсов и сокращение объемов данных «на лету», достигает общей эффективности емкости 22:1. При используемой емкости в 27,083 Тбайт массив XtremIO потребляет только 3,98 Тбайт физической емкости. Стоит отметить, что требование к сжатию емкости хранения данных в 7 раз было снижено «на лету» в результате постоянной дедупликации и сжатия.



Дополнительные сведения о сокращении объемов данных см. В документе «ВВЕДЕНИЕ В МАССИВ ХРАНЕНИЯ ДАННЫХ EMC XTREMIO (версия 3.0)» на портале http://support.emc.com

Услуги по

созданию

оперативных

моментальных

снимков

MongoDB предоставляет разработчикам возможность значительно повысить производительность и обеспечить сокращение времени до выхода на рынок благодаря оперативным методам DevOps и традиционным рабочим процессам тестирования и разработки. Операции копирования традиционных систем хранения данных не только влияют на производительность, но и чрезвычайно медленны, проблематичны и расточительны. Обычно им требуется несколько часов или дней на создание копий «лобовым» методом. Это мешает Mongo ускорить циклы оперативной разработки.

Революционные сервисы создания моментальных снимков XtremIO улучшают оперативные процессы и включают новые возможности для трансформации вашего бизнеса. Используя уникальные содержащиеся в памяти моментальные снимки с полной производительностью, XtremIO позволяет консолидировать среды тестирования, разработки и производственные среды на одной платформе. Это предоставляет разработчикам возможности создания параллельных сред с любым необходимым количеством копий без ущерба для соблюдения соглашений об уровне обслуживания. Консолидация этих рабочих нагрузок и моментальных снимков снижает совокупную стоимость владения, ускоряет рабочий процесс и даже позволяет выполнять тестирование копий для разработки в реальной производственной среде, тем самым совершенствуя код.

Дополнительные сведения о моментальных снимках XtremIO см. В документе «ОБЩИЕ СВЕДЕНИЯ О МАССИВЕ ХРАНЕНИЯ ДАННЫХ EMC XTREMIO (версия 3.0)» на портале http://support.emc.com

http://support.emc.com/




Клонирование базы данных MongoDB за несколько минут с помощью моментальных снимков XtremIO

Заказчик может использовать XtremIO для клонирования базы данных для резервного копирования, тестирования, разработки и производственных копий. Производительность клона и производственного тома будет идентичной.

Копирование базы данных с одного узла на другой можно выполнить за 4 описанных ниже шага.

(Примечание. Для достижения стабильного состояния приложения все необходимые операции следует выполнить в базе данных и операционной системе, прежде чем выполнять копирование.)

Шаг 1. Выберите и присвойте имя копии в томах, в которых размещена база данных.



Шаг 2. Подключите копию к хосту назначения в 4 клика.

Шаг 3. Просканируйте и смонтируйте моментальный снимок на хосте назначения.

Например, в ОС Linux можно использовать команду

# rescan-scsi-bus.sh -i -r

Измените /etc/fstab, чтобы добавить правильное содержимое

/dev/mapper/mpathb1 /mongodb ext4 discard,noatime 1 2

#mount /mongodb

Шаг 4. Запустите базу данных, указав путь dbpath к моментальному снимку.

Mongod --dbpath /mongodb/data --logpath /mongodb/log/config.log --port 27017 -- fork

Будет создан клон MongoDB. Заказчики могут использовать этот клон MongoDB для разработки и тестирования параллельно с производством.



Простота управления

Приложение MongoDB необходимо запустить на платформе хранения, поддерживающей простоту его использования. Крупномасштабное развертывание системы DAS приводит к появлению неэффективных и трудных в управлении изолированных систем хранения. Каждый раз при добавлении сервера к среде для удовлетворения растущих требований приложений управление усложняется, поскольку каждый сервер необходимо администрировать отдельно. В отличие от DAS, XtremIO позволяет консолидировать все кластеры и приложения Mongo на одной простой платформе, поэтому вам не придется беспокоиться о контроле множества изолированных точек хранения.

Как и MongoDB, массив XtremIO прост в использовании. Его очень легко настраивать и управлять им без конфигурации RAID, без многоуровневого хранения и без необходимости ручной настройки и оптимизации параметров производительности. XtremIO не требует навыков работы с системой хранения и практически не требует обучения. Администраторы MongoDB могут отслеживать все тома для каждого экземпляра MongoDB, предоставляя детальную отчетность.

С помощью XtremIO управлять горизонтально масштабируемой средой MongoDB еще проще. Вы можете без труда отслеживать рост физической емкости по сравнению с эффективной емкостью, чтобы упростить планирование расширения. По мере расширения вашего кластера и добавления дополнительных модулей X-Brick набор данных автоматически повторно балансируется по кластеру в оперативном режиме, и всеми массивами можно управлять из одного графического интерфейса пользователя. Функции тегирования и поиска массива XtremIO обеспечивают соответствие управления системой хранения бизнес-требованиям. Вы можете помечать тома для тестирования и разработки или определенные экземпляры mongo, чтобы впоследствии иметь возможность фильтрации отчетов по меткам.

Ниже приведено изображение панели управления в графическом интерфейсе пользователя, которая позволяет пользователю выполнять мониторинг хранения, производительности и оповещений системы.



На следующем рисунке показана панель управления в графическом интерфейсе пользователя, которая позволяет пользователю выполнять мониторинг состояния оборудования.

Расширенная защита данных и высокая доступность

Среды MongoDB становятся все более важными. Они требуют архитектуры высокой доступности и соответствующих услуг по обеспечению непрерывности бизнеса. XtremIO — это N-канальный массив с конфигурацией «активный-активный» без критических точек отказа. В производственных условиях XtremIO показал доступность на уровне выше 99,999%, а в сочетании с решениями EMC для внедрения центров обработки данных с конфигурацией «активный-активный» — выше 99,9999%. Он также обеспечивает лучшие в своем классе решения EMC по репликации и мобильности данных. Кроме того, сервисы XtremIO по обеспечению полной производительности и созданию моментальных снимков без издержек могут также использоваться для резервного копирования и защиты от логических повреждений. Наконец, схема защиты данных в XtremIO, XDP, использует произвольный характер доступа к флэш-дискам, что позволяет значительно сократить издержки емкости, улучшить защиту данных и повысить срок службы и производительность по сравнению с любым алгоритмом RAID.

Дополнительные сведения об улучшенной защите данных и высокой доступности см. в документе «ОБЩИЕ СВЕДЕНИЯ О МАССИВЕ ХРАНЕНИЯ ДАННЫХ EMC XTREMIO (версия 3.0)» на портале http://support.emc.com




Свободное

шифрование

данных в

состоянии покоя

С внедрением MongoDB во всех сферах бизнеса заказчиков конфиденциальность данных становится главным приоритетом. XtremIO предлагает свободное шифрование данных в состоянии покоя «на лету» на базе массива, что позволяет заказчикам обеспечить соответствие требованиям регуляторов требованиям регуляторов и нормативным требованиям без дополнительных расходов и сложности. Это устраняет необходимость в программное обеспечении для шифрования сторонних производителей.

Технология шифрования данных в состоянии покоя (DARE) обеспечивает шифрование на лету. Благодаря этому все данные, хранящиеся на твердотельных дисках, становятся непригодными для использования при извлечении твердотельного диска. Это предотвращает несанкционированный доступ в случае кражи или утери диска при транспортировке, а также позволяет выполнять операции возврата и обмена дисков, содержащих конфиденциальные данные.

Дополнительные сведения о шифровании данных в состоянии покоя см. В документе «ОБЩИЕ СВЕДЕНИЯ О МАССИВЕ ХРАНЕНИЯ ДАННЫХ EMC XTREMIO (версия 3.0)» на портале http://support.emc.com




Сведения о среде тестирования

На приведенной ниже схеме представлена конфигурация оборудования, описанного в этой книге.

Конфигурация сервера

Для тестирования использовался один сервер Cisco UCS C460

Конфигурация программного обеспечения

Сведения о конфигурации хоста см. в документе «Руководство по настройке хостов XtremIO версии 2.2.x — 3.0.1» на сайте http://support.EMC.com

Компонент Описание

Процессор 4 intel Xeon® RE704830 @ 2,13 ГГц EA

Память 128 Гбайт

MongoDB Версия 2.6.7




Заключение

Массив XtremIO трансформирует инфраструктуру хранения данных для ваших сред MongoDB. XtremIO предоставляет революционную горизонтально масштабируемую платформу, консолидирует и ускоряет рабочие процессы разработки, тестирования и производства. Кроме того, он снабжен эффективными сервисами сокращения объемов данных и создания моментальных снимков. Администраторы, инженеры и разработчики получат преимущества от консолидированной и существенно упрощенной инфраструктуры для повышения производительности MongoDB, планирования емкости и доступности, при этом снижая и контролируя затраты на хранение.

Стабильная производительность с задержкой менее 1 мс

Горизонтально масштабируемая по требованию

производительность и емкость

Экономичные флэш-технологии с сокращением объема данных

«на лету»

Существенное уменьшение емкости системы хранения,

необходимой для баз данных

Создание клонов баз данных за считанные минуты без

прерывания работы

Ускорение гибкой разработки с помощью компактных

моментальных снимков

Высокая доступность и безопасность инфраструктуры базы

данных



Справочные материалы

Ниже перечислены документы, на которые даются ссылки в данном материале

ОБЩИЕ СВЕДЕНИЯ О МАССИВЕ ХРАНЕНИЯ ДАННЫХ EMC XTREMIO (версия 3.0)

Руководство по настройке хоста для XtremIO версии

2.2.x—3.0.1 РУКОВОДСТВО MONGODB 2.6

mongodb и emc xtremio · елая книга mongodb и emc xtremio алидация...

Documents