Download - 9 vinogradov

1 © Copyright 2015 EMC Corporation. All rights reserved.

Хранение контента в интернет сервисах Взгляд EMC


Рост данных меняет подход к хранению Емкость файловых хранилищ растет на 53% ежегодно

•  Чрезмерная сложность –  Большое количество разных технологий защиты данных, протоколов, средств управления

•  Отсутствие экономической гибкости –  Неэффективность, высокие накладные расходы при распределенных архитектурах

•  Отсутствие облачных технологий –  Стандартная архитектура, отсутствие самообслуживания

Source: IDC EMC Digital Universe Study 2014


Современные приложения меняют подход к хранению

•  Слишком сложная архитектура –  Блокировки, репликация, высокая доступность, распределенность

•  Сложность работы с Web и при наличии межсетевых экранов –  Сложность доступа в распределённых сетях

•  Сложность разработки –  Различное оборудование и технологии для различных типов данных


ИЗМЕНЕНИЕ ПОДХОДА К ИНВЕСТИЦИЯМ


Сколько стоит 10 центов?

$1 $10 $100 $1 000 $10 000 $100 000 $1 000 000 $10 000 000 $100 000 000

1 Exabyte

1 Petabyte

1 Terabyte

$0.10/GB SAVINGS = $100,000,000 / EXABYTE


Преимущество стандартных платформ

•  Использование стандартизированных и открытых технологий

•  Проприетарные компоненты дают меньшую экономическую гибкость

•  Стандартные компоненты дают большую экономическую эффективность при использовании специализированного ПО


ЗАЧЕМ МНЕ ЭТО?


Ограничения файловых систем

Структурированная (Таблицы,Индексы,Ключи)

•  Ограничение на количество файлов файловых систем •  Ограничение по объему файлов файловых систем •  Блокировки файловых систем •  Долгие файловые операции листинга, сканирования и т. д. •  Отсутствие возможности создания геораспределенного хранилища с единой точкой входа •  Отсутствие версионности и поколений данных •  Необходимость проведения операций резервного копирования •  Ограничения файловых таблиц •  Различная скорость работы разных файловых систем с разными объемами файлов •  Низкий уровень безопасности •  Низкий уровень защиты данных •  Сложность работы с метаданными •  Существенные ограничения на создание горизонтально-расширяемых хранилищ •  Низкий уровень гибкости и масштабируемости •  Нестабильность работы сетевых файловых систем из-за нестабильной работы каналов связи


Объектное хранение не имеет этих ограничений!


Объект – некая логическая сущность, имеющая четко определенные свойства.


Принципы объектного хранилища •  Доступ к объектам предоставляется по специализированным протоколам отличным от блочных или файловых (протоколы работающие поверх HTTP и основанные на REST: S3, Swift, Atmos)

•  Ориентированность на хранение неструктурированной информации (image, video, audio, html, *ml, любые файлы являющиеся статическим контентом или динамическим контентом на стороне клиента)

•  Каждый объект обладает уникальным адресом

•  Пространство имен объектов является глобальным – любой объект доступен из любого сегмента инфраструктуры в любой момент


ТЕКУЩИЙ РЫНОК ОБЪЕКТНОГО ХРАНЕНИЯ

7.88.4

Cloud Gateways

0.2

Self-built & Open Source1

Emerging Vendor SW

& Appliances

0.1

External Storage

Platforms

0.3

Total Market for Scale-Out Object SW & Appliances

Source: EMC Market Intelligence estimates; Nadkarni, IDC, Jul 2013; IDC, Sep 2014; Turner et al., IDC, Apr 2013; Sheppard, Sep 2014

“The biggest contributors to

[scale-out object market] are DIY deployments…”

--IDC, Jul ‘13

5.0

EMC MARKET INTELLIGENCE


«EVERYTHING SOFTWARE» ПОЧЕМУ НЕТ?


ЗАМЕЧАЕТЕ ЧТО-НИБУДЬ?


«EVERYTHING SOFTWARE» ПОЧЕМУ НЕТ?

ПОТОМУ ЧТО НАДЕЖНОСТЬ ИМЕЕТ ЗНАЧЕНИЕ

ДАЖЕ КОГДА ОЧЕНЬ ДЕШЕВО


ELASTIC CLOUD STORAGE


СИСТЕМА ХРАНЕНИЯ ИЗ КОММОДИТИ КОМПОНЕНТ

ECS Software HDFS

STORAGE OBJECT

STORAGE

Commodity Platforms


Распределенная защита данных Высокая консистентность данных с поддержкой Active-Active read/write

Отсутствие единой точки отказа Единая производительность и эффективность для любых объектов

АРХИТЕКТУРА ECS SOFTWARE

ECS Software HDFS

STORAGE OBJECT

STORAGE

SITE 1 SITE 2 SITE 3


Распределенная защита данных Защита от локальных и глобальных сбоев

Site 1

Site 3

Site 2

•  Сбои оборудования и всего ЦОД –  Disk, Node, Rack, Data Center

•  Ребилд без перегрузок на каналах связи

•  Снижение нагрузки и затрат


Потери емкости на защиту данных

1,33

2,67

2,00 1,77

1,67 1,60 1,55 1,52

0,00

0,50

1,00

1,50

2,00

2,50

3,00

1 2 3 4 5 6 7 8

Overhead

# of Data Centers

Оптимизация доступа, защиты и эффективности


Архитектура Active-Active Read/Write Доступ к контенту без ограничений

https://accesspoint.yourcompany.com •  Единое пространство имен

•  Консистентность данных между всеми ЦОД

•  Оптимизация передачи данных


Единая платформа для всех типов доступа Совместимость с стандартными API

Atmos

•  Различные интерфейсы доступа делают ненужным ETL –  Object, HDFS , File (Future)

•  HDFS совместимость с Cloudera, Hortonworks, Pivotal etc.

•  Поддержка S3, Swift, Atmos и Centera CAS API

•  Расширения API –  Byte-Range updates, Atomic appends,

Rich ACLs etc.

HDFS


ECS Software Enterprise & SPs

DIY with 3rd Party Commodity Hardware

ECS Appliance Enterprise & SPs

Hyperscale Cloud Storage Platform EMC Service and Support


•  Платформа для хранения неструктурированного контента

•  Платформа для хранения аналитических данных

Области применения


Примеры сервисов

Провайдер налоговой отчётности Хранилище контента

Крупнейшая торговая площадка Хранилище контента

Крупнейшая энергетическая компания Платформа для распределенных вычислений


Примеры сервисов

Download - 9 vinogradov

Top Related