oracle big data proposition

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

ПреимуществаOracle Big Data

1


• Oracle – №1 среди 7 вендоров• Oracle – №1 по 3/3 категорий:

– Продукт– Стратегия– Присутствие

на рынке

Forrester Wave: Big Data Hadoop-Optimized Systems

2

http://reprints.forrester.com/#/assets/2/132/%27RES123865%27/reports

http://reprints.forrester.com/#/assets/2/132/%27RES123865%27/reports


4 года непрерывного технологического прогресса

Big Data Appliance X2

Big Data Connectors

3

On-Premise• Big Data Appliance X6• Big Data Connectors• Big Data SQL• Big Data Spatial and Graph• Big Data Discovery• ODI for Big Data• Golden Gate for Big Data

Cloud• Big Data Cloud Service• Big Data SQL Cloud

Service• Big Data Discovery Cloud

Service• Big Data Preparation

Cloud Service• ...

Сен-тябрь2016

Июнь2012


1. Простота доступа к данным

4


Новые реалии в мире управления данными

Появление и развитие новыхсредств программирования

Появление и развитие новых компонентовуправления данными

5


Big Data SQL

6

Транзакции

RelationalHadoop

Логи

NoSQL

Профили клиентов

SQL

Информационная безопасность:ВСЕ данные в рамках единых общих политик обеспечения безопасности


Единый интерфейс обращения к данным

7

Oracle Big Data SQL - нет необходимости переписывать существующие приложения

Oracle Database 12c

Предобработка запросана серверах хранения

Exadata

Быстрый возвратвыборочных данных

Hadoop и NoSQL

Предобработка запросана узлах кластера

SQL

Частьданных

SQL


Развитие Big Data SQL

Операция SQL Технология Версия Big Data SQL

Scan Smart Scan 1.0

Scan Storage Index 2.0

Scan Partition Pruning 3.0

Scan Parquet | ORC Predicate Pushdown 3.0

Join Bloom Filters 3.0

Aggregation Vector Aggregation Ожидается в будущем

8


Big Data SQL – поддерживаемые конфигурацииEngineered Systems

XB

Oracle Cloud*

Commodity Servers Mixed Deployment*

Engineered Systems

Mixed Deployment

* Уже скоро!

9


Структура ячейки Big Data SQL

I/O Stream Data Transfer

Exadata Storage Server Software

Наследованнаятехнология

10


Структура ячейки Big Data SQLSmart Scan

I/O Stream Data TransferКонвертация в

«блочный» формат Oracle

Применение Smart Scan и

других оптимизаций

11


Технологии увеличения скорости Big Data SQLСокращение ввода-вывода

100 TBUser Query Partition Pruning

10 TB

1

Storage Indexing1 TB

2

Predicate Pushdown100 GB

3

12


Технологии Big Data SQL Security

Hadoop SecurityACL’s | Sentry | HDFS Encryption | Encryption in Motion

13


Технологии Big Data SQL Security

• Единые модели безопасности для различных сред хранения данных

• Дополнительные опции по безопасности, такие как «data redaction» могут быть применены к объединенным источникам данных

• Oracle обеспечивает безопасность поверх Hadoop

Hadoop SecurityACL’s | Sentry | HDFS Encryption | Encryption in Motion

14

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 15

Интеграция данных между традиционными реляционными СУБД и миром Big Data

Резервуар данных Хранилище данных

Oracle Loader for Hadoop (Big Data

connectors)

B Copy to BDA

Query in-place with Big Data

SQL

Oracle Table Access for Hadoop


Oracle Big Data

Открытая аналитическая платформа

16


2. Исследованиеновых возможностей

17


Из данных в Hadoop не так легко извлечь пользу

• Существующие аналитические средства не подходят– Требуется много усилий для подготовки данных– Ручная обработка наборов данных– Очистка данных и их подготовка сильно зависят от

ETL инструментов– Аналитические запросы должны быть определены

заранее

• Нет единого инструмента для анализа– Несогласованность данных и визуализации – Нет единого «источника правды»

• Нужен полный функционал

• Сложные компоненты Hadoop– Pig, Oozie, Sqoop, Hive, Spark

• Сложно найти специалистов– Языки программирования

(например, Map Reduce, Python, Scala)

– Мат. статистика и машинное обучение– Интерфейсы с командной строкой

18


Аналитика больших данных требует новых подходов

Изучение

Трансфор-мация

Исследо-вание

Поиск

Интуитивный, интерактивный и наглядный пользовательский

интерфейс

понятный всем, для быстрого поиска, изучения, трансформации

и анализа данных в Hadoop,

а также для общего пользования результатами

19


Big Data Discovery. Визуальный интерфейс к Hadoop

Изучение

Трансфор-мация

Иссле-дование

Поиск

20


• Доступ к интерактивному каталогу данных, расположенных в Hadoop

• Удобный поиск и навигация в наборах данных

• Аннотации, краткие описания и рекомендации к наборам данных

• Загрузка собственных данных

• Автоматическое обогащение данных

• Навигация по собственным и коллективным проектам

21

Легко находите нужные наборы данных


• Понимание структуры данных. Визуализация атрибутов по типам

• Сортировака атрибутов по степени их важности на основе алгоритмов машинного обучения

• Распределение данных, качество данных и выбросы

• Понимание корелляции между атрибутами

• Оценка целесообразности дальнейшей работы с набором данных

22

Изучайте данные и раскрывайте их потенциал


• Интуитивный интерфейс для трансформации данных

• Расширяемая библиотека функций (замена значений, конвертация типов, группировки, слияния и т.д.)

• Предварительный просмотр результатов, отмена, подтверждение и повторное выполнение трансформаций

• Тестирование на небольшом наборе данных в оперативной памяти, применение на полном наборе данных в Hadoop

23

Трансформируйте и обогащайте данные


• Объединение различных данных для более глубокого анализа

• Фильтрация данных с помощью мощного поисковика и интуитивной навигации с подсказками

• Интерфейс «Drag & drop» для создания интерактивных визуальных дэшбордов

• Публикация в Hadoop отчетов на основе смешанных наборов данных

24

Исследуйте данные для получения новых знаний


Делитесь результатами с Вашими коллегами

25

• Делитесь и взаимодействуйте с Вашей командой– Делитесь проектами, закладками, снапшотами

и т.д.

• Публикуйте данные в Hadoop– Трансформации и обогащения могут быть

применены к исходным наборам данных

– Публикация подготовленных наборов данных в HDFS

• Используйте результаты для работы с другими инструментами– Публикуйте данные в Hadoop в форматах,

оптимизированных для аналитических инструментов (например, ORAAH)

– Используйте стандартные компоненты Haddop (например, Pig, Hive, Impala, Python, т.д.)

Oracle Big Data Discovery отлично работает со всех экосистемой Big Data

Explore

TransformDiscover

Find

Share & Collaborate

raw data

transformed data

data reservoir(HDFS)

Publish

data warehouse

business intelligence

advanced analytics

other hadoop tools

Leverage


3. Развертывание,сопровождение

и TCO

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal

BIG DATA APPLIANCE – аппаратная платформа До 792 ядер с 4.6TB RAM (расширяется до 13.8TB) До 1728 TB дискового пространства 40 Gb/s InfiniBand

Оптимизации для LinuxСконфигурированная JavaСетевые оптимизацииОптимизации для HadoopЕдиная точка обновления и патчирования

Star

ter

Full

Минимум 6 узлов и расширение по 96TB до 20+ систем в кластере

Kerberos аутентификацияАвторизация Apache SentryАудит Oracle Audit VaultШифрование данныхШифрование трафикаЦентрализированное управление через OEM 12c

+1

+1

+1

+1

+1

+1

• МОЩНЫЙ

• МОДУЛЬНЫЙ

• ОПТИМИЗИРОВАННЫЙ

• БЕЗОПАСНЫЙ

• УПРАВЛЯЕМЫЙ

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |Oracle Confidential – Internal 28

• Oracle Linux 5 или Oracle Linux 6 • Oracle Java – JDK 8• Oracle R Distribution • Oracle Big Data Appliance Enterprise Manager Plug-In• Big Data SQL (опционально, лицензируется отдельно)• Big Data Discovery (опционально, лицензируется отдельно)• Oracle NoSQL Database Enterprise Edition(опционально, лицензируется отдельно)

• Cloudera Enterprise 5 – Data Hub Edition • Cloudera’s Distribution including Apache Hadoop (CDH) with support for YARN and MR2 • Cloudera Impala • HBase (as well as support for Accumulo) • Cloudera Search • Apache Spark • Cloudera Manager including: • Cloudera Back-up and Disaster Recovery (BDR) • Cloudera Navigator

BIG DATA APPLIANCE – программное обеспечение

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 29

Эластичное масштабирование от Starter Rack to Multi-Rack

Starter FullMulti-Rack

• Начальная конфигурация включает 6 BDA узлов и все свитчи- Можно добавлять по одному BDA узлу

• Системы предыдущих поколений можно расширять новыми узлами

29

HC


Что вам НЕ придется делать с Big Data Appliance (1/2)• Подбирать и оптимизировать компоненты – серверы, диски,

количество дисков, процессоры, сети, память и т.п.• Заключать отдельный договор о поддержке с Cloudera• Собирать кластер• Настраивать сетевые коммутаторы• Инсталлировать операционную систему на каждом узле и• Отслеживать и устанавливать оптимальные версии драйверов и

прошивок для каждого компонента• Настраивать операционную систему для оптимальной

производительности (у нас же очень много данных!)• Настраивать Java

30


Что вам НЕ придется делать с Big Data Appliance (2/2)• Инсталлировать дополнительное ПО от Cloudera• Тестировать работоспособность и производительность каждого

узла кластера• Заниматься самостоятельно трудоемкой процедурой

многуровнего апгрейда и патчирования BIOS, OS, Java, Hadoop и т.п.

• И просто следить за тем, что нужно что-то проапгрейдить• Изучать как это все сделать без остановки и прерывания работы

пользователей• Заниматься дизайном перебалансировки кластера при его

расширении• И т.д. и т.п.

31


Использование готовых продуктов Oracle

Разработка решения на основе ПО и оборудования общего назначения

Платформа уже готова к использованию с возможностью достижения результата в предсказуемые и контролируемые сроки.

Каждое решение есть результат разработки и требует разработки, нескольких этапов тестирования и технической поддержки, что удорожает и замедляет внедрение.

Небольшое количество комбинаций оборудования и ПО от одного вендора оптимизированного работать вместе.

Большое количество возможных комбинаций ПО и оборудования от разных вендоров с разными и часто не совпадающими характеристиками по производительности и надежности.

Возможность объединять в одном SQL запросе реляционные и не реляционные данные без ущерба производительности.

Анализ реляционных и нереляционных данных, как правило, - это две параллельные активности, требующие дополнительной интеграции.

Возможность обеспечить единый SLA от одного вендора упрощает поддержку и делает ее более предсказуемой.

Многовендорный подход создает риск конфликта зон ответственности и, как следствие, оперативного определения и устранения неисправности.

Возможность предоставить дорожную карту развития с использованием лучших практик индустрии и наработанного внутреннего опыта.

Каждый компонент в решении имеет свою дорожную карту развития и жизненный цикл, что может привести к технологической и функциональной не совместимости.

Изначально более высокое инвестирование предоставляет платформу, готовую для обработки больших объемов данных и извлечения из них максимальной пользы для бизнеса.

Изначально более низкое инвестирование предоставит платформу годную для пилотных экспериментов и ограниченной полезности результатов исследования для бизнеса. В дальнейшем потребуются дополнительные инвестиции и время для реализации платформы, полезной для бизнеса в полном объеме.

Методология управления информацией Oracle BigData: Купить или разрабатывать самому?

32


TCO и развитие системы• Экономия на лицензировании:

– По кол-ву дисков (например, Oracle Big Data SQL):• Больше размер дисков → меньше лицензий для нужного объема данных

• Экономия на тех. поддержке ПО:– 12% от стоимости Oracle Big Data Appliance, тех. поддержка Cloudera учтена– Напрямую покупать дороже

(цена на узел $3000-$7000, узлы могут быть «слабее»)

• Западные заказчики переходят на Enterprise-решения• Рынок развивается в сторону конвергентных систем, а не подхода

«сделай сам»

33


Техническая поддержка• Premier Support: 24х7, русский язык в рабочие часы с 9:00 до 18:00• Покрывает весь «стек» программно-аппаратного комплекса:

– Аппаратные компоненты– Системное ПО (ОС, Java и т.д.)– Платформенное ПО Cloudera

• Единый интерфейс обращения – через Oracle • 12% от стоимости решения в год

34


BDA: Maximum Availability Architecture

Automatic Failover of the NameNode on BDA

Automatic Failover of the ResourceManager on BDA

White Paper: Maximum Availability Architecture for Big Data Appliance

35

http://www.oracle.com/technetwork/database/availability/bda-maa-2942174.pdf


4. Производительность

36

Oracle Big Data Appliance В 2X быстрее самосборного

кластера1

Software and workloads used in performance tests may have been optimized for performance only on Intel microprocessors. Performance tests, such as SYSmark and MobileMark, are measured using specific computer systems, components, software, operations and functions. Any change to any of those factors may cause the results to vary. You should consult other information and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that product when combined with other products. For more complete information visit http://www.intel.com/performance. Tests document performance of components on a particular test, in specific systems. Differences in hardware, software, or configuration will affect actual performance. Consult other sources of information to evaluate performance as you consider your purchase. For more complete information about performance and benchmark results, visit http://www.intel.com/performance. 1 - Configurations were compared by using the Big Data Benchmark for BigBench.Oracle* Big Data Appliance configuration included 6 nodes comprised of: Intel® Xeon® CPU E5-2699 v3 (HT enabled) with 128 GB DDR4, 12 X 4TB HDD, Infiniband network (1 connection) observed max throughput 24 Gb/sec, Oracle* Linux Enterprise 6, and CDH* 5.4.4 with modified configuration. DIY cluster configuration included 6 nodes comprised of: Intel® Xeon® CPU E5-2699 v3 (HT enabled) with 128 GB DDR4, 1 x 64GB SSD for OS, 12 X 4TB HDD, 10Gb network (1 connection), CentOS* 6.6, CDH* 5.3.3 with minimal changes.

http://www.intel.com/performance

http://www.intel.com/performance


1DMP (CleverDATA)

• Результаты тестирования:– Обработка более 101,5 тысяч (в 1,45 раз больше

изначально ожидаемого числа) запросов в секунду всего на одном узле Oracle Big Data Appliance. Время отклика на запрос в 99% случаев не превысило 1,17 миллисекунды (в 1,7 раза лучше ожидаемого).

– Время классификации Интернет-страниц и построение пользовательских профилей на 6 узлах Oracle Big Data Appliance составило 11 минут 17 секунд и оказалось в 5,43 раза лучше ожидаемых результатов.

Тестирование партнерского решения в РФ

«Число клиентов Биржи данных растет, а это значит, что актуальными становятся вопросы увеличения

производительности и масштабируемости решения. Мы решили эти задачи за счет портирования

платформы на Oracle Big Data Appliance, что позволит клиентам 1DMP строить на облачной площадке собственные решения по управлению большими

данными, накапливать и за короткое время классифицировать большие объемы информации,

формировать профили клиентов для целей таргетированного маркетинга. Комплекс Oracle Big Data Appliance позволил нам обеспечивать короткое

минимальное время отклика, что является критичным на данном рынке работы с данными»

Денис Афанасьев, генеральный директор CleverDATA

http://cleverdata.ru/1dmp-na-oracle-big-data-appliance/

38

http://cleverdata.ru/1dmp-na-oracle-big-data-appliance/


IQPLATFORM® (Айкумен ИБС)

• Результаты тестирования:– Скорость поиска в архиве выросла в 9 раз –

с 40 000 до 366 600 документов в секунду


«Ускорение обработки данных с применением программно-аппаратных комплексов Oracle

Exadata, Oracle Exalogic и Oracle Big Data Appliance позволяет нашим клиентам наиболее

эффективно обрабатывать большие массивы накопленной информации, используя быстрый онлайн-доступ к необходимым данным для их

комплексного анализа прямо на входном потоке. Таким образом, открываются возможности

решения нового класса исследовательских задач, требующих обработки данных в режиме

реального времени»

Дмитрий Часовской,руководитель проектного отдела «Айкумен ИБС»

39

http://www.iqmen.ru/iqmen-oracle_exastack

http://www.iqmen.ru/iqmen-oracle_exastack


ForSMedia (ФОРС – ЦР)

• Результаты тестирования:– Скорость поиска в архиве выросла в 9 раз –

с 40 000 до 366 600 документов в секунду


«Столь впечатляющие результаты тестирования ForSMedia на Oracle Exalytics In-

Memory Machine и Oracle Big Data Appliance свидетельствуют о несомненных

преимуществах этих оптимизированных программно-аппаратных комплексов перед традиционными, что открывает широкие

перспективы для продвижения наших решений с использованием технологий Больших данных

среди компаний финансового, телекоммуникационного сектора, в ритейле и

других индустриях»

Алексей Голосов, президент ФОРС

40

http://www.fors.ru/pressroom/news/1892/

http://www.fors.ru/pressroom/news/1892/

oracle big data proposition

Technology