Автономнаябазаданныхи oracle 19c: революцияи эволюцияв...
TRANSCRIPT
Автономная база данных и Oracle 19c: революция и эволюция в системахуправления даннымиАнтон СемчишенСтарший технический консультант
Oracle EMEA EECIS2019
Copyright © 2016 Oracle and/or its affiliates. All rights reserved.
Safe Harbor Statement
The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.
2
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Программа:
Oracle - Public 3
Эволюция: Oracle Database: от 12с к 19с
Что нового в новых версиях?
СУБД: On-prem, Cloud, Hybrid?
Революция: Автономная база данных
1
2
3
4
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Database Release and Support Timelines
2009
2010
2011
2012
2013
2014
2015
2016
2017
2018
2019
2020
2021
2022
2023
2024
2025
2026
2027
EXTENDED
EXTENDED*
12.2
18c
20c
11.2 EXTENDED
EXTENDED12.1
12.2.0.1
Oracle 19OrOracle 1919c
Paid Extended SupportPremier Waived Extended Support Fee
4
*Oracle Database 19c is the long term support release.Always check MOS Note 742060.1 for the latest schedule.
Oracle - Public 4
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Oracle Database 12c Release 2
5
Новое
MultitenantКонсолидация и управление
И многое другое в разделах Performance, Availability, Security, Analytics, AppDev
ShardingДля распределенных web приложений
Database In-MemoryПроизводительность аналитических запросов
Oracle - Public
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Oracle Sharding – Новый подход к архитектуре
Oracle Sharding
…
Единая логическая БД
Единая физическая БД
N физических БД
Oracle RAC
…
Oracle - Public 6
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Column
Format
Memory
Row
Format
Memory
AnalyticsOLTPSales Sales
Oracle In-Memory: Оба формата данных в памяти СУБД
И строчный и колоночный формат хранения в памяти для одних и тех же данных/таблиц
Данные одновременно активны и транзакционно согласованы
В 100 раз быстрее аналитика & отчетность: поколоночный формат
В 2 раза быстрее OLTP: строчный формат
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Требуются память, процессы и файлы базы данных Системные Ресурсы
Oracle Multitenant: Новая архитектура СУБД
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Системные Ресурсы
Oracle Multitenant: Новая архитектура СУБДПамять и процессы нужны только для контейнера
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Производительность
• In-Memory Column Store
• Engineered Systems
10
12.1 12.2, 18c, 19c
• 12.2• In Memory JSON Queries• In Memory Active Standby
• 18c• Memory Optimized Row Store
• 19c• Fast ingest support for IoT type workloads• Quarantine for SQL Statements• Improvements for count distinct and group
by queries
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
• Automatic Indexing базируется на лучших практиках SQL тюнинга
• Алгоритм находит индексы кандидаты и валидирует их перед имплементацией
• Полностью автоматический процесс
• Работа алгоритма прозрачна для пользователя:
– Все активности автотюнинга можно видеть в репортах
11
Автоматическое индексирование
MONITOR
ONLINEVALIDATION
CAPTURE
IDENTIFY
VERIFY
DECIDE
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Высокая доступность (HA)
12
12.1 12.2, 18c, 19c
• 12.2• Sharding• Autonomous Health Framework
• 18c• Sharded RAC
• 19c• Data Guard DML Redirect• Sharding now supports multiple PDB
shards in a CDB• Application Continuity
• Оптимизированны все ключевые технологии высокой доступности:
• Real Application Clusters, Active Data Guard, Recovery Appliance
• Oracle GoldenGate для гетерогенной репликации
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Active Data Guard : DML Redirection
• Когда резервная площадка - Read Mostly
13
PRIMARY ACTIVE STANDBY
DML1
2 DML перенаправляется на PRIMARY
3 DML применяется на PRIMARY
4 Изменения реплицируются на STANDBY
5 Данные видимыклиенту
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Хранилище данных (DWH) и большие данные
• The most advanced analytics engine available today
• Partitioning, Compression, SQL, Analytical Views, Analytical SQL, Data Mining
• Easily analyze data held in Hadoop with Big Data SQL
• Big Data Appliance
14
12.1 12.2, 18c, 19c
• 12.2• Big Data SQL• Partitioned External Tables• Analytical Views
• 18c• In-Memory for external tables• Automatic propagation of nologged data to
standby• 19c
• Partitioned Hybrid Tables• Real Time Stats
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. | 15
Oracle Hybrid Table (Гибридные таблицы)
Q4_2018Q3_2018Q2_2018Q1_2018Q4_2017Q3_2017Q2_2017Q1_2017Q4_2016
ORDERS
OBJECT STORAGE
TABLE PARTITIONED BY QUARTER
SQL HOT DATACOLD DATA
UPDATES
Oracle - Public
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Машинное обучение: Advanced Analytics in 18c
• Алгоритмы машинного обучения доступны с 9i Release 2 (2002)
• Новое в 18с– Random Forests for Classification
– Neural Networks for both classification and regression
– Explicit Semantic Analysis ML algorithm extended to support classification
– Time Series via Exponential Smoothing
– CUR decomposition-based algorithm for attribute and row importance
• Новая возможность экспорта ML моделей для C и Java приложений
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Multitenant
• Container managed database virtualization
• Manage Many as one
• Patching, Backup, Security, Online Cloning, Online Relocation
• Software as Service
• Shared metadata, Data location transparency
17
12.112.2, 18c, 19c
• 12.2• Online cloning & relocation
• Incremental refresh of test/dev master
• Application containers
• 18c• Transportable backups
• Snapshot carousel
• Refreshable PDB switchover
• 19c• RAT and ADDM at PDB level
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Refreshable PDB
• PDB Refresh
–Инкрементальное обновление клона последними данными
CRM
Dev / Test
Pricing Retail
Production
CRM
Snap Clone
Snap Clone
CRM Dev1 CRM Dev2
Developers
TIME
Changes made to database
Master Dev/Test version no longer in sync
Only changes copied and applied
18
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Security
• Security In-Depth
• Access Controls, Encryption, Redaction, Masking, Auditing, SQL Firewalls
• Key Vault
• Audit Vault Database Firewall
• Security Assessment Tool
19
12.1
Active Directory
• 12.2 • Online encryption
• 18c• Integration with Active Directory
• Password-less schema creation
• 19c• Schema-only Oracle accounts
• Database Vault Operations Control
12.2, 18c, 19c
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Online Tablespace Encryption
20
• Возможность in-database прозрачного шифрования для существующих таблиц в режиме онлайн – без прекращения доступа к данным
SALESTABLESPACE
HCMTABLESPACE
HCMTABLESPACE
DF11233U*1$5Ha1qui%H1HSKQ112A14FASqw34£$1DF@£!1ahHH!DA45S& DD1
Acme 10 1/2/16Acme 3 1/3/16Acme 5 1/5/16Acme 12 1/7/16Acme 4 1/8/16Acme 2 1/9/16
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Все новые опции от 11.2 до 19с
• Database feature app– Поиск и сравнение новых возможностей и опций
– https://apex.oracle.com/database-features/
21
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Oracle Database Cloud Service – Редакции и опции
EE Extreme PerformanceEE High PerformanceEnterprise Edition
Adds… Adds… Adds…
Multitenant
Partitioning
AdvancedCompression
Label Security, Database Vault
RACRAC One Node
In Memory
Active Data Guard
• Стандартные возможности SE2
• Лимит <16 OCPUs
• Transparent Data Encryption
Standard Edition 2
• Стандартные возможности EE
Real Application Testing
OLAP, Analytics, Spatial and Graph
Тоже самое ПО в Облаке Oracle, как и в вашем ЦОД!
Management Packs
Advanced Security
22Oracle - Public
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Резервное копирование в Oracle Cloud• Сценарий
– Размер базы< 2TB*
– Сервер базы данных подключен к интернету (напрямую или через прокси)
– Требования к хранению: 6 месяцев - 5 лет
– Время восстановления : от часов до дней
– Риск потери данных: с момента последнего копирования
• Решение– Прямое копирование базы и логов Oracle Cloud через
публичную сеть
– Еженедельно полный + инкрементальный ежедневно
– RMAN encryption включен по умолчанию
23
OracleDatabase Backup Cloud
Service
RMAN
SSL
Локальныебазы данных
*Рекомендуемый объем с учетом пропускных способностей общих сетей. Может быть увеличен при использовании Oracle Fast Connect
Oracle Database
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. | 24
С использованием Oracle Data Guard (Active Data Guard)
Аварийное восстановление в Oracle Cloud
• Продуктив: On-premises
• Резерв: Oracle Cloud DBaaS
• Репликация Data Guard
• Резервная копия используется
• Для восстановления
• Для отчетов (w/Active Data Guard)
• Переключение на резервный сайт
• Доступность при плановых и неплановых отключениях
• Защита всего стэка, включая приложения (Web and Mid-tier)
• Web and Mid-tier синхронизируется , используя RSYNC, базы при помощи Dataguard
Изолированное окружение для разработки и тестирования
Клиенты
Data Guard
Резервные копии баз данных вOracle CloudЛокальный ЦОД
Приложения Базы данных
Database CloudService
Как это работает
Oracle Database
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. | 25
ORACLEAUTONOMOUS
DATABASE
Oracle - Public
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Проблема: обслуживание или инновации?
26
85% of инцидентов
безопасности происходят уже после выхода
соответствующих патчей- DB Maestro
Безопасность
85%
91% ИТ систем испытывают внеплановые
простои- Healthcare IT News
Надежность
91%
72% ИТ бюджетов идут на поддержание существующей
инфраструктуры против новых проектов
-ComputerWorld
Обслуживание
72%
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Автоматизация и оптимизация ПО СУБДПуть к автономной базе данных
• Automatic Query Rewrite• Automatic Undo Management
• Automatic Health Framework • Automatic Diagnostic Framework• Automatic Refresh of Clones
• Automatic SQL Tuning • Automatic Workload Capture/Replay• Automatic SQL Plan Management• Automatic Capture of SQL Monitor• Automatic Data Optimization
• Automatic Memory Management • Automatic Segment Space Mgmt• Automatic Statistics Gathering• Automatic Storage Management• Automatic Workload Repository• Automatic Diagnostic Monitor
• Automatic Columnar Flash• Automatic IM population• Automatic Application
Continuity
9i10g
11g
12c
18c
Oracle - Public 27
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Автоматизация и оптимизация инфраструктуры СУБДПуть к автономной базе данных
• Smart Scan• Infiniband Scale-Out
• Database Aware Flash Cache• Storage Indexes• Hybrid Columnar Data
• IO Priorities• Data Mining Offload• Offload Decryption
• Direct-to-wire Protocol• JSON and XML offload• Instant failure detection
• Network Resource Mgmt• Prioritized File Recovery
• In-Memory Columnar in Flash• Smart Fusion Block Transfer
• Exadata Cloud Service
2008
2018
Oracle - Public 28
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. | 29
Автономная БД это…• Autonomous Database Attributes
29
Self-Driving
Автоматизация инфраструктуры, управления, мониторинга и тюнинга
Self-Securing
Защита от внешних и внутренних атак
Self-Repairing
Защита непрерывности доступа к данным
Сохранение часов Защита от ошибок Без участия человека
Oracle - Public
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. | 30
Автономная БД: ингредиенты
Автоматическое управление и контроль на
базе AI/ML
Полностью автоматическая инфраструктура
Полностью автоматическая
СУБД
ORACLE AUTONOMOUS
DATABASE
Первая в мире автономная база данных: Загрузи данные – делай запросы!
ORACLE CLOUD
Oracle - Public
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Autonomous Transaction Processing (ATP)
31
Автономная база данных – оптимизированна под задачу
AutonomousData Warehouse (ADW)
ORACLEAUTONOMOUS
DATABASE
Oracle - Public
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. | 32
Autonomous Transaction Processing
Autonomous Data Warehouse
Row Format
Optimizes Response Time
Creates Indexes
Columnar Format
Optimizes Complex SQL
Creates Data Summaries
Plan Stability and Run Away Query Prevention
Автономная база данных – оптимизированна под задачу
Oracle - Public
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Это дорого или нет?
Oracle - Public 33
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
ATP автоматическое построение индексов для Netsuite
• Ran a complex Netsuite workload, and compared ATP to existing expert tuning
• 17,542 SQL statements, 1,852 tables, 8,151 indexes - years of tuning to create these indexes
– Before running on ATP, all indexes and statistics were dropped
34
ATP достигает аналогичной производительности, как при экспертном тюнинге
Но ATP остается производительной при изменении нагрузки
ElapsedTime(sec)
Expert Autonomous
11551172
IndexesUsed
Expert
Autonomous
1733
4663
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Столото
35
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Экосистема DWH
Oracle - Public 36
Источник
Аналитическиесистемы
Загрузка / ETL ВизуализацияADW
Совместимость и сертификация: https://cloud.oracle.com/en_US/datawarehouse/tools
SAP BOMS Power BIIBM CognosQlick SenceSAS AccessTableuMicroStrategy
ORACLE:OACDVOBIEE
ORACLE:ODIGGDIPC
InformaticaPowerCenterIBM Data StageData VirtualityTalend
или или
Copyright © 2018, Oracle and/or its affiliates. All rights reserved. |
Переход на Autonomous Database со своими лицензиями Standard Edition
• Соответствие метрик on-premises -> Autonomous Database
– 1 socket лицензия соответствует 4 OCPUs
– 10 NUP соответствует 1 OCPU
– Соответствует правилу 8потоков=4ядра=1сокет
• BYOL требования
– Ничего кроме лицензий Standard Edition, Standard Edition One, Standard Edition 2
• Никаких доп требований: только лицензия на технической поддержке
• Ограничения– Не более 8 OCPUs на один инстанс Autonomous Data Warehouse или Autonomous Transaction
Processing
37Oracle - Public
Copyright © 2018 Oracle and/or its affiliates. All rights reserved. |
Autonomous database: совместимость
38
https://docs.oracle.com/en/cloud/paas/autonomous-data-warehouse-cloud/user/experienced-database-users.html
https://docs.oracle.com/en/cloud/paas/atp-cloud/atpug/experienced-database-users.html
ADW ATP