future trends dwh infrastruktur · principal solution architect & sap technology consultant...

Future Trends DWH InfrastrukturDipl.-Ing. Michael AhrensPrincipal Solution Architect & SAP Technology Consultant

Montag, 21. März 2011

• Storage limitiert Applikationsperformance• Limitierung Storage zu Server durch Storage Subsystem• Bottlenecks im Storage Array• SAN Bottlenecks• Random I/O Bottlenecks durch physikalische Plattengeschwindigkeit

• I/O Bandbreite schränkt DWH Performance stark ein• Random I/O Bottlenecks beschränken OLTP Performance

EinleitungStorage Bottleneck


EinleitungExadata Technologie

• Datenbankserver• Rechen- und Speicherintensive -

Verarbeitung wird im DB server durchgeführt

• Vollparallele Joins und Aggregate

Bandbreitenintensives Suchen & Lesen

Rechenintensive Verarbeitung

• Exadata Storage Server• IO-intensives Suchen wird im

Storage Server durchgeführt• Exadata Smart Scans und Exadata

Storage Indizes filtern für die Query irrelevante Daten heraus

Zusammenarbeit von Datenbankserver und Exadata Zellen um SQL auszuführen Exadata Zelle ist intelligenter Storage und kein Datenbankknoten


EinleitungExadata Technologie

Exadata Zelle

InfiniBand Switch/Network

Single-InstanceDatabase

RAC Database

Exadata Zelle Exadata Zelle

• Exadata Zellen als einzelne Storage Server mit Platten und Exadata Software• Verteilung der Oracle Datenbanken über mehrere Exadata Zellen• Datenbankerweiterungen für Kommunikation mit Exadata Storage Server• Praktisch keine Limitierung der Anzahl der Exadata Zellen im Storage Grid


• Nein! Die Database Maschine ist nicht einfach ein “Toaster”, sondern eher eine “Bäckerei” mit allen Möglichkeiten…

Oracle Exadata ist die klassische

marktführende Oracle Datenbank mit einer besonders optimierten

Hardware.

EinleitungIst die Database Maschine ein Toaster (Appliance) ?


ProduktüberblickExadata Database Machine

• Exadata Storage Server • Optimierter Storage für Oracle• Extreme I/O und SQL Performance• Hardware und Software

• Exadata Storage Server Software

• Exadata Database Machine• Vorkonfiguriert• Hohe Performance • Well-balanced• Appliance-Ansatz

• Oracle Database 11.2


Oracle Exadata Storage Server Hardware

HardwareStorage Server X2-2, X2 -8

• Oracle X4275 Server• 2 x 6-Core Intel® Xeon® E5670 Prozessoren • 24GB RAM• Dual-port 4X QDR (40Gb/s) InfiniBand card• Disk Optionen

• 12 x 600 GB SAS disks (7.2 TB gesamt) => HSHS heißt High Speed

• 12 x 2TB SATA disks (24 TB gesamt) => HCHC heißt High Capacity

• 4 x 96 GB Oracle Flash PCIe Cards (384 GB gesamt) • Zentraler Baustein des massiv parallelen Storage Grid

• Bis zu 1.5 GB/sec Rohdaten Bandbreite pro Zelle• Bis zu 75,000 IOPS mit Smart Flash Cache

• Software vorinstalliert• Oracle Exadata Storage Server Software• Oracle Enterprise Linux• Treiber, Utilities

• Zentraler Ansprechpartner Oracle• 3 Jahre, 24 x 7, 4 Std. Reaktionszeit


• Transparentes Caching von “Hot Data” auf den 4 Flash Cards

• PCI Express für hohen Durchsatz• Keine Beschränkung durch Disk Controller

• Smart Caching• “Smarter” als bekannter LRU Algorithmus• Kein Überlauf des Caches• Automatismus

• Caching kann durch Anwendungen optimiert werden

4 x 96 GB Flash Cards

Exadata Software FeaturesExadata Smart Flash Cache


Memory Dimm F20 PCIe 96GB Flash15K SAS Disk

Tape

• Vorteile• Weniger Platten • Einfachere Storagesysteme • Bessere Antwortszeit• Geringerer Stromverbrauch• Hoher ROI

• Optimaler Ansatz• Großteil der Daten auf günstigen Platten• Transparenter Zugriff auf “Hot data” auf Flash• Vermeidung Controller Engpaß durch Nutzung

flash cards anstelle von Flash Disks• Flash Cards im Exadata Storage

• Hohe Bandbreite, low Latency Interconnect

Oracle Database 11g Release 2 und Flash TechnologieFlash Cache

15k SAS Disk

F20 PCIe 96GB Flash

• Speichern großer Datenmengen

• Aber: Beschränkung auf 250 i/o’s pro Sekunde

• Speichern geringer Datenmengen

• Aber: Sehr hohe i/o Rate

>> 10000 i/o’s pro Sekunde


Oracle Exadata Database Server Hardware

• Oracle X4170 Server• 2 x 6-Core Intel® Xeon® E5670 Prozessoren • 96GB RAM• Dual-port 4X QDR (40Gb/s) InfiniBand card• 2 x 10Gbit Ethernet• Disk Optionen

• 8 x 600 GB SAS disks (4.8 TB gesamt) => HS• 8 x 2TB SATA disks (16 TB gesamt) => HC

• Oracle Database Software vorinstalliert• Oracle Enterprise Linux oder Oracle Solaris 11• Treiber, Utilities• Zentraler Ansprechpartner Oracle• 3 Jahre, 24 x 7, 4 Std. Reaktionszeit

HardwareDatabase Server X2-2


Oracle Exadata Database Server Hardware

• Oracle X4800 Server• 8 x 8-Core Intel® Xeon® E7560 Prozessoren • 1TB RAM• 4 x Dual-port 4X QDR (40Gb/s) InfiniBand card• 8 x 10Gbit Ethernet• Disk Optionen

• 8 x 600 GB SAS disks (4.8 TB gesamt) => HS• 8 x 2TB SATA disks (16 TB gesamt) => HC

• Oracle Database Software vorinstalliert• Oracle Enterprise Linux oder Oracle Solaris 11• Treiber, Utilities• Zentraler Ansprechpartner Oracle• 3 Jahre, 24 x 7, 4 Std. Reaktionszeit

HardwareDatabase Server X2-8


HardwareInfiniband Netzwerk

Datacenter InfiniBand Switch 36

• Einheitliches InfiniBand Netzwerk• Verbindung zu Exadata Zellen• RAC Interconnect• Externe Anschlüsse (optional)

• Hohe Leistung bei geringer Latenz• 80 Gb/s Bandbreite pro Link

(40 Gb/s pro Richtung)• “SAN-Effizienz” :

Zero copy, buffer reservation• Einfache Administration ähnlich

einem IP Netzwerk• Protokolle

• Zero-copy Zero-loss Datagram Protocol (ZDP RDSv3) • Internet Protocol over InfiniBand (IPoIB)


• 8 Oracle X4170 M2 Database Server• Oder 2 Oracle X4800 Database Server• 14 Exadata Storage Server

• 14 * 12 * 600GB SAS Platten (100TB gesamt) oder• 14 * 12 * 2TB SATA Platten (336TB gesamt) und• 14 * 4 * 96GB Oracle Flash PCIe Cards (5,3TB gesamt)

• 3 Oracle Datacenter InfiniBand Switch 36• 36-port Managed QDR (40Gb/s) Switch

• 1 “Admin” Cisco Ethernet Switch 4948• Keyboard, Video, Mouse (KVM) Hardware• Redundante Power Distributions Units (PDUs)• Zentraler Ansprechpartner Oracle

• 3 Jahre, 24 x 7, 4 Std. Reaktionszeit

Skalierbarkeit durch Hinzufügen weiterer Racks!

HardwareFull Rack


Exadata Storage Zelle

Exadata Software FeaturesExadata Storagelayout und ASM

16 Celldisks

Sys Area

Griddisk 1

Griddisk n

1 CelldisksASM disk 1

ASM disk n

Eine Griddisk entspricht genau einer ASM disk

Eine X4275

4x Oracle Flash PCIe F20 12x 600 GB SAS oder 2TB SATA


• ASM Striping für Gleichverteilung I/O• ASM Spiegelung gegen Plattenfehler• ASM Failure Groups gegen Zellenfehler

Exadata Storage Zelle Exadata Storage Zelle

Hot Hot Hot Hot Hot Hot

ASMDisk Group

ASMFailure GroupASM

Failure Group

Cold Cold Cold Cold Cold Cold

Exadata Software FeaturesExadata Storagelayout und ASM

Griddisk 1 Griddisk n Griddisk 1 Griddisk n


• Reserviert für unterschiedliche Datenbanken den jeweiligen Anteilam gesamten I/O

• Beispiel Inter-Datenbank Plan:• Database A: 33% der I/O Bandbreite• Database B: 67% der I/O Bandbreite• Ungenutzte Bandbreite kann von DB A

genutzt werden• Oder

• DB B hat geringere Priorität als DB A• Z.B. Test- oder Entwicklungs-DB

• Innerhalb jeder Datenbank Priorisierung gemäß DB Resource-Plan

Database B(RAC)

Database A(Single-Instance)

33% 67%

Exadata Software FeaturesExadata I/O Resource Management


17

Integriertes “End to End” monitoringVon der Applikation über das Datacenter zum Support

Exadata

Application Operations

Data CenterOperations

Oracle Support

Grid Control OpsCenter My Oracle Support


© 2010 Oracle Corporation – Proprietary and Confidential 18

• effizientes Management über alle Systeme

• schnelle Deployments

• weniger Downtime

• “sprawl” unter Kontrolle

Physikalische Systeme

Virtuelle Systeme

• Einheitliches, durchgängiges, automatisiertes Lifecyle-Management• Virtuelle und physikalische Systeme in einem Tool

Exadata ManagementOracle Enterprisemanager OPS Center


19

DeployProvisioning of Firmware, OS, Middelware, and Applications

Clone and Scale-out

TestFunctional Testing

Load TestingTest Management

MaintainRemote Management

- TelemetryPhone Home

- Proactive SupportMy Oracle Support Integration

ManageEnd-to-End Diagnostics

- Service Levels- Root Cause

Configuration Mgmt- Change Tracking

Patch Automation- Firmware, OS Monitor

Application-to-DiskExadata Monitoring Integration

- System, Switch, StorageEnergy Utilization and Impact

GridControl

OpsCenter

EnterpriseManager

Komplettes und integriertes ManagementOracle Enterprisemanager OPS Center



• Netzwerk discovery von Servern, Betriebssystemen und Virtuelle Maschinen

• Support von zahlreichen Protokollen• Oracle Service Tag• SNMP• SSH• IPMI

• Automatisches Inventory• CPU• Memory• Software payload

• Intelligentes gruppieren von Systemen



End-to-End Monitoring

• Hardwaremonitoring ohne Agenten• Stromverbrauch• Hardware status

• Temperatur• Lüftergeschwindigkeit• Spannung

• OS Überwachung der wichtigsten Statistiken• Load• CPU• Memory

• History


Exadata ManagementOracle Enterprise Manager Grid Control

OEM Agent

SQLPlus


Exadata ManagementOracle Enterprise Manager Grid Control Exadata Plugin

Management Cluster ExadataPlugin

Cell cli

Cell cli

Cell cli

Cell cli

• Database Management• Single Instance• RAC• Dataguard• RMAN


Exadata ManagementOracle Enterprise Manager Grid Control

• OEM Grid Control kann ohne Funktionserweiterungen zum Management des ASM’s und der Datenbankinstanzen im Exadata verwendet werden.

• OEM Grid Control kann durch Management Packs, Konnektoren und System Monitoring Plugins erweitert werden. (http://www.oracle.com/technology/products/oem/datasheets.html)

• Provisioning and Patch Automation Pack for Database(http://www.oracle.com/technology/products/bi/db/exadata/index.html)

• Exadata Storage Server Plug-in from(http://www.oracle.com/technology/products/bi/db/exadata/index.html)


http://www.oracle.com/technology/products/bi/db/exadata/index.html






Exadata Maximum Availability Archtitecture (MAA)Komplette, offene, integrierte Verfügbarkeit

• Keine Single Points of Failure in Exadata Storage Architektur• Oracle Automatic Storage Management (ASM)• Schutz vor Platten- und Zellen-Ausfällen Datenspiegelung über

Zellen hinweg• Oracle Real Application Clusters (RAC)• Redundante Infiniband Strecken (Disk, Interconnect) und

Switches

Exadata ist in sich hochverfügbar


Exadata Maximum Availability Archtitecture (MAA)Extended RAC

LAN

Real Application

Clusters

ASM

Fast Recovery

Area

Real Application

Clusters

ASM

Fast Recovery

Area

HA Management

• Infiniband• 10 Gigabit Ethernet

• Infiniband• max. 100m• freigegebene Kabel

• 10 Gigabit Ethernet• max. 40 Km• Veränderung der Performance


WAN

• Schutz vor• Server Fehlern• Storage Fehlern• Netzwerk Fehlern• RZ Fehlern

• Echtzeit Standby offen für queries• Korrektur menschlichen Versagens

• Datenbank-, Tabellen-, Zeilen, Transaktionsebene

• Online Indizierung und Tabellenredefinition• Online patching und upgrades

Real Application

Clusters

ASM

Fast Recovery

Area

Active Data Guard

HA Management

Exadata Maximum Availability Archtitecture (MAA)Desaster Recovery Data Guard

Sync / Async Redo Transport

Data Guard


• Wird direkt auf dem DB System installiert• Überwacht den Datenbestand• Änderungen am Datenbestand werden transaktionssicher auf das Zielsystem übertragen• Das Ganze funktioniert bidirektional

Exadata Maximum Availability Archtitecture (MAA)Bi-Direct Desaster Recovery Golden Gate


Source

Database(s)

Target

Database(s)

LAN / WAN /

Internet

(TCP/IP)

Capture: Committed changes are captured (and can be filtered) as they occur by reading the transaction logs.

Capture

Trail files: Stages and queues data for routing.

Source Trail

Delivery: Applies data with transaction integrity, transforming the data as required.

Target Trail

Delivery

Bi-directional

Source TrailTarget TrailDelivery Capture

Pump

Pump

Route: Data is compressed, encrypted for routing to targets.

Pump: Distribute data for routing to multiple targets.

Read/WriteWorkload

Read/WriteWorkload

Exadata Maximum Availability Archtitecture (MAA)Bi-Direct Desaster Recovery Golden Gate


Exadata BackupExadata Backup Grundlagen

• Backupserver• Hält die Backup DB• Steuert die Backupzycklen• Kann auch Mediaserver sein

• Mediaserver• Steuert die Backupmedien• Tape, Disks, Worm usw.

• Network Data Management Protocol (NDMP)• Entwickelt für Systeme ohne Backupclients• NAS


Exadata BackupExadata Backup Client

• Legato Networker• EMC• Muss auf der Database Machine installiert

werden.• Netzwerk basiertes Backup

• Netbackup• Symantec• Muss auf der Database Machine

installiert werden.• Netzwerk basiertes Backup

• Tivoli Storage Manager• IBM• Muss auf der Database Machine installiert

werden.• Netzwerk basiertes Backup


• Empfohlene Oracle Backup Strategie• Einmaliges Level 0 Image Copy = Basis Backup• Tägliches Erstellen von inkrementellen Level 1 Backups

• Nur geänderte Blöcke werden geschrieben• Geänderte Blöcke werden bereits auf den Exadata Zellen

identifiziert und nur diese zum Datenbank Server gesendet• Das inkrementelle Backup des Tages wird mit dem

existierenden Backup aktualisiert (Merge)• Der RMAN Katalog sollte außerhalb der Database Maschine

gespeichert werden

Exadata BackupExadata Backup Strategie


Exadata Full Rack

Backup Server

Media Server

Database Machines

10Gbit

• 10 Gbit Ethernet• Backupserver Administration• Mediaserver Administration• Backupclient SW Installation

Exadata BackupExadata Variante 1

Mehrere RMAN Datenströme

mittels Backupclient

Backupclient schreibt über das Netzwerk

Media Server schreibt

Backupclientdaten auf Tape


© 2010 Oracle Corporation – Proprietary and Confidential 34

Oracle Database MachineOracle X4170

Oracle Secure Backup Management Server

StorageTek SL500

Zwei Oracle x4275Oracle Secure Backup

ServerInfiniband Quad Data Rate

NetworkBrocade 5100 8GB

FC SAN

Mehrere RMAN

Datenströme via TCP/IP tunneled über IB

Media Service tracks,

konvertiert RMAN daten in Fibre channel

Blöcke

Zu jedem RMAN

Datenstrom gehört ein

Tape Laufwerk



Exadata Full Rack

S7320

N* J4400

NDMP

40Gbit Infiniband

NFS oder iSCSI

RMAN Backup to Disk

• 40 Gbit Infiniband• Storageappliance• Modular Erweiterbar• Clusterbar• Raidschutz


Mehrere RMAN Datenströme via TCP/IP tunneled

über IB

RMAN schreibt die Datenströme in

Backupfiles auf dem OpenStorage gespeichert

NDMP fähige Backupsoftware

schreibt die RMAN Backupfiles auf

Tape


S7000

• Oracle StorEdge S7320 NAS• 1 8-Core Intel® 2.4GHz Prozessor• up to 72GB RAM per Node• Dual-port 4X QDR (40Gb/s) InfiniBand card• Disk Optionen je J4400

• 24 x 300 GB SAS disks (7.2 TB gesamt)• 24 x 500 GB SATA disks (12 TB gesamt)• 24 x 1TB SATA disks (24 TB gesamt)• 24 x 2TB SATA disks (48 TB gesamt)

• Maximal 4 * J4400

Exadata BackupExadata eine Appliance passt zur Database Maschine


• Bauliche Anforderungen • Wege• System Standort• Bodenausschnitte• Servicefläche

• Anforderung an die Umgebung• Temperatur• Relative Luftfeuchte

• Kühlung und Luftströmung• Stromversorgung• Netzwerkrichtlinien

• Oracle Enterprise Installation Standards (EIS)• Site Audit Report

Exadata SiteplanningExadata Anforderungen an die Infrastruktur


Power Max – 14 kW (14,3 kVA)Typical – 9.6 kW (9.9 kVA)

Cooling Max – 48,600 BTU/hrTypical – 32,800 BTU/hr

Airflow: front-to-back(subject to actual data center environment)

Max ~2200 CFMTypical ~950 CFM

Physical Dimensions 78.66” (H) x 23.62”(W) x 47.24”(D)1998mm (H) x 600mm (W) x 1200mm (D)

Weight 2171 lbs (986.8 kg)Operating Temperature Operating temperature/humidity: 5 ºC to 35 ºC (41

ºF to 95 ºF), 10% to 90% relative humidity, non-condensing

Altitude Operating: Up to 3,048 m, max. ambient temperature is de-rated by 1° C per 300 m above 900 m

IP addresses 22 (InfiniBand Network)68 (Ethernet Network - assuming single cluster)

Network Drops Minimum 10 network drops

External Connectivity 8 (up to 24 ) Ethernet PortsAt least 12 InfiniBand Ports

Exadata SiteplanningExadata Full Rack Anforderungen


• Management Netzwerk• Wird an das Firmennetzwerk angeschlossen• Innerhalb der Oracle Database Machine sind alle Server, ILOM und die Switche

selber an den Ethernet Switch verbunden• Von dort führt eine Verbindung nach außen• Änderungen sind nicht erlaubt

• KVM Netzanschluss• Client Netzwerk

• Bietet Anschluss an das Firmennetz für den Zugriff der Clients• InfiniBand Netzwerk

• Privates Netzwerk zwischen Datenbank Rechnern und Exadata Zellen• Oracle RAC Cluster Interconnect

• Zusätzliche Netzwerke• Die Datenbank Rechner haben zusätzliche Netzwerkkarten

Exadata SiteplanningExadata Netzwerk Anforderungen


Management/ILOMClient NetzwerkZusätzliches Netzwerk 1Zusätzliches Netzwerk 2Privates Infiniband Netzwerk

Exadata SiteplanningExadata Netzwerk Diagramm


Exadata AnlieferungExadata Container


Exadata AnlieferungExadata der Weg in das Rechenzentrum.

• Rack Dimensionen • Höhe: 2000 mm !• Breite: 600 mm• Tiefe: 1200 mm• Servicefläche

• Gewicht• Quarter Rack: 342 kg• Half Rack: 550 kg• Full Rack: 987 kg

• Maximale Neigung 6°• Bi Mobile• Gabelstapler


Exadata AnlieferungExadata der Weg in das Rechenzentrum.


Exadata InstallationExadata HW/OS Installation

• EIS Installation ist in der Regel nach 4 Stunden fertig.• Vorkonfiguration im Fertigungswerk • Keine Transportschäden


Fragen & Antworten


future trends dwh infrastruktur · principal solution architect & sap technology consultant...

Documents