Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen

Alfred Schlaucher, Detlef Schroeder

DATA WAREHOUSE

Big Data Buzz Word oder eine neue Dimension und Möglichkeiten

Oracles Technologie zu Speichern von unstrukturierten und teilstrukturierten Massendaten

Cloudera Framwork

„Connectors“ in die neue Welt Oracle Loader for Hadoop und HDFS

Big Data Appliance Mit Oracle R Enterprise neue

Analyse-Horizonte entdecken Big Data Analysen mit Endeca

Themen

<Insert Picture Here>

Big Data Ökosystem

Big Data ApplianceMögliches Szenario

Oracle Big Data Appliance

Oracle Exadata

InfiniBand

Acquire Organize Analyze

Oracle Exalytics

InfiniBand

Oracle Big Data Connectors

Warum eine Hadoop Appliance?

• Zeit zum Aufbau?• Optimierungsaufwand?• Kosten und Aufwand für Wartung?

<Insert Picture Here>

Big Data Appliance

Hardware Überblick

•18 Sun X4270 M2 Servers per Rack– 864 GB RAM

– 216 cores

– 648 TB storage

•40 Gb/s InfiniBand Fabric– Inter-rack Connectivity

– Inter-node Connectivity

•10 Gb/s Ethernet Connectivity– Data center connectivity

Oracle Big Data Appliance Hardware

Full Rack Configuration Only

BDA Node – Sun Fire X4270 M2

Processors 2 Six-Core Intel® Xeon® X5675 Processors (3.06 GHz)

Memory 48GB (6 * 8GB) expandable to 96 GB or 144

Disks 12 x 3 TB 7.2K RPM High Capacity SAS (hot-swap)

Disk Controller Disk Controller HBA with 512MB Battery Backed Cache

Network 2 InfiniBand 4X QDR (40Gb/s) Ports (1 Dual-port PCIe 2.0 HCA)4 Embedded Gigabit Ethernet Ports

Remote Management

ILOM with 1 Gigabit Ethernet port

Power Supplies Redundant Hot-Swappable power supplies and fans

Memory Expansion Kit

• Optionale Erweiterung für einzelne Knoten in der BDA (z.B. dem Name Node)• Änderung der Konfiguration der X4270 M2 von 48GB zu

entweder 96Gb (12 x 8 GB) oder 144 GB (18 x 8 GB)• Kann für Alle oder Einzelne Knoten gelten (Name Node,

HBase master etc.)

InfiniBand Network

• Sun 4x QDR (40Gb/s) InfiniBand switches• Immer ein Subnet Manager ist aktiv• 2 “leaf” switches (32 port QDR gateway switch) für die

Leafverknüpfung• Ein Port für die Erweiterung auf andere EXA-Maschinen

• Einzelne Server• Jeder Server hat einen Dual-port QDR (40Gb/s) IB HCA• Dient der Vernetzung der “Leafs” untereinander und mit dem “Name

Node”• Vorverdrahtet

Horizontale ErweiterungVernetzung mehrer Racks durch InfiniBand

Exadata Anschluss ebenfalls durch InfiniBand

<Insert Picture Here>

Oracle Big Data Appliance

Software Überblick

Software vor-installiert und optimiert für

eine optimale Performance:

•Oracle Linux 5.6

•Java Hotspot VM

•Cloudera CDH

•Cloudera Manager

•Open Source R Distribution

•Oracle NoSQL Database CE

•Oracle Big Data Connectors*

Oracle Big Data Appliance Software

* Separate linzenzpflichtige Software, kann vorinstalliert unf konfiguriert werden

Cloudera CDH

• Cloudera CDH 3 enthält:• Apache Hadoop• Apache Hive• Apache Pig• Apache HBase• Apache Zookeeper• Apache Flume• Apache Sqoop• Apache Mahout• Apache Whirr• Apache Oozie• Fuse-DFS• Hue

Aktuelle Details unter: http://www.cloudera.com/hadoop-details/

Hadoop Software Layout (Masters) • Node 1:

• M: Name Node, Balancer & HBase Master• S: HDFS Data Node, NoSQL DB Storage

Node*• Node 2:

• M: Secondary Name Node, Cloudera Manager, Zookeeper, MySQL Slave

• S: HDFS Data Node, NoSQL DB Storage Node*

• Node 3:• M: JobTracker, MySQL Master, ODI Agent, Hive

Server• S: HDFS Data Node, NoSQL DB Storage

Node*2

1

3

* Optionale Konfiguration

Oracle NoSQL DB Eine verteilte, hoch skalierbare Key-Value Datenbank

• Einfaches Daten Model• Key-Value Paar mit major+sub-key • Read/insert/update/delete Operationen

• Skalierbarkeit• Dynamische Partitionierung und Verteilung• Optimierter Daten Zugriff über dieTreiber

• Hoch Verfügbarkeit• Ein oder mehrere Replicate• Disaster recovery über die Replicate• Kein “single point of failure”

• Transparentes “load balancing”• Es wird vom Master

oder einem Replicat gelesen• Die Treiber berücksichtigen die Netzwerk-Topologie

und die Latenzzeiten

Storage NodesData Center A

Storage NodesData Center B

NoSQLDB Driver

Application

NoSQLDB Driver

Application

NoSQL DB

NoSQL Konfiguration (Optional für die BDA)

Master Node

Replicat

Vor-Konfiguriert mit dreifacher Replikation

<Insert Picture Here>

Zusammenfassung

Big Data ApplianceBig Data fürs gesamte Unternehmen

• Optimiert und Vollständig• Alles was man zur Speicherung und

Integration von Daten mit geringer Informationsdichte braucht

• Integration mit Oracle Exadata• Erweiterung des DWH

• Einfach und schnell einsetzbar• Riskoarme, einfache und schnelle Einführung

• Ein Ansprechpartner• Für den Support der gesamten Lösung

Kontakt und mehr Informationen

Oracle Data Warehouse Community Mitglied werdenViele kostenlose Seminare und Events

Download – Server:www.ORACLEdwh.de

Nächste deutschsprachige Oracle DWH Konferenz:19. + 20. März 2013 Kassel