data warehouse

Download DATA WAREHOUSE

Post on 23-Feb-2016

155 views

Category:

Documents

0 download

Embed Size (px)

DESCRIPTION

DATA WAREHOUSE. DATA WAREHOUSE. Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher , Detlef Schroeder. Themen. Big Data Buzz Word oder eine neue Dimension und Möglichkeiten - PowerPoint PPT Presentation

TRANSCRIPT

PowerPoint Presentation

Oracle Data Warehouse Mit Big Data neue Horizonte fr das Data Warehouse ermglichenAlfred Schlaucher, Detlef Schroeder

DATA WAREHOUSE

DATA WAREHOUSE1Big Data Buzz Word oder eine neue Dimension und Mglichkeiten Oracles Technologie zu Speichern von unstrukturierten und teilstrukturierten Massendaten Cloudera Framwork Connectors in die neue Welt Oracle Loader for Hadoop und HDFS

Big Data Appliance

Mit Oracle R Enterprise neue Analyse-Horizonte entdecken

Big Data Analysen mit Endeca

Themen

2

Big Data kosystem3

Big Data ApplianceMgliches Szenario

Oracle Big Data ApplianceOracle ExadataInfiniBand

AcquireOrganizeAnalyzeOracle ExalyticsInfiniBand

Oracle Big Data Connectors

Warum eine Hadoop Appliance?Zeit zum Aufbau?Optimierungsaufwand?Kosten und Aufwand fr Wartung?

Big Data ApplianceHardware berblick

618 Sun X4270 M2 Servers per Rack864 GB RAM216 cores 648 TB storage40 Gb/s InfiniBand FabricInter-rack ConnectivityInter-node Connectivity10 Gb/s Ethernet ConnectivityData center connectivity

Oracle Big Data Appliance Hardware

Full Rack Configuration Only7BDA Node Sun Fire X4270 M2Processors2 Six-Core Intel Xeon X5675 Processors (3.06 GHz)Memory48GB (6 * 8GB) expandable to 96 GB or 144Disks 12 x 3 TB 7.2K RPM High Capacity SAS (hot-swap)Disk ControllerDisk Controller HBA with 512MB Battery Backed CacheNetwork2 InfiniBand 4X QDR (40Gb/s) Ports (1 Dual-port PCIe 2.0 HCA)4 Embedded Gigabit Ethernet PortsRemote ManagementILOM with 1 Gigabit Ethernet portPower SuppliesRedundant Hot-Swappable power supplies and fans

8Memory Expansion Kit

Optionale Erweiterung fr einzelne Knoten in der BDA (z.B. dem Name Node)nderung der Konfiguration der X4270 M2 von 48GB zu entweder 96Gb (12 x 8 GB) oder 144 GB (18 x 8 GB)Kann fr Alle oder Einzelne Knoten gelten (Name Node, HBase master etc.)

9InfiniBand NetworkSun 4x QDR (40Gb/s) InfiniBand switchesImmer ein Subnet Manager ist aktiv2 leaf switches (32 port QDR gateway switch) fr die LeafverknpfungEin Port fr die Erweiterung auf andere EXA-MaschinenEinzelne ServerJeder Server hat einen Dual-port QDR (40Gb/s) IB HCADient der Vernetzung der Leafs untereinander und mit dem Name NodeVorverdrahtet

10

Horizontale Erweiterung

Vernetzung mehrer Racks durch InfiniBandExadata Anschluss ebenfalls durch InfiniBand

Oracle Big Data ApplianceSoftware berblick

12

Software vor-installiert und optimiert freine optimale Performance:Oracle Linux 5.6Java Hotspot VMCloudera CDHCloudera ManagerOpen Source R DistributionOracle NoSQL Database CEOracle Big Data Connectors*Oracle Big Data Appliance Software* Separate linzenzpflichtige Software, kann vorinstalliert unf konfiguriert werden13Cloudera CDH

Cloudera CDH 3 enthlt:Apache HadoopApache HiveApache PigApache HBaseApache ZookeeperApache FlumeApache SqoopApache MahoutApache WhirrApache OozieFuse-DFSHueAktuelle Details unter: http://www.cloudera.com/hadoop-details/Hadoop Software Layout (Masters) Node 1:M: Name Node, Balancer & HBase MasterS: HDFS Data Node, NoSQL DB Storage Node*Node 2:M: Secondary Name Node, Cloudera Manager, Zookeeper, MySQL SlaveS: HDFS Data Node, NoSQL DB Storage Node*Node 3:M: JobTracker, MySQL Master, ODI Agent, Hive ServerS: HDFS Data Node, NoSQL DB Storage Node*

213* Optionale KonfigurationMySQL SE is used as a repository for: Hive metadataCloudera ManagerODI Repository

MySQL SE on BDA can only be leveraged for above usages. See BDA Manifest for details.15Oracle NoSQL DB Eine verteilte, hoch skalierbare Key-Value DatenbankEinfaches Daten ModelKey-Value Paar mit major+sub-key Read/insert/update/delete OperationenSkalierbarkeitDynamische Partitionierung und VerteilungOptimierter Daten Zugriff ber dieTreiberHoch VerfgbarkeitEin oder mehrere ReplicateDisaster recovery ber die ReplicateKein single point of failureTransparentes load balancingEs wird vom Master oder einem Replicat gelesenDie Treiber bercksichtigen die Netzwerk-Topologie und die Latenzzeiten

Storage NodesData Center AStorage NodesData Center BNoSQLDB DriverApplicationNoSQLDB DriverApplication16NoSQL DBNoSQL Konfiguration (Optional fr die BDA)

Master NodeReplicat

Vor-Konfiguriert mit dreifacher Replikation17

Zusammenfassung

18Big Data ApplianceBig Data frs gesamte UnternehmenOptimiert und VollstndigAlles was man zur Speicherung und Integration von Daten mit geringer Informationsdichte brauchtIntegration mit Oracle ExadataErweiterung des DWHEinfach und schnell einsetzbarRiskoarme, einfache und schnelle EinfhrungEin AnsprechpartnerFr den Support der gesamten Lsung

Kontakt und mehr InformationenOracle Data Warehouse Community Mitglied werdenViele kostenlose Seminare und Events

Download Server:www.ORACLEdwh.de

Nchste deutschsprachige Oracle DWH Konferenz:19. + 20. Mrz 2013 Kassel

21