parallel data warehouse : the data warehouse consolidation appliance lionel pénuchot

#JSS2013

Les journéesSQL Server 2013

Un événement organisé par GUSS

#JSS2013

Les journéesSQL Server 2013

Un événement organisé par GUSS

Parallel Data Warehouse:The Data Warehouse Consolidation Appliance

Lionel PénuchotPDW Center of Excellence

#JSS2013

• Aperçu de SQL Server PDW• SSAS + PDW: la dream team• Consolidation• Les principales évolutions de

l’appliance• Une démo peut-être ?

Agenda

#JSS20133/4 Rack

45.3TB (Raw)

Reserved Space (9U)• Data Integration Platform

server• Passive Unit (adds Failover Node)• Future expansion

Reserved Space (8U)• Data Integration Platform

server• Passive Unit (adds Failover Node)• Future expansion

InfinibandInfinibandEthernetEthernet

Control NodeFailover Node

JBOD 1

Compute Node 1Compute Node 2

JBOD 2

Compute Node 3Compute Node 4

JBOD 3

Compute Node 5Compute Node 6

JBOD 4

Compute Node 7Compute Node 8

ReservedSpace

PDW Backplane (6U):• Redundant Infiniband• Redundant Ethernet• Management and control (Active)• Rack Failover Node (Passive)

Base Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75

TB

Scale Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75 TB

¼

Rack15.1TB (Raw)

1/2 Rack30.2TB (Raw)

Scale Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75 TB

Scale Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75 TB

Full Rack60TB (Raw)

InfinibandInfinibandEthernetEthernet

Failover Node

JBOD 5

Compute Node 9Compute Node 10

JBOD 6

Compute Node 11Compute Node 12

JBOD 7

Compute Node 13Compute Node 14

JBOD 8

Compute Node 15Compute Node 16

ReservedSpace

Extension Base Unit (5U):• Redundant Infiniband• Redundant Ethernet• Rack Failover Node (Passive)

Extension Base Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75

TB

Scale Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75TB

1¼

Rack75.5TB (Raw)

Scale Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75 TB

Scale Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75 TB

3 Rack181.2TB (Raw)

1 1/2 Rack90.6TB (Raw)

2 Rack120.8TB (Raw)

InfinibandInfinibandEthernetEthernet

Failover Node

JBOD 9

Compute Node 17Compute Node 18

JBOD 10

Compute Node 19Compute Node 20

JBOD 11

Compute Node 21Compute Node 22

JBOD 12

Compute Node 23Compute Node 24

ReservedSpace

Extension Base Unit (5U):• Redundant Infiniband• Redundant Ethernet• Rack Failover Node (Passive)

Extension Base Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75

TB

Scale Unit (7U):• 2 HP 1U servers

• (16 cores/Ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75 TB

Reserved Space (9U)• Data Integration Platform

server• Passive Unit (adds Failover Node)• Future expansion

Scale Unit (7U):• 2 HP 1U servers

• (16 cores/Ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75 TB

Scale Unit (7U):• 2 HP 1U servers

• (16 cores/ea. Total: 32)• JBOD 5U

• 1 TB drives• User data capacity: 75 TB

Configuration HP

#JSS20131/3 Rack

22.6TB (Raw)

2/3 Rack45.3TB (Raw)

Full Rack67.9TB (Raw)

Base Unit (6U):• Redundant Infiniband• Redundant Ethernet• Management and Control (Active)• Rack Failover Node (Passive)

Base Unit (10U):• 3 servers in 2U enclosure

• (16 cores/ea. Total: 48)• 2 JBOD 4U ea.

• 1 TB drives• User data capacity: 79

TB

Scale Unit (10U):• 3 servers in 2U enclosure

• (16 cores/ea. Total: 48)• 2 JBOD 4U ea.

• 1 TB drives• User data capacity: 79

TB

Reserved Space (6U)• Passive Unit (adds Failover Node)• Future expansion

InfinibandInfinibandEthernetEthernet

Control NodeFailover Node

JBOD 2

Compute Node 2Compute Node 3

JBOD 1

Compute Node 1

JBOD 5

Compute Node 8Compute Node 9

JBOD 6

Compute Node 7 Scale Unit (10U):• 3 servers in 2U enclosure

• (16 cores/ea. Total: 48)• 2 JBOD 4U ea.

• 1 TB drives• User data capacity: 79

TB

ReservedUse

JBOD 3

Compute Node 5Compute Node 6

JBOD 4

Compute Node 4

JBOD 1

Compute Node 2Compute Node 3

JBOD 2

Compute Node 1

Dell configuration

#JSS2013

Architecture logicielDétails généraux

Tous les serveurs sont sous Windows Server 2012 StandardToutes les VMs sont sous Windows Server 2012 StandardLes tâches de type fabric et workload sont dans des VMsFabric VM, MAD01, and CTL partagent un serveurCela permet de réduire le surcoût spécialement pour les petites configurationsL’agent PDW tourne sur tous les hosts et toutes les VMsDWConfig and Admin Console existent toujoursLa technologie Windows Storage Spaces gère le mirroring et les secours, ainsi cela permet de réduire les coûts en utilisant du DAS (JBODs) plutôt que du SAN

Détails du moteur PDWSQL Server 2012 Enterprise Edition (PDW build) sur le control node et sur les compute nodes

Détails sur le stockageSimilaire à la V1Double de datafiles par filegroupPlus de disques physiques en parallèle

Détails logiciels

HST02

HST01

HSA01

HSA02

JBODIB andEthernet

Direct attached SAS

Base unit

CTL MAD FAD VMM

Compute 2

Compute 1

• Window Server 2012 Standard • PDW engine• DMS Manager• SQL Server 2012 Enterprise Edition (PDW build)• Shell databases

• Window Server 2012 Standard • DMS Core • SQL Server 2012 Enterprise Edition (PDW build)

#JSS2013

Extensions possibles

DELL Base Active Compute Capacity inc. Spare Total Raw disk: 1TB Raw disk: 3TB CapacityOne third-rack 1 0 3 N/A 1 5 22.65 67.95 79-340 TBTwo thirds 1 1 6 100% 1 8 45.3 135.9 159-680 TBFull rack 1 2 9 50% 1 11 67.95 203.85 238-1019 TBOne & third 2 2 12 33% 2 15 90.6 271.8 317-1359 TBOne & two thirds 2 3 15 25% 2 18 113.25 339.75 396-1699 TBTwo racks 2 4 18 20% 2 21 135.9 407.7 476-2039 TBTwo & a third 3 4 21 17% 3 25 158.55 475.65 555-2378 TBTwo & two thirds 3 5 24 14% 3 28 181.2 543.6 634-2718 TBThree racks 3 6 27 13% 3 31 203.85 611.55 713-3058 TBFour racks 4 8 36 33% 4 41 271.8 815.4 951-4077 TBFive racks 5 10 45 25% 5 51 339.75 1019.25 1189-5096 TBSix racks 6 12 54 20% 6 61 407.7 1223.1 1427-6116 TB

HP Base Active Compute Incr. Spare Total Raw disk: 1TB Raw disk: 3TB CapacityQuarter-rack 1 0 2 N/A 1 4 15.1 45.3 53-227 TBHalf 1 1 4 100% 1 6 30.2 90.6 106-453 TBThree-quarters 1 2 6 50% 1 8 45.3 135.9 159-680 TBFull rack 1 3 8 33% 1 10 60.4 181.2 211-906 TBOne-&-quarter 2 3 10 25% 2 13 75.5 226.5 264-1133 TBOne-&-half 2 4 12 20% 2 15 90.6 271.8 317-1359 TBTwo racks 2 6 16 33% 2 19 120.8 362.4 423-1812 TBTwo and a half 3 7 20 25% 3 24 151 453 529-2265 TBThree racks 3 9 24 20% 3 28 181.2 543.6 634-2718 TBFour racks 4 12 32 33% 4 37 241.6 724.8 846-3624 TBFive racks 5 15 40 25% 5 46 302 906 1057-4530 TBSix racks 6 18 48 20% 6 55 362.4 1087.2 1268-5436 TBSeven racks 7 21 56 17% 7 64 422.8 1268.4 1480-6342 TB

2–56 nodes

15 TB–1.3 PB raw

Up to 6 PB user data

2–3 node increments for small topologies

#JSS2013

• PDW + MOLAP• PDW + ROLAP• PDW + TABULAR Direct Query

SSAS + PDW: la dream team

#JSS2013

• EnableRolapDistinctCountOnDataSource=1

• ROLAPDimensionProcessingEffort>=300000

• Connexion via le client natif SQL Server SNAC 11.

Les prérequis SSAS

#JSS2013

• Inventaire des cubes et de leurs Data Warehouse

• Migration vers PDW– Répliquer les tables de dimensions– Distribuer les tables de faits– Distribuer les tables de dimensions changeantes– Pas d’index– CCI (Clustered Column Store Index)

Prérequis PDW

#JSS2013

• Gain processing– Les temps de processing peuvent être réduits à

10% du temps initial.– Le processing tire antièrement partie du réseau

Infiniband de l’appliance– Cubes et dimensions inchangés

• Gain stockage– Pas d’index– Stockage In-memory columnstore .

PDW + MOLAP

#JSS2013

• Gain processing– Processing immédiat

• Gain stockage– Pas de données stockée par SSAS– Pas d’index– Stockage In-memory columnstore .

PDW + ROLAP

#JSS2013

• Gain processing– Processing immédiat

• Gain stockage– Pas de données stockée par SSAS– Pas d’index– Clustered column store index.

Plusieurs modes– DirectQuery– InMemoryWithDirectQuery– DirectQueryWithinMemory

PDW + TABULAR Direct Query

#JSS2013

PDW

User space

SSAS

ROLAP MOLAP TABULAR

Exemple de consolidation 1

IB

#JSS2013

PDW

User space SSAS SSAS SSAS

Example de consolidation 2

IB

#JSS2013

PDW

User space Sharepoint 2013 + Excel Services

Example de consolidation 3

IB

#JSS2013

• Appliance Update• Fréquence : tous les 6 mois

Les principales évolutions de l’appliance

#JSS2013

Région dédiée Hadoop

Appliance préassemblée et préconfigurée Massively Parallel Processing (MPP) jusqu’à 6

PBs In-memory columnstore : jusqu’à 100x plus

rapide Région dédiée Hadoop Requêtes SQL sur données relationnelles et

Hadoop Disponible auprès de HP et Dell

SQL Server Parallel Data Warehouse

#JSS2013

Extension du stockage en petabytes Massively Parallel Processing (MPP) parallelise les

requêtes Multiple noeuds avec CPU, mémoire et stockage

dédiés Ajout incrémental de HW pour une augmentation

quasi linéaire en volume et performance Ajout de capacité par incrément dans la même

appliance

Scale OUT

Des Terabytes aux Mult i -Petabytes

#JSS2013

Box Software

CloudAppliances

Différentes options de déploiementet solutions hybrides

SQL Server

Hortonworks Data Platform

Parallel Data Warehouse

SQL Server for data warehousing in Windows Azure

VMs

HDInsight for Windows AzureSQL Server Fast Track

#JSS2013

Explorer les données non-relationnelles

Gère les données non-relationnelles 100% Apache Simplicité of Windows Hadoop sous toutes les formes :

software, appliance, cloud

“Big Data” avec s impl ic i té

Non-relational

Windows Azure

Parallel Data Warehouse

Hortonworks Data Platform

Hadoop cluster in HDP for Windows and HDInsight

#JSS2013

Intégration relationel et non-relationel

Requête relationelle et Hadoop en parallèle

Requête unique Pa besoin d’ETL d’Hadoop vers DW Requête Hadoop à l’aide de T-SQL

Re q u ê t e re l a t i o n e l l e + n o n re l a t i o n e l l e

SQL Résultat

Données relationelles

PolyBase

Requête integrant PolyBase in SQL PDW

#JSS2013

Démo

#JSS2013

Questions ?

#JSS2013

Merci à nos sponsors

#JSS2013

• http://www.microsoft.com/en-us/sqlserver/solutions-technologies/data-warehousing/pdw.aspx

• http://download.microsoft.com/download/4/2/6/42616D71-3488-46E2-89F0-E516C10F6576/SQL_Server_to_SQL_Server_PDW_Migration_Guide.pdf

• http://blogs.technet.com/b/sql/archive/2013/11/12/sql-server-chez-les-clients-parallel-data-warehouse.aspx

Références

#JSS2013#JSS2013