![Page 1: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/1.jpg)
Escalabilidad “ilimitada” con SQL Server
Eladio Rincón Director Depto. Relacional, SolidQ SQL Server MVP [email protected]
![Page 2: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/2.jpg)
2
Producto
Hardware
Aplicaciones
Combinación
Factores que Limitan la Escalabilidad
Baseline
Identify bottlenecks
Make Changes
Measure Performance
![Page 3: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/3.jpg)
Agenda
Casos más Impactantes y sus Retos
El Caso de la Servilleta
… y la otra servilleta
En qué te podemos ayudar
3
![Page 4: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/4.jpg)
4
Los números… VLDB Mission Critical HA/DR DW High OLTP
> 30,000 DB tx/Second
100% uptime (2008)
100% uptime (2009)
100% uptime (2010)
180M incremental
fact rows/day
7x24x365 Synchronous
Mirroring Solution >15B
tx/yr
> peta-byte
≈ 1 trillion rows
Asynch Mirroring > 400 miles
< 60 sec. recovery
>1 peta-byte
>10B rows in 1 table
>80GB daily growth
>50 TB by end of 2010
>90GB daily growth
Critical operations
at > 2200 facilities
Critical operations
with > 15,000 users
Mission Critical
database > 4 TB
Critical operations
with > 1,000,000,000 tx/day
Large U.S. Financial Organization
Mission Critical
table > 1.9 billion rows
COMING SOON!
(10+1 Clusters)
Centipede
490TB
9 data nodes
70GB daily growth
<= 3s query response (80%)
700 million rows/day
Incremental growth
5TB Analysis Services data
50TB federated environment
> 3,000 tx/Second
> 2B CLR calculations/day
12.4M users (2.7M regular)
> 23k batch requests/sec
> 125K tx/second
< 50ms latency
Large U.S. Financial Organization
4.4M concurrent users
130M monthly users
SAP | geo-cluster > 5 miles
No Data Loss | No Down Time
![Page 5: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/5.jpg)
5
…traducido en Caracteristicas Necesidad Característica Versión SQL Server
VLDB Particionado 2000 – 2012
Compresión 2005 – 2012
BD en Memoria 2013+
HA / Tier – 1 Hadron / AlwaysON 2008 – 2012
Utilizar los
secundarios
2005 – 2012
DW Scale Scale Out (2008) – 2012
FTDW, Vertipaq (2008) – 2012
![Page 6: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/6.jpg)
6
Servidores
Apps
Usuarios
Listener
Scale Out – El Caso de la Servilleta
![Page 7: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/7.jpg)
Scale Out – La otra Servilleta Protección y escalabilidad a nivel de grupos de bases de datos
Mejora la Productividad y ROI
• Multi-database
distribuir la carga entre los secundarios , Reportings y backups
Mejor Disponibilidad
Sin dependencia de aplicaciones
![Page 8: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/8.jpg)
A A
A A
A Application A
Primary Replica
Application A
Secondary Replica
Synch. Data
Movement
Asynch. Data
Movement
A
Scale Out – Caso Práctico
• Grupo de bases de datos que gestionamos conjuntamente (e.g. failover conjunto)
• Definimos la replicación conjuntamente
Availability Group (AG)
• Copia fisica del conjunto de bases de datos definidas en el Availability Group
Availability Replica (AR)
• Permite escritura y lectura
Nodo Primario
• Permite conexiones solo lectura
• Es la copia de backup de los datos
Nodo Secundario
![Page 9: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/9.jpg)
Dimensiones: Replicadas TD
SD
PD
MD
SF
01-08 Time Dim
Date Dim ID
Calendar Year
Calendar Qtr
Calendar Mo
Calendar Day
Store Dim
Store Dim ID
Store Name
Store Mgr
Store Size
Product Dim
Prod Dim ID
Prod Category
Prod Sub Cat
Prod Desc
Sales Facts
Date Dim ID
Store Dim ID
Prod Dim ID
Mktg Camp Id
Qty Sold
Dollars Sold
Mktg Campaign
Dim
Mktg Camp ID
Camp Name
Camp Mgr
Camp Start
Camp End
TD
SD
PD
MD
SF
09-16
TD
SD
PD
MD
SF
17-24
TD
SD
PD
MD
SF
25-32
TD
SD
PD
MD
SF
33-40
Scale Out – SQL Server 2012 PDW
![Page 10: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/10.jpg)
Scale Out – SQL Server 2012 PDW Hechos: Distribuidos
TD
SD
PD
MD
SF
01-08 Time Dim
Date Dim ID
Calendar Year
Calendar Qtr
Calendar Mo
Calendar Day
Store Dim
Store Dim ID
Store Name
Store Mgr
Store Size
Product Dim
Prod Dim ID
Prod Category
Prod Sub Cat
Prod Desc
Sales Facts
Date Dim ID
Store Dim ID
Prod Dim ID
Mktg Camp Id
Qty Sold
Dollars Sold
Mktg Campaign
Dim
Mktg Camp ID
Camp Name
Camp Mgr
Camp Start
Camp End
TD
SD
PD
MD
SF
09-16
TD
SD
PD
MD
SF
17-24
TD
SD
PD
MD
SF
25-32
TD
SD
PD
MD
SF
33-40
![Page 11: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/11.jpg)
Compresión / Almacenamiento Columnar
Disponible en SQL 2012 y PDW
VertiPaq
C1 C2 C3 C5 C6 C4
…
Páginas
Almacenamiento
Tradicional
(row store)
Almacenamiento
Columnar
![Page 12: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/12.jpg)
SELECT key2, key3, SUM (measure1) Ventas FROM tabla GROUP BY key2, key3;
Almacenamiento Columnar – Menos E/S
Disponible en SQL 2012 y PDW
• Se recupera sólo las columnas necesarias
• Datos comprimidos
• Menos E/S
• Mejor ratio de acierto en caché
key1
key2
key4 key5 key6
key3
-- -- columnstore index -- CREATE COLUMNSTORE INDEX idx_cs_fact ON dbo.Fact ( key1, key2, key3, key4, key5, key6, key7, key8, measure1, measure2, measure3);
![Page 13: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/13.jpg)
![Page 14: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/14.jpg)
Tecnología en Memoria Proyecto Heckaton
• Objetivo cuando el hardware no da más
>= 15.000 reqs/sec
• Soporte Completo ACID
Tablas en Memoria SPs en Memoria
![Page 15: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/15.jpg)
15
Repaso de los números… VLDB Mission Critical HA/DR DW High OLTP
> 30,000 DB tx/Second
100% uptime (2008)
100% uptime (2009)
100% uptime (2010)
180M incremental
fact rows/day
7x24x365 Synchronous
Mirroring Solution >15B
tx/yr
> peta-byte
≈ 1 trillion rows
Asynch Mirroring > 400 miles
< 60 sec. recovery
>1 peta-byte
>10B rows in 1 table
>80GB daily growth
>50 TB by end of 2010
>90GB daily growth
Critical operations
at > 2200 facilities
Critical operations
with > 15,000 users
Mission Critical
database > 4 TB
Critical operations
with > 1,000,000,000 tx/day
Large U.S. Financial Organization
Mission Critical
table > 1.9 billion rows
COMING SOON!
(10+1 Clusters)
Centipede
490TB
9 data nodes
70GB daily growth
<= 3s query response (80%)
700 million rows/day
Incremental growth
5TB Analysis Services data
50TB federated environment
> 3,000 tx/Second
> 2B CLR calculations/day
12.4M users (2.7M regular)
> 23k batch requests/sec
> 125K tx/second
< 50ms latency
Large U.S. Financial Organization
4.4M concurrent users
130M monthly users
SAP | geo-cluster > 5 miles
No Data Loss | No Down Time
![Page 16: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/16.jpg)
Qué proponemos para acercarte a
esos números
Baseline
Identify bottlenecks
Make Changes
Measure Performance
![Page 17: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/17.jpg)
4 Medidas
• Sintéticas
• Unitarias
• Concurrencia
• Vida Real
“Cuando quieres realmente una cosa, todo el Universo conspira para ayudarte a conseguirla”
Autor: Tú (con permiso de Paulo Coelho)
![Page 18: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/18.jpg)
Medidas Sintéticas
• Recursos:
Arquitecturas de
Referencia FTDW
• Herramientas:
Fabricantes de
hardware y software
(SQLIO, IOMeter)
• Busca los
límites
• No es Barato
![Page 19: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/19.jpg)
Pruebas Unitarias
• Funcionales del software Visual Studio, Telerik, Nunit, xUnit, Pex: MS Research
• Las cosas no van mal
• …pero pueden ir
![Page 20: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/20.jpg)
Pruebas de Concurrencia
• Cómo se comporta el software con otros al lado ERPs, CRMs, Transaccionales, Analíticos, Reporting, …
• Analizar (S y H) Profilers
PerfMon
• Concluir
• Medidas
![Page 21: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/21.jpg)
Vida Real • Seguir
midiendo Tools
• Entender
la realidad Cruzar datos
• Reaccionar
rápido Proactivo
![Page 22: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/22.jpg)
© SolidQ 2013 22
• Replicación para mejorar rendimiento
• Migraciones
• Rápidas
• Seguras
• Escalables
Pinceladas de Casos de Estudio
![Page 23: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/23.jpg)
© SolidQ 2013 23
Usando Replicación de Datos para mejorar Rendimiento
![Page 24: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/24.jpg)
© SolidQ 2013 24
Migración a 2008 Muy Rápida
![Page 25: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/25.jpg)
© SolidQ 2013 25
Migraciones Medidas y Seguras…
![Page 26: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/26.jpg)
© SolidQ 2013 26
… en Sistemas Seguros …
![Page 27: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/27.jpg)
© SolidQ 2013 27
… y Escalables y con Fast Track
![Page 28: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/28.jpg)
© SolidQ 2013 28
• Los números están ahí
• Ayudan a asustar fantasmas
• Outside – In
• Comprende lo que ves fuera y ajústalo a tu Organización
Resumen
![Page 29: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/29.jpg)
Eladio Rincón
![Page 30: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/30.jpg)
© SolidQ 2013 30
Agenda
9:30: 10:00 Una nueva plataforma de gestión de
la información: SQL Server 2012
10:00 – 11:00 ¿Sabes hasta dónde puede llegar
SQL Server?
11:00 – 11:30 Coffee – Break
11:30 – 12:15 Enterprise Information Management:
Jugando con SSIS, DQS y MDS
12:15- 13:00 ¿Cómo de Big son tus datos?:
HDInsight
![Page 31: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/31.jpg)
© SolidQ 2013 31
Túneles de viento
http://www.rectademeta.com/primer-tunel-de-viento-en-espana.html
http://angelesenlacabeza.blogspot.com.es/2012/10/tuneles-de-viento-ese-gran-desconocido.html
http://www.autobild.es/reportajes/ferrari-una-factor%C3%AD-de-sue%C3%B1os
Entrenamientos
http://www.lasprovincias.es/20110203/deportes/motor/vida-kilometros-hora-201102030951.html
http://www.elmundo.es/albumes/2013/02/08/delarosa_ferrari_estreno/index.tml
Entrenos oficiales
http://www.abc.es/20121102/deportes-f1/abci-libres1-abudabi-201211021156.html
Carrera
http://www.flickr.com/photos/97302051@N00/155461458/sizes/z/in/photostream/
http://beyondtheredline.org/formula-1-fernando-alonso-the-rain-master/
Créditos imágenes
![Page 32: SolidQ Business Analytics Day | Escalabilidad “ilimitada” con SQL Server](https://reader038.vdocuments.mx/reader038/viewer/2022110310/5592c5af1a28abd10f8b4766/html5/thumbnails/32.jpg)
Si quieres disfrutar de las mejores sesiones de
nuestros mentores de España y Latino América,
ésta es tu oportunidad.
http://summit.solidq.com/madrid/
Síguenos:
© SolidQ 2013 32