Download - Eficiencia energeticahpc
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
CENTRO DE SUPERCOMPUTACIÓN DE
CASTILLA Y LEÓN
Eficiencia Energética en Centros de Supercomputación
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
Objeto de la Fundación
La Fundación es una entidad pública creada en 2008 que tiene por objeto la mejora de las tareas de la investigación de la Universidad, de los Centros de Investigación y de las empresas de Castilla y León
– promoviendo acciones de innovación:
• en el mundo de la Sociedad del Conocimiento
• en el área de cálculo intensivo,
• las comunicaciones, y
• los servicios avanzados,
– contribuyendo mediante el perfeccionamiento tecnológico al desarrollo económico de la Comunidad y a la mejora de la competitividad de las empresas.
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
Líneas de actuación
• Promoción de la I+D+i en la Comunidad de Castilla y León
– Dirigida a instituciones públicas y empresas privadas.
– Papel proactivo en la captación de fondos dedicados a la realización de proyectos
• Prestación de servicios de cálculo intensivo a los proyectos de investigación y desarrollo
• Cursos de formación y eventos dirigidos a investigadores que les permitan aprovechar las infraestructuras disponibles en el Centro.
• Difusión y divulgación de los aspectos relacionados con la aplicación de las tecnologías de la información, y especialmente de la supercomputación, en las actividades de I+D de la Comunidad. Esta tarea tiene dos públicos objetivos en la Comunidad:
– La sociedad, a la que se han de hacer accesibles las actividades de la Fundación y el papel que tienen,
– La comunidad científica e investigadora a la que se quiere atraer al Centro de Supercomputación para que incremente su producción científica.
• Línea de investigación propia: Eficiencia energética
Presentación corporativa
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
El problema del consumo
El consumo eléctrico de los Centros de Proceso de Datos representa
en Estados Unidos aproximadamente el 2% del consumo total de electricidad del país.
Este elevado consumo hace que las TI sean la segunda industria más
contaminante del planeta, sólo por detrás de la aviación, y que al ritmo actual en poco tiempo pasará a ser la primera.
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
Superordenados
The new IBM System installed at NASA's Goddard Space Flight Center
is the fastest, most powerful computer now in user operation.
It is specifically designed to handle ultra high-speed data processing for
scientific applications such as space exploration, theoretical astronomy,
sub-atomic physics and global weather forecasting.
Precio: 70 Millones $
Fuente: IBM Data Processing Division Press
• Características
– 2Mbytes RAM
– 300Mbytes Tambor
– 5MFLOPS
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
Cambio en el Balance de Costes
• De un escenario en el que el sistema tenía un gran peso respecto a Sala+Costede Explotación se ha pasado al escenario actual:
• Hardware muy barato: servidores de 12 núcleos por 2K€.
• Un servidor “se consume a sí mismo”: el coste de electricidad a tres años es superior al precio de compra.
• La electricidad es la factura más importante de la explotación, son necesarias tecnologías que nos incrementen la eficiencia energética
• Los CPD’s albergan cada vez más hardware y por tanto más servicios: Los costes de operación se disparan.
• Son necesarios sistemas de monitorización y gestión eficientes.
• El coste de la sala es importante, pues el precio del m2 ha subido mucho.
• Es necesario incrementar la densidad, con las consecuencias que esto tiene en las tecnologías de sala.
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
Eficiencia
Si comenzamos a utilizar Clusters HPC por razones de eficiencia...
¿Por qué no los diseñamos para que sean eficientes?
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
Inversión realizada: 4,5 Mio€
Máxima eficiencia energética (Potencia: 140 Kw / Consumo: 175 Kwh. PUE: 1,25)
Mínimo requisito de espacio: 90m2
Centro: TIER 3,5 (Refrigeración redundada/ UPS redundada / Generador)
Implantación de ISO 27001
Proyecto de Infraestructura
Centro de Supercomputación
P1
Ficha Técnica Proyecto
Almacenamiento y Backup
110 Tbytes
Clúster Cálculo Paralelo304 nodos (2.432 cores)
26 Tflops
Clúster Visualización
(9 nodos)
Clúster Memoria Compartida
16 nodos (256 cores)RAM: 3 Tbytes
Servicios del Centro
(10 nodos)
Clúster GPUs14 TESLAS
(3.360 cores)+
7 nodos (56 cores)16 Tflops
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
Centro Potencia
media
(Tflops)
Potencia (Kw) /
Consumo (Kwh) -
PUE
Mflops/W Posición Lista
Green500
(Jun 2009)
Requisitos
espacio (m2)
Mare Nostrum
(BSC)
65,2 683 /±1.200 – (±1,75) 95,38 207 180
Caléndula (FCSC) 24,0 95 /120 – (1,26) 252,63 30 20
Finisterrae
(CESGA)
14,0 267 / (>2) 52,49 404 140
Magerit
(CESVIMA)
15,6 351 / (>2) 45,53 462 ?
• Eficiencia media aumenta el10% (98 MFlops/Watt --> 108 MFlops/Watt),
• La potencia agregada de la lista aumentó en un 15% (200 MW --> 230 MW)
El Primer Centro por su eficiencia energética en España
Ficha Técnica Proyecto
Posicionamiento en España
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
Buenas Prácticas
• En las infraestructuras
• En los procedimientos de Explotación
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
Nuevos Retos
• Alta Densidad >40Kw/rack
• “Meter” 40Kw en un rack no es fácil… “sacarlos” es aún más difícil
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
Densidad
• 128 Servidores (1024 cores)/rack
• 4 Chasis Blade
• 32 Servidores por chasis
• 24 fuentes de alimentación 2200W
• 24 Cables de alimentación C19
• 16 switches gigabit/rack
• 16 switches Infiniband DDR/rack
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
Nuevos Conceptos de Frio
• Pasillo Caliente Cerrado (HACS) / Armario Cerrado (RACS)
• Agua
• Intercambiadores de Calor a bordo del rack.
• Free Cooling
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
Nuevos Conceptos de Frio
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
¿Sólo en el Frio y en la electricidad?
• Opción A: L5420 (50W)
• Linpack: 16,8 TeraFLOPS
• Consumo: 90Kw/h
• Eficiencia: 186MFLOPS/W
• Coste compra: 1
• Coste total 3 años: 1,45
• Opción B: X5460 (120W)
• Linpack: 19,6 TeraFLOPS
• Consumo: 125Kw/h
• Eficiencia: 157 MFLOPS/W
• Coste compra: 1,22
• Coste total 3 años: 1,86
Los 2,8 TeraFLOPS adicionales tienen un coste desmesurado!!
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
Procedimientos de Explotación
• Una vez conseguidas unas infraestructuras energéticamente eficientes, hay que atender a los procedimientos de explotación
• En un Centro de Supercomputación, lo idóneo es encender y apagar nodos bajo demanda
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
Gestión Proactiva
• Debe disponerse de las herramientas necesarias para poder realizar una gestión activa que optimice el consumo
.00
50.00
100.00
150.00
200.00
250.0013/0
8/2
010
9:0
013/0
8/2
010
23:3
014/0
8/2
010
14:0
015/0
8/2
010
4:3
215/0
8/2
010
19:0
016/0
8/2
010
9:3
017/0
8/2
010
0:3
017/0
8/2
010
15:0
018/0
8/2
010
5:3
018/0
8/2
010
20:0
019/0
8/2
010
10:3
020/0
8/2
010
1:0
020/0
8/2
010
15:3
021/0
8/2
010
6:0
021/0
8/2
010
20:3
022/0
8/2
010
11:0
023/0
8/2
010
1:3
023/0
8/2
010
16:1
524/0
8/2
010
6:4
524/0
8/2
010
21:1
525/0
8/2
010
11:4
526/0
8/2
010
2:1
526/0
8/2
010
16:4
527/0
8/2
010
7:1
528/0
8/2
010
1:1
528/0
8/2
010
15:4
529/0
8/2
010
6:1
529/0
8/2
010
20:4
530/0
8/2
010
11:1
531/0
8/2
010
2:0
031/0
8/2
010
16:3
001/0
9/2
010
7:0
001/0
9/2
010
21:3
002/0
9/2
010
12:0
003/0
9/2
010
2:3
003/0
9/2
010
17:0
004/0
9/2
010
7:3
004/0
9/2
010
22:0
005/0
9/2
010
12:3
006/0
9/2
010
3:0
006/0
9/2
010
17:3
007/0
9/2
010
8:0
007/0
9/2
010
22:3
008/0
9/2
010
13:0
009/0
9/2
010
3:3
009/0
9/2
010
18:0
010/0
9/2
010
8:3
010/0
9/2
010
23:0
011/0
9/2
010
13:3
012/0
9/2
010
4:0
012/0
9/2
010
18:3
013/0
9/2
010
9:0
014/0
9/2
010
0:0
014/0
9/2
010
14:3
015/0
9/2
010
5:0
0
Med
ida
Fecha/Hora
PM710_1:Total potencia activa Poly. (PM710_1:Total potencia activa)
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
Proyecto Monica
• Sistema de monitorización multidimensional con gestión inteligente de la Eficiencia Energética para Centros de Procesos de Datos ultradensos orientados a HPC y Cloud Computing.
• Concepto de CPD como “planta industrial”
• Gestión jerárquica y multidimensional de todos los componentes del CPD
• Toma de decisiones automática siguiendo las reglas de negocio, entre las que se encuentra la eficiencia energética
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
Conclusiones
• La eficiencia energética es uno de los grandes reto de las TIC de hoy
• Los requerimientos de los sistemas de hoy en día han vuelto obsoletas las tecnologías de CPD en muy poco tiempo
• Del gran CPD al CPD compacto, y del CRAC al armario cerrado con intercambiador: el vuelco es drástico
• No sirve de nada tener una nevera de clase “A” con la puerta abierta: infraestructuras eficientes tienen que ir acompañadas de procedimientos eficientes.
• El cambio no ha hecho más que empezar: el futuro es la virtualización total, en el que las reglas de funcionamiento se basará en dos pilares: el SLA y la eficiencia energética.
• El Cloud tiene como resultado CPD’s muy densos con sistemas completamente virtualizados: hacia la gestión energética total.
Copyright © 2010, FCSC. All rights reserved. Other brands and name are property of their respective owners.
www.fcsc.es
Fundación Centro Supercompurtación de Castilla y León
Copyright © 2008, Fundación Centro de Supercomputación de Castilla y León. Redondo Gil, C.
FCSCCYL Confidential – For Use under NDA only.
All plans, dates and figures are subject to change without any notice as they apply.
Other names and brands may be claimed as the property of other.
Edificio CRAI-TIC
Campus de Vegazana s/n
24071 León (España)
Tlf.: (+34) 987 29 3160