Sistemas de Cálculo Masivo en la Universidad de Malaga

Guillermo Pérez TrabadoUniversidad de Málaga

19/06/2007 Universidad de Málaga 2

Indice

• Los Comienzos

• Sacando conclusiones

• Claves para el éxito

• La Evolución (Estado Actual)

19/06/2007 Universidad de Málaga 3

Los Comienzos

Origin 2000 (1997)– 16 procesadores R10000 a 195MHz– 4 Gbytes de RAM– 64 Gbytes de almacenamiento en

disco– 6,24 GFLOPS de pico– Licencias de software (Gaussian,

Matlab, Mathematica)

Servicios Centrales de Apoyo a la Investigación (SCAI)

19/06/2007 Universidad de Málaga 4

Sacando Conclusiones (I)

• Tras 10 años, la Origin está totalmente obsoleta:– 16 CPUs a 195MHz, 4Gbytes de RAM

• Un PC Core2 Duo puede tiene un rendimiento equivalente

• Algunos usuarios han comprado sus propios servidores basados en un PC convencional.

• Sin embargo…

19/06/2007 Universidad de Málaga 5

Sacando Conclusiones (II)

• La máquina ha tenido una carga del 100% desde el principio…

• …y a Junio de 2007 sigue teniendo una

demanda de uso del ¡180% de su capacidad!

¿Cómo?

19/06/2007 Universidad de Málaga 6

Claves para el éxito (I)

• ¿Qué quieren los usuarios?– Despreocupación total en cuanto a la

instalación y mantenimiento• Desde el principio se contrató un administrador

dedicado exclusivamente a mantener el sistema

– Estabilidad de los recursos• Paradas de mantenimiento muy raras y

programadas con antelaciónpicasso_203$ uptime 12:01pm up 337 days, 2:45, 11 users, load average:

16.01, 15.25, 14.84

19/06/2007 Universidad de Málaga 7

Claves para el éxito (II)

• Disponibilidad de recursos masivos– Mayor número de CPUs y RAM– Más espacio de disco y almacenamiento terciario

• Licencias de software comercial– Desde el principio se adquirieron licencias de

software comercial no asequible para un solo grupo de investigación

• Seguridad– Copias de seguridad de la información– Control de acceso

• Asistencia personalizada– Compilación y adaptación de aplicaciones

19/06/2007 Universidad de Málaga 8

Evolución de la Infraestructura

• Nuevo edificio en el Parque Tecnológico de Andalucía

• Personal: 3 nuevas plazas de Técnicos para Supercomputación y Bioinformática

• Competencias:– Centro de Supercomputación de la Universidad de

Málaga (HP SuperDome de 128 CPUs)– Nodo de la Red Española de Supercomputación (IBM

de 512 CPUs)– Plataforma Bioinformática de Andalucía (Granja de

servidores para aplicaciones bioinformáticas)

19/06/2007 Universidad de Málaga 9

Renovación de Recursos Propios

• Renovación de la Infraestructura de Supercomputación con un SuperDome de HP:– 64 procesadores de núcleo doble con arquitectura

VLIW 64 bits (Intel Montecito):• Frecuencia de 1,6 GHz y caché de 18 MB

– 2 GB de RAM por PE (total 128 GB de memoria compartida)

– Disco RAID de 5 TBytes útiles– Librería de cinta con 40TBytes online– Funciona como un solo sistema operativo de

memoria compartida entre CPUs– Compiladores C, C++ y FORTRAN– Sistema de gestión de colas

19/06/2007 Universidad de Málaga 10

Red Española de Supercomputación (1)

• El Ministerio de Educación y Ciencia (MEC) ha creado la Red Española de Supercomputación, que consiste en una estructura distribuida de supercomputadores para dar soporte a las necesidades de supercomputación de los diferentes grupos de investigación españoles.

• Los nodos iniciales de esta red están situados en el BSC-CNS, en el CeSViMa (Centro de Supercomputación y Visualización de Madrid), en el IAC (Instituto de Astrofísica de Canarias) y en las Universidades de Cantabria, Málaga, Valencia y Zaragoza.

• El acceso de un grupo de investigación a la Red Española de Supercomputación será determinado por un Comité de Acceso único formado por científicos españoles independientes y de prestigio reconocido.

19/06/2007 Universidad de Málaga 11

Red Española de Supercomputación (2)

MareNostrumProceso: 10240 PowerPC 970 2.3 GHzMemoria: 20 TBytesDisco: 280 + 90 TBytesRedes: Myrinet, Gigabit, 10/100Sistema: Linux

CeSViMaProceso: 2408 PowerPC 970 2.2 GHzMemoria: 4.7 TBytesDisco: 63 + 47 TBytesRedes: Myrinet, Gigabit, 10/100Sistema: Linux

IAC, UMA, UNICAN, UNIZAR, UVProceso: 512 PowerPC 970 2.2 GHzMemoria: 1 TByteDisco: 14 + 10 TBytesRedes: Myrinet, Gigabit, 10/100Sistema: Linux

RedIRIS

Todos los nodos estará unidos por una red privada a 1 Gbps para movimiento de datos

19/06/2007 Universidad de Málaga 12

Procesador, Blade

2 Gbytes Memoria

2 Procesadores

36 Gbytes Disco

Daughter card Myrinet

19/06/2007 Universidad de Málaga 13

Blades, blade center and blade center racks

JS21 Processor Blade• 2.3 GHz Power PC 970 MP• 2GB memory (512KB L2 cache)• Local SAS drive (36 GB)• 2x1Gb Ethernet on board• Myrinet daughter card

Blade Center• 14 blades per chassis (7U)

• 28 processors• 28GB memory

• Gigabit ethernet switch

6 chassis in a rack (42U)• 168 processors• 168GB memory

19/06/2007 Universidad de Málaga 14

Hardware/Myrinet

Bandwidth: 250 MbytesLatency: 4 micros

19/06/2007 Universidad de Málaga 15

Storage node

Controller 300MB/s14 512GB drives 7

TB5 LUN RAID53 hot spare disks

p615

FAST-T100

EXP100

p615

sATA drawer14 512GB drives 7

TB

GbE GbE

Fiberchannel (250MB/s)

2 CPUs

19/06/2007 Universidad de Málaga 16

Red Española de Supercomputación (3)

• Distribución de uso– 20% uso propio para la investigación de cada centro– 80% asignado por Comité de Acceso

• Comité de Acceso único– 44 científicos españoles– 4 paneles

• Astronomía, Espacio y Ciencias de la Tierra• Biomedicina y Ciencias de las Vida• Física e Ingeniería• Química y Ciencia y Tecnología de los Materiales

– Acceso cuatrimestral– Distribución de 35 millones de horas/4 meses

• 1000 años de cpu al mes!

19/06/2007 Universidad de Málaga 17

Planificación Temporal

• El edificio ha sido entregado a finales de Mayo• El IBM se termina de instalar el 11 de Julio

– El comité de acceso ya ha asignado los usuarios de Málaga

• El SuperDome de HP se instalará tras el IBM

Esperamos comenzar las operaciones hacia el público a principios se Septiembre