el reto de ofrecer servicios a una comunidad virtual planetaria: el … · 2001-11-14 · el reto...

26 de Octubre de 2001 Jornadas Tecnicas RedIRIS / M. Delfino / CERN 1

European Organization for Nuclear Research (CERN)Information Technology Division

El reto de ofrecer servicios a una comunidad virtual planetaria:

el caso del CERN

Prof. Manuel DelfinoLeader, CERN IT Division

IT Division


Esquema

Breve introducción del CERN y su comunidadCaracterísticas de los usuariosCaracterísticas de los serviciosRetos del presenteRetos del futuro: La comunidad LHC y sus necesidadesGrid y su importancia para el LHCLos proyectos EU-DataGrid y LHC Computing GridDesarrollo e implementación de la LHC Computing Grid

IT Division


Breve introducción del CERN y su comunidad:El CERN como institución

Investigación fundamental en física de partículasDiseño, construcción y operación de aceleradoresDesarrollo de tecnologías punta necesarias:

Alto vacíoImanes superconductoresTécnicas de detección de partículasElectrónica ultrarápidaComputación (invención del World Wide Web y de SHIFT)

Organización inter-gubernamental con 20 países miembrosPresupuesto de unos 600 millones de euros anualesPlantilla de 2,500Acceso abierto basado solamente en excelencia científica:Mas de 6,000 investigadores de todo el mundo como usuarios

IT Division


Breve introducción del CERN y su comunidad:El laboratorio científico mas grande del mundo

Experimentos de gran envergadura y larga duración, conducidos por un pequeño numero de grandes colaboraciones:Era LEP (finalizada): 4 experimentos, cada uno:

500 físicos50 universidades y laboratorios20 paísesCosto del aparato: 60 millones de euros

Era LHC (en curso): 4 experimentos. Los 2 grandes, cada uno:2000 físicos150 universidadesGlobalCosto del aparato: 300 millones de euros

Notar que el tamaño del “cuanto colaborador” es aproximadamente constante, unas 10 personas por grupo.

IT Division


Breve introducción del CERN y su comunidad:El laboratorio científico mas grande del mundo

Large Hadron Collider

IT Division


Características de los usuarios

Casi todos los procesos estan informatizados.Los usuarios tienen experiencias muy variadas:

Los Físicos van y vienen constantemente desde su “casa” y quieren tener un entorno uniforme (petición, en sí, razonable)

Lo saben TODO, sin necesidad de estudiar NADA. Sus requisitos son extremadamente SIMPLES y el problema es la increible FALTA DE INTELIGENCIA DE LOS OTROS para compreder y complacer.

Los Físicos Usuarios

Herramientas de desarrollo de SW, desarrollo de “valor añadido” a paquetes

Expertos en computación (físicos, ingenieros e informáticos)

Paquetes específicos, simulaciones numéricasIngenieros

Word, Excel, aplicaciones de gestión con interface WebSecretarias y administradores

Interfaces custom, generalmente “display and menu”

Técnicos mecánicos y eléctricos, operadores

IT Division


Características de los serviciosTipos de servicios

“Normales”Sobremesas Windows PC, Linux y Unix Servidores Web IIS y ApacheServidores e-mail IMAP y SMTPServidores OracleServidores específicos sobre Solaris/OracleLAN como servicio uniforme y transparente

“Especiales”Recepción y almacenamiento de datos de los experimentosProcesamiento, análisis y simulación de datos de física:

• Arquitectura SHIFT• Mas de 2000 máquinas con todos los sistemas operativos• Model NAS: Servidores de CPU, disco, cinta. Todo habla con todo.

IT Division


Características de los serviciosTipos de servicios

O sea, “igual que todo el mundo”, excepto:

3000 usuarios intensivos diariamente físicamente en el campus y cada vez mas usuarios entrando remotamente.Ingenieros mecánicos americanos y japoneses introduciendo diseños en el EDMS los días de Navidad y Año NuevoFlujo agregado de adquisición de datos de los experimentos de unos 50 MB/s = 4 TB/día, 24x7 9 meses al año.Capacidad batch necesaria en CPU, flujo y almacenamiento de datos realmente fenomenal.Exportación de cintas magnéticas ha dado paso a exportacióna traves de red por parte de individuos con patrones “caóticos”

Por tanto, siempre estamos persiguiendo maneras de dar mas capacidad y funcionalidad por menor costo.

IT Division


Características de los serviciosEvolucion y tendencias

Migración de casi 4000 asientos de Windows 95 con Novell a Windows 2000 con Active Directory y SMS.Desarrollo de un sistema centralizado de impresión y del “CERN Printer Wizard”.Migracion de batch y desktop para fisica a Linux/Intel.Desarrollo de un sistema de migracion cinta/disco “CASTOR”Extensión del sistema de recepción y almacenamientode datos de los experimentos a centros de simulaciónEmpezando desarrollos de automatización de instalación y gestión de hardware y de LinuxApuesta por tecnologia Grid con enfasis en DataGrid

IT Division


Características de los serviciosEvolucion y tendencias

40.000 puntos de cableado UTP estructurado.Backbone redundante Gigabit Ethernet.Racionalizacion de multiples sistemas con solapamiento: Telefono, GSM, alarmas, video y audio, videoconferencia, etc.Mucha presion para Ethernet inalambrica 802.11bInfraestructura privada de fibras (¡¡¡cruzando lafrontera Francia(EU)-Suiza(no-EU)!!!)Migracion a un unico protocol de red: TCP/IPPunto neutro de interconexion de operadores: “CIXP”Empezando estudios DWDM y VPN end-to-end

IT Division


aéroport

Centre de Calcul Genève

Características de los servicios:Red privada de fibras opticas + fibras operadores

A Lyon y Paris A Ginebra,

Lausanne y Zurich A Telehouse-

Ginebra

IT Division


Características de los servicios:CERN Internet Exchange Point

IT Division


Características de los servicios:Ejemplo de infraestructura LAN

15000 hostsMas de 2000 elementos red gestionados1000 hubsVarios centenares de switchesMas de 100 routers

Tendencias: Cociente dispositivos/personas a sobrepasado 100%, y muy probablemente se dispararaImpacto de inalambrico 802.11bRelacion con GSM, Bluetooth, etc.

IT Division


Retos del presente

Help Desk y cadena de resolucion de problemasSeguridad e identificacion de usuariosConflictos creados por el modelo “firewall” de seguridad: dentro los buenos / afuera los malos.Falta de diferenciacion en Europa entre

Accesos de alumnos a la Internet generalAccesos de investigadores a laboratoriosAccesos servicio-servicio de altas prestaciones

Desastrosamente bajo nivel de seguridad en universidades Falta de soporte para servicios sofisticados de red end-to-endPreocupacion sobre el futuro de AFS y falta de alternativasMonitorizacion, instalacion y parcheado de miles de componentes.

IT Division


Retos futuros: Necesidades de la comunidad LHC

Level 1 - Special HardwareLevel 2 - Embedded Processors

40 MHz 40 MHz (1000 TB/sec)

(1000 TB/sec)

Level 3 – Farm of commodity CPUs

75 KHz 75 KHz (75 GB/sec)

(75 GB/sec)5 KHz5 KHz (5 GB/sec)

(5 GB/sec)100 Hz 100 Hz (100 MB/sec)

(100 MB/sec)Data Recording &

Data Recording &Offline Analysis

Offline Analysis

Experimento CMS

2000 profesores, estudiantes e investigadores repartidos por todo el mundo

IT Division


Retos futuros: Necesidades de la comunidad LHCAcumulacion de 10 PB/año durante 10 años

Long Term Tape Storage EstimatesLong Term Tape Storage Estimates

CurrentCurrentExperimentsExperiments COMPASSCOMPASS

LHCLHC

002'0002'0004'0004'0006'0006'0008'0008'000

10'00010'00012'00012'00014'00014'000

1995

1995

1996

1996

1997

1997

1998

1998

1999

1999

2000

2000

2001

2001

2002

2002

2003

2003

2004

2004

2005

2005

2006

2006

YearYear

TeraBytesTeraBytes

Accumulation: 10 PB/yearAccumulation: 10 PB/yearSignal/Background up to 1:10Signal/Background up to 1:101212

IT Division


Retos futuros: Necesidades de la comunidad LHCDatos muy complejos = Mayor CPU/byte

Estimated CPU Capacity required at CERN

0

1,000

2,000

3,000

4,000

5,000

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

Jan 2000:3.5K SI95

LHCLHC

K SI95

Moore’s law –some measure of the capacity technology advances provide for a constant number of processors or investment

IT Division


Retos futuros: Necesidades de la comunidad LHCPeticiones caoticas agregan a enormes demandas

DetectorDetector

Raw dataRaw data

EventReconstruction

EventEventReconstructionReconstruction

EventSimulation

EventEventSimulationSimulation Interactive

Data AnalysisInteractive

Data Analysis

ProcessedData

ProcessedData

1-100 GB/sec1-100 GB/sec

One ExperimentOne ExperimentOne Experiment35K SI9535K SI95

~200 MB/sec~200 MB/sec

250K SI95250K SI95

350K SI9564 GB/sec350K SI9564 GB/sec

500 TB500 TB

1 PB / year1 PB / year

~100 MB/sec~100 MB/sec

200 TB / year200 TB / year

analysis objects

Event Filter(selection &

reconstruction)

Event FilterEvent Filter(selection &(selection &

reconstruction)reconstruction)Event

SummaryData

Event Summary

Data

Batch PhysicsAnalysis

Batch PhysicsBatch PhysicsAnalysisAnalysis

0.1 to 10.1 to 1GB/secGB/sec

Thousands of scientists worldwide

IT Division


Grid y su importancia para el LHCArquitectura “Fabrics interconnected into Grid”

DEVELOPER VIEW

GRID

FABRIC

APPLICATION “GRIDIFICATION”

USER VIEW

IT Division


Tejidos computacionales para tratamiento intensivo de datos:

Las “plantas generadoras” que mantienen el “voltaje” del Grid

55

250250

0.80.888 24 *24 *

960 *960 *

6 *6 *

1.51.5

1212

LAN-WAN RoutersLAN-WAN Routers

0.80.8

0.80.8Storage NetworkStorage Network

StorageNetworkStorageNetwork

Farm NetworkFarm Network

* Data Ratein Gbps

* Data Ratein Gbps

10 Thousand dual-CPU boxes10 Thousand dual-CPU boxes

10 Thousand disk units10 Thousand disk units

Hundreds oftape drives

Hundreds oftape drives Real-time

detector dataReal-time

detector data

Grid InterfaceGrid Interface

Multi-Gigabit Ethernet switchesMulti-Gigabit Ethernet switches

Computing fabricat CERN (2006)Computing fabricat CERN (2006)

IT Division


Grid y su importancia para el LHCEvolucion del punto focal del entorno

0 1 2 3 4 5 6 7

1950

1960

1970

1980

1990

2000

Decade

Increasing Complexity of implementationIncreasing Functionality to user

Process - centric

Algorithm - centric

CPU - centric

IT Division



0 1 2 3 4 5 6 7

1950

1960

1970

1980

1990

2000

Decade


Network - centric

Database - centric

Process - centric

Algorithm - centric

CPU - centric

IT Division



0 1 2 3 4 5 6 7

1950

1960

1970

1980

1990

2000

Decade


Network - centric

Database - centric

Process - centric

Algorithm - centric

CPU - centric

Technology becomes commodity

IT Division



0 1 2 3 4 5 6 7

1950

1960

1970

1980

1990

2000

Decade


People - centric

Network - centric

Database - centric

Process - centric

Algorithm - centric

CPU - centric

Technology becomes commodity

IT Division


Grid y su importancia para el LHCPunto focal: Individuos y comunidades

Application

Fabric“Controlling things locally”: Access to, & control of, resources

Connectivity“Talking to things”: communication (Internet protocols) & security

Resource“Sharing single resources”: negotiating access, controlling use

Collective“Managing multiple resources”: ubiquitous infrastructure services

User“Specialized services”: user- or appln-specific distributed services

InternetTransport

Application

Link

Intern

et Proto

col Arch

itecture

Grid Architecture

IT Division


Los proyectos EU-DataGrid y LHC Computing Grid

EU-DataGridEnfoque: Componentes “atomicos” para gestion de datos en entornos Grid: Almacenamiento, acceso, replicacionFuerte colaboracion con proyectos que desarrollan otros componentes, por ejemplo Globus. Participacion en Global Grid Forum.10 Meuros, fundamentalmente para personalPersonal adicional financiado por varios institutosMulti-disciplinar: Fisica, biologia, medicina, geo-observacionAcuerdo de colaboracion con GEANT

IT Division


Los proyectos EU-DataGrid y LHC Computing Grid

LHC Computing GridEnfoque: Implementacion de prototipos e instalacion inicial de Grid para analizar los datos del LHC2002-2004: 200 ingenieros/año, inversion de 30 MeurosAprox. 50% actividad en el CERN:

• Motor europeo de educacion continuada de ingenieros• Potenciacion del desarrollo europeo del Grid

Canalizado a traves del

Tanto el CERN como varios paises europeos tienen puestos disponibles

www.cern.ch/openlab

IT Division


Desarrollo e implementación de la LHC Computing Grid

User point of view:Virtual analysis communities

H→µµ

H→γγ

b-physics

Data-Intensive

Meta-Computer

Center

Physical setupTransparent

Analysis Region

Transparent

Analysis

Region

Transparent Analysis Region

IT Division


Desarrollo e implementación de la LHC Computing Grid

regional group

les.ro

bertso

n@ce

rn.ch

CERNTier2

Lab a

Uni a

Lab c

Uni n

Lab m

Lab b

Uni bUni y

Uni x

Tier3physics

department

αααα

ββββ

γγγγDesktop

Germany

Tier 1

USAUK

France

Italy

……….

CERN Tier 1

……….

The LHC Computing Centre

Higgs

B physics

top

PORTAL Higgs

top

PORTAL

man

uel.d

elfino

@ce

rn.ch

IT Division


Centro de Calculo del CERN en 1985

IT Division


Primeros “RISC-farms”: Centro de Calculo del CERN en 1992

IT Division


Introduccion de Linux/Intel: Centro de Calculo del CERN 1997-2000

IT Division


Implantacion de “generador” LHC Computing Grid: Centro de Calculo del CERN 2002-2006

IT Division


La clave es tener arquitecturas solidas

Computerworld Honors Award 2001

IT Division


Arquitectura, Automatizacion y Control de Calidad

IT Division


Posibilidades de transferencia de tecnologia

IT Division


Conclusiones

Cociente dispositivos/persona > 100%Entornos centrados en personas y comunidades“Nube planetaria”

personas y dispositivosapareciendo y desaparenciendohaciendo peticiones y compartiendo los resultados

Modelo de “infraestructura”Los usuarios tienen la ilusion de un entorno uniformeLos proveedores crean esta ilusion con “plantas generadoras, lineas de transmision, transformadores”.

La capacidad de la sociedad para absorber, utilizar y adaptar tecnologias Web/Internet ha sido alucinanteLas necesidades de la investigacion de hoy nos pueden permitir explorar y desarrollar la tecnologias de gran impacto para la sociedad de mañana y el desarrollo economico.Es nuestra decision si invertimos en ello, o lo dejamos a otros.

el reto de ofrecer servicios a una comunidad virtual planetaria: el … · 2001-11-14 · el reto...

Documents