rocks cluster
TRANSCRIPT
![Page 1: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/1.jpg)
Rocks ClusterInstalación, Configuración y Pruebas
Einstein Morales MoralesProgram Mathematics and Scientific Computing
University of Puerto Rico
Abril– 2011
Mayaguez-Puerto Rico
Dr Marko Schütz
![Page 2: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/2.jpg)
Contenido
• Introducción• Instalación
– Requerimientos– Instalación del fronted– Instalación de nodos
• Configuración – Configuración del fronted– Configuración de nodos
• Pruebas– Acceso– Sistemas de archivos– Comandos– Lanzamiento y monitoreo de un trabajo en el clúster
![Page 3: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/3.jpg)
Qué es Rocks Cluster?
Introducción
Es una distribución de Linux para clústeres decomputadoras de alto rendimiento. Fue iniciada porla NPACI y SDSC en 2000 e inicialmente financiada
por la NSF.
En qué está basado?
Inicialmente se basó en una distribución de Red Hat Linux, pero lasversiones mas modernas estan basadas en CentOS, acompañado deun instalador anaconda modificado que simplifica la instalación enmasa de muchas computadoras.
![Page 4: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/4.jpg)
Introducción. (Cont)
Qué incluye Rocks?
Incluye herramientas como MPI, XML, SGE etc. (no forman parte deCentOS). Lo esencial en las instalaciones es que estas pueden serpersonalizadas por paquetes de software adicionales (utilizandoCDs) llamados Roll’s CDs. Los cuales integran mecanismos degestion y empaquetamiento, para simplificar el uso, instalacion yconfiguración de muchas computadoras. Existen mas de una docenade Roll´s incluyendo el de SGE, Condor Roll, Lustre Roll, Java Roll,ganglia Roll.
![Page 5: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/5.jpg)
Introducción. (Cont)
Para qué sirve y cuál es su objetivo?
Sirve para que los usuarios puedan construir facilmente clusterescomputacionales. Su objetivo: “Hacer un Cluster Fácil”. Fácil en elsentido de: fácil administración, fácil actualización, fácil escalabilidadetc.
![Page 6: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/6.jpg)
http://www.rocksclusters.org/wordpress/
![Page 7: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/7.jpg)
Descargas
![Page 8: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/8.jpg)
Soporte y Documentación
![Page 9: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/9.jpg)
Bio Roll y Ganglia Roll
![Page 10: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/10.jpg)
![Page 11: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/11.jpg)
Instalación
![Page 12: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/12.jpg)
Requerimientos y prerrequisitos
![Page 13: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/13.jpg)
Topología (Configuración de la red)
![Page 14: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/14.jpg)
Instalación
Los Roll básicos que
se necesitan para
iniciar, la
instalación de Rock
pueden ser
descargados desde la
pagina, entre ellos
se encuentran:
•Kernel/Boot Roll
•Core Roll
•OS Roll – disk1
•OS Roll – disk2.
![Page 15: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/15.jpg)
Instalación del Servidor
Digitamos la palabra: build y se presiona enter
Nota: Antes de iniciar, debe configurarse el arranque de cada computadora del siguiente modo: CD/DVD –
Arranque por Red – Disco duro.
![Page 16: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/16.jpg)
Se agregan los Roll necesarios… Escogemos el Kernel…
Instalación
![Page 17: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/17.jpg)
Escogemos los demas Roll’s… Agregamos el OS Roll Disk 2…
Instalación
![Page 18: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/18.jpg)
Formulario, con los
Datos básicos del
clúster…
Instalación
http://www.bris.ac.uk/
Support/Network/ipcode
s1.html)
![Page 19: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/19.jpg)
Se realiza la
configuración de la
interface eth0, que
es la que se
conectara con los
nodos. La IP en
general es privada y
el Netmark esta en
un rango de 0-255 en
cada campo.
Instalación
![Page 20: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/20.jpg)
Se realiza la
configuración de la
interface eth1, que
es la que se conecta
con la red externa.
Instalación
![Page 21: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/21.jpg)
También se configuran
algunos parámetros de
configuración de la red
como los puertos de enlace
y servidores DNS.
Se escoge una contraseña
para el usuario root.
Instalación
![Page 22: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/22.jpg)
Escogemos la zona horaria.
Se escoge el tipo de
particionamiento, por lo
general se toma
automático.
Instalación
![Page 23: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/23.jpg)
Instalación
![Page 24: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/24.jpg)
Instalación
![Page 25: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/25.jpg)
Instalación
![Page 26: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/26.jpg)
Instalación
![Page 27: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/27.jpg)
Instalación
![Page 28: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/28.jpg)
Instalación
![Page 29: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/29.jpg)
Instalación de un Nodo
Antes de instalar Nodos al clúster, previamente tenemos
que crear las cuentas de usuario. Así como también haber
instalado, todos los paquetes que personalizan o son
necesarios para el clúster.
Por ejemplo, Para crear una cuenta de usuario se crea en 5
pasos:
1. #useradd usuario
2. #ls –al /export/home/usuario
3. #usermod –d /home/usuario usuario
4. #passwd usuario
![Page 30: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/30.jpg)
Abrimos un terminal y
escribimos :
#rocks list host
Y luego:
#insert-ethers
Instalación de un Nodo
![Page 31: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/31.jpg)
Le indicamos el tipo de
dispositivo que se va
añadir al clúster: compute
Luego encendemos el nodo, y
esperamos que el sistema lo
reconozca --->
Instalación de un Nodo
![Page 32: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/32.jpg)
Abrimos otra terminal, para
observar el estado de
instalación de los paquetes
y digitamos:
#rocks-console compute 0-0
Instalación de un Nodo
![Page 33: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/33.jpg)
Una vez terminada la
instalación, la conexión
con el nodo termina y se
reinicia, luego para
verificar que efectivamente
podemos conectarnos con el
nodo desde el servidor,
ejecutamos en un terminal:
#ssh compute-0-0
Instalación de un Nodo
![Page 34: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/34.jpg)
Monitoreo con ganglia.
http//localhost/ganglia/
![Page 35: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/35.jpg)
Comandos Básicos
![Page 36: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/36.jpg)
![Page 37: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/37.jpg)
![Page 38: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/38.jpg)
Comandos básicos de conexión.
Para conectarnos a nuestro
clúster basta tener un cliente
SSH, que permita realizar
nuestra conexión. Para los
usuarios de Windows pueden usar
el cliente Putty y para los
usuarios de Linux, simplemente
pueden escribir en la linea de
comandos:
#ssh [email protected]
![Page 39: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/39.jpg)
Conexión a un nodo especifico.
#ssh compute-0-4.
![Page 40: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/40.jpg)
Como enviar tareas con Rocks.#qsub –cwd –o primo.o –e primo.e primo.sh
![Page 41: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/41.jpg)
Cont. qsub .
![Page 42: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/42.jpg)
Monitoreo de trabajos.#qstat -f
![Page 43: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/43.jpg)
Detener trabajos.#qdel 947 (detiene un trabajo especifico)
#qdel -u (detiene todos los trabajos de ese usuario)
![Page 44: Rocks Cluster](https://reader036.vdocuments.mx/reader036/viewer/2022082219/5571fb0d497959916993d0a2/html5/thumbnails/44.jpg)
Gracias, por su atención…