4-almacenamiento
DESCRIPTION
4-AlmacenamientoTRANSCRIPT
IV. ALMACENAMIENTO
Curso “Introducción al clustering y virtualización de sistemas” Asociación de Profesores de Informática de Aragón (APIA)
Almacenamiento: modelo (I)
En un cluster de memoria distribuida debe existir un espacio global de almacenamiento accesible desde cualquier punto del sistema
NODO
CPU
MEMORIAINTERNA
LAN
NODO
NODO
NODO
ALMACENAMIENTOGLOBAL
ALMACENAMIENTO
LOCAL
Curso “Introducción al clustering y virtualización de sistemas” Asociación de Profesores de Informática de Aragón (APIA)
Almacenamiento: modelo (II)
● Algunas recomendaciones:► Particionamiento local:
– Servers (login y servicios): swap + / + /var– Nodos (arranque local): swap + / + scratch
► Directorios del espacio global:– /home i/o users, con → cuotas habilitadas– /apps compiladores y aplicaciones, acceso → ro desde
nodos y login, recomendable dividir 32 y 64bit– /srv scripts de usuario y admins, OS repos?, batch →
scheduler?...
Curso “Introducción al clustering y virtualización de sistemas” Asociación de Profesores de Informática de Aragón (APIA)
Sistemas de ficherosSISTEMA CREADOR
/AÑOSISTEMA OPERATIVO
ATRIBUTOS EXTENDIDOS
PERMISOS EN LOS FICHEROS
COMPRESIÓN TRANSPARENTE
ENCRIPTACION TRANSPARENTE
RESOLUCIÓN DE DATOS
SINGLE INSTANCE STORAGE
FILE JOURNALING
EXT 3 Stefen Tweedie2001
WindowsLinuxSolaris
si UNIX no no 1ns no si
JFS IBM 1990 AIXOS/2Linux
si ACLPOSIX
solo en JFS1 no 1 ns no si
Reiser FS NAME SYS2001
Linux si UNIXACL
si no 1 sg ? si
XFS SGI 1994 LinuxFree BSD
si si no no 1ns no si
NTFS Microsoft1993
Windows NT family
si ACL si si 100 ns si si
Recomendación general salvo que exista un requerimiento muy especial →(comportamiento reiterativo en lectura y/o escritura, abuso de ficheros
pequeños...) elegir la solución más estándar posible
Curso “Introducción al clustering y virtualización de sistemas” Asociación de Profesores de Informática de Aragón (APIA)
NFS (I)● “Network File System”: servicio de red que permite hacer visible y
accesible un espacio de almacenamiento a través de la red
● Sun, RPC-based
● Muy sencillo:
➢ /etc/exports (server):
/home/ 192.168.1.0/24(rw,no_root_squash,sync,no_subtree_check)
➢ /etc/fstab (cliente):
server.domain.com:/home /home nfs defaults 0 0
● Principales limitaciones: seguridad y escalabilidad
Curso “Introducción al clustering y virtualización de sistemas” Asociación de Profesores de Informática de Aragón (APIA)
NFS (II)
● Tunning NFS► Aumentar num threads nfsd
(USE_KERNEL_NFSD_NUMBER)► Tamaño de bloque► Modo sync /async► Sol hardware 1: más RAM► Sol hardware 2: más NFS servers... $$$ y a veces →
no es posible!
Curso “Introducción al clustering y virtualización de sistemas” Asociación de Profesores de Informática de Aragón (APIA)
Cuotas● Manera de limitar el uso del espacio de almacenamiento
utilizado por usuarios y grupos:
► Bloques (espacio)► Inodos (nº de ficherosdirectorios)
● Principales comandos:
► quota, repquota► edquota► quotaon, quotaoff► quotacheck
FUNDAMENTAL
!!
Curso “Introducción al clustering y virtualización de sistemas” Asociación de Profesores de Informática de Aragón (APIA)
ACLs
● “Access Control Lists”, muy útiles!
● Grupos UNIX estándard o propias del sistema de ficheros
● Permiten compartir espacio de almacenamiento entre usuarios (NO a las cuentasproyecto!)
● Permiten establecer niveles de autorización en el acceso a ficheros (p.e. uso de aplicaciones con licencia)
Curso “Introducción al clustering y virtualización de sistemas” Asociación de Profesores de Informática de Aragón (APIA)
NFS vs sistemas de ficheros paralelos
● Principal problema NFS:► Falta de escalabilidad y redundancia
● Solución: sistemas de ficheros paralelos► Diferencia entre datos y metadatos► Paralelismo en lectura y escritura
Curso “Introducción al clustering y virtualización de sistemas” Asociación de Profesores de Informática de Aragón (APIA)
Sistemas de ficheros paralelos
GPFSGPFS PanFSPanFS PVFS2PVFS2 PNFSPNFS OCFSOCFS LUSTRELUSTRE
LICENCIA Propietario Propietario Libre Libre Libre Libre
# CLIENTES +1000 cientos +100.000 ____ cientos +25.000
TIPO DE SF simétrico asimétrico simétrico asimétrico simétrico asimétrico
ARQUITECT. ficheros objetos____
bloques + ficherosbloques objetos
Alto rendimientoEntorno de gestión gráfico
Solución integrada con el hardwareArquitectura sin estado: robusto frente a fallosMejora NFS : seguridad migración y replicaciónUtiliza bases de datos de OracleMuy escalable
Utilizado por 15 de 30 supercomp + potentes
Complejo de manejarSolución cara
Licencia propietaria: muy caraNo es eficiente: muchos paquetes redundantesNo es escalable: 1 servidor
En desarrolloNo es un sistema de ficheros distribuido: solo hasta 100 nodosSolo se distribuye para Red hat y Suse Enterprise
Licencia
propietaria:
muy cara
Alto rendimiento
Entorno de gestión
gráfico
Complejo de
manejar
Solución cara
Curso “Introducción al clustering y virtualización de sistemas” Asociación de Profesores de Informática de Aragón (APIA)
LUSTRE: Features
● Parallel File System (software)
● Asimétrico
● Open source
● Sun Oracle→
● Interoperability (archs & versions)
● Controlled Striping
● Standard Quotas & ACLs
Curso “Introducción al clustering y virtualización de sistemas” Asociación de Profesores de Informática de Aragón (APIA)
LUSTRE: Typical scenario
Curso “Introducción al clustering y virtualización de sistemas” Asociación de Profesores de Informática de Aragón (APIA)
LUSTRE: Failover
Curso “Introducción al clustering y virtualización de sistemas” Asociación de Profesores de Informática de Aragón (APIA)
LUSTRE: Striping
Curso “Introducción al clustering y virtualización de sistemas” Asociación de Profesores de Informática de Aragón (APIA)
LUSTRE: Performance
Curso “Introducción al clustering y virtualización de sistemas” Asociación de Profesores de Informática de Aragón (APIA)
LUSTRE@BIFI
● Lustre v1.6.7
● 1MDS (1MDT), 2 OSSs (6 OSTs)
● Striping: stripe_size=1MB, stripe_count=2
Curso “Introducción al clustering y virtualización de sistemas” Asociación de Profesores de Informática de Aragón (APIA)
?