clustering grappe d'ordinateurs. clustering présentation haute disponibilité partage de...
Post on 03-Apr-2015
115 Views
Preview:
TRANSCRIPT
CLUSTERING
Grappe d'ordinateursGrappe d'ordinateurs
CLUSTERING
PrésentationPrésentation
Haute disponibilité
Partage de charges
Autres clusters
Produits et solutions
Conclusion
Options d'architecture Client/Serveur
Définition d'un cluster Cluster : agrégat de machines dans un but de travail Cluster : agrégat de machines dans un but de travail
coopératif. Systèmes informatiques indépendants, à coopératif. Systèmes informatiques indépendants, à couplage lâche,se comportant comme un seul système.couplage lâche,se comportant comme un seul système. Architecture NORMA : NO Remote Memory Access Architecture NORMA : NO Remote Memory Access Ce n'est pas une architecture SMP (machines Ce n'est pas une architecture SMP (machines
parallèles)parallèles) Architecture de clusterArchitecture de cluster
Systèmes en clustering : tâches réparties sur plusieurs Systèmes en clustering : tâches réparties sur plusieurs machines (les sites web importants).machines (les sites web importants).
Logiciels en clustering : une seule et une même tâches Logiciels en clustering : une seule et une même tâches est répartie sur chaque machine (calculs).est répartie sur chaque machine (calculs).
Clustering : les besoins
Augmentation de la puissance de traitement Augmentation de la puissance de traitement (scalability) : on veut que la puissance de traitement (scalability) : on veut que la puissance de traitement suive de manière linéaire le nombre de machines du suive de manière linéaire le nombre de machines du cluster.cluster.
Augmentation de la disponibilité (availability): on Augmentation de la disponibilité (availability): on veut minimiser les inconvénients liées aux pannes veut minimiser les inconvénients liées aux pannes par la redondance des machines entre elles.par la redondance des machines entre elles.
Calcul Haute-Performance et Partage de charge : Calcul Haute-Performance et Partage de charge : configurations à plusieurs dizaines (centaines) de configurations à plusieurs dizaines (centaines) de nœuds.nœuds.
CLUSTERING
Présentation
Haute disponibilitéHaute disponibilité
Partage de charges
Autres clusters
Produits et solutions
Conclusion
ClusteringLa haute disponibilité
Assurer un redemarrage rapide en quelques Assurer un redemarrage rapide en quelques minutes en cas de problème imprévu - minutes en cas de problème imprévu - redondance de machines.redondance de machines.
Pas de rupture de service perceptible aux Pas de rupture de service perceptible aux utilisateurs.utilisateurs.
Ce n'est pas de la tolérance de panneCe n'est pas de la tolérance de panne
Architecture physique
Concepts de base L ’accès réseau : c’est le point de passage entre les L ’accès réseau : c’est le point de passage entre les
machines du cluster et les machines de l’extérieur machines du cluster et les machines de l’extérieur Le support du système de fichier : Le support du système de fichier :
Baie disque partagées (SCSI / Fiber Baie disque partagées (SCSI / Fiber Channel)Channel)
Disques locaux des machinesDisques locaux des machines Le coeur de calcul : n couples mémoire-CPU.Le coeur de calcul : n couples mémoire-CPU. Ressources matérielles et logicielles nécéssaires à Ressources matérielles et logicielles nécéssaires à
l ’éxécution d’un service sur un nœudl ’éxécution d’un service sur un nœud Un service est démarré sur un nœud que si ce dernier Un service est démarré sur un nœud que si ce dernier
a accès à l ’ensemble du groupe de ressource a accès à l ’ensemble du groupe de ressource nécessaire à l ’exécution du service.nécessaire à l ’exécution du service.
CLUSTERING
Présentation
Haute disponibilité
Partage de chargesPartage de charges
Autres clusters
Produits et solutions
Conclusion
ClusteringPartage de charge La fonction de partage de charge peut être La fonction de partage de charge peut être
centralisée ou répartie.centralisée ou répartie. Toutes les machines éxecutent le même Toutes les machines éxecutent le même
service simultanément.service simultanément.
Schéma général
Point d ’accès réseau
service
service
service
service
IP
SLB
FS
Gestion par le réseau
Systèmes par partage de charge grâce au DNS Systèmes par partage de charge grâce au DNS multiples IP pour un nom, priorités dans les multiples IP pour un nom, priorités dans les entréesentrées
Mais Mais
- les entrées A sont cachées par les systèmes; - les entrées A sont cachées par les systèmes;
- les entrées MX privilègie un serveur par - les entrées MX privilègie un serveur par rapport à l ’autre (Haute-Disponibilité).rapport à l ’autre (Haute-Disponibilité).
Avantages
Scalability : réponse à la demande Scalability : réponse à la demande Rajouts de serveurs. Rajouts de serveurs. Administration aisée de n serveurs Administration aisée de n serveurs
absolument identiques en données absolument identiques en données
Cadre d'utilisation
Services à données statiques : serveur web, serveur ftp Services à données statiques : serveur web, serveur ftp (en lecture seule).(en lecture seule).
Services à données dynamiques : utilisation d ’un Services à données dynamiques : utilisation d ’un système de fichiers « cluster ».système de fichiers « cluster ». Problèmatique de la cohérence des données.Problèmatique de la cohérence des données. Utilisation d ’un File System spécifique qui Utilisation d ’un File System spécifique qui
permettent la concurrence transparente des permettent la concurrence transparente des accès (Distributed Lock Manager).accès (Distributed Lock Manager).
Emergence de solutions pour Linux.Emergence de solutions pour Linux.
Données partagées
Solution de partage de charge à données Solution de partage de charge à données partagées : le MUST ! Mais …partagées : le MUST ! Mais … Les applications écrites spécifiquement sont Les applications écrites spécifiquement sont
très chères (Oracle Parallel Server)très chères (Oracle Parallel Server) Solution BdD OpenSource : MySQLSolution BdD OpenSource : MySQL
Haute-disponibilité en écritureHaute-disponibilité en écritureLecture distribuéeLecture distribuée
CLUSTERING
Présentation
Haute disponibilité
Partage de charges
Autres clustersAutres clusters
Produits et solutions
Conclusion
ClusteringCalculs scientifique L'ensemble des nodes cumulent leur puissance de L'ensemble des nodes cumulent leur puissance de
calcul pour arriver à des performance égales à calcul pour arriver à des performance égales à celles qu'atteignent les super calculateurs.celles qu'atteignent les super calculateurs.
Ce cluster utilise des applications spécialisées dans Ce cluster utilise des applications spécialisées dans la paraléllisation de calcul à travers une couche de la paraléllisation de calcul à travers une couche de communication commune.communication commune.
Il est possible de gérer la mémoire partagée Il est possible de gérer la mémoire partagée accessible par l'ensemble des processeurs du accessible par l'ensemble des processeurs du système à travers ses nodes.système à travers ses nodes.
ClusteringStockage de données Mise en place d'une vaste capacité de stockage Mise en place d'une vaste capacité de stockage
virtuel afin de répondre à l'augmentation des flux virtuel afin de répondre à l'augmentation des flux de données et donc nécessitant une capacité de de données et donc nécessitant une capacité de stockage supérieure à celle d'un seul disque dur.stockage supérieure à celle d'un seul disque dur.
Le fichier est découpé en bloc de taille raisonnable Le fichier est découpé en bloc de taille raisonnable et stocké par morceau sur plusieurs disque.et stocké par morceau sur plusieurs disque.
Virtuellement, on a l'impression que l'espace de Virtuellement, on a l'impression que l'espace de stockage et que notre fichier est stocké en un seul stockage et que notre fichier est stocké en un seul morceau sur un disque unique.morceau sur un disque unique.
Technologie : SAN et NASTechnologie : SAN et NAS
ClusteringStockage de données Le but est de disribuer les données par Le but est de disribuer les données par
l'entremise de plusieurs disques répartis sur l'entremise de plusieurs disques répartis sur les nodes du cluster : stockage combiné.les nodes du cluster : stockage combiné.
L'utilisateur peut travailler avec des fichiers L'utilisateur peut travailler avec des fichiers de très grandes tailles, tout en minimisant les de très grandes tailles, tout en minimisant les tranferts, dans l'éventualité ou la taille des tranferts, dans l'éventualité ou la taille des blocs adoptée reste raisonnable.blocs adoptée reste raisonnable.
CLUSTERING
Présentation
Haute disponibilité
Partage de charges
Autres clusters
Produits et solutionsProduits et solutions
Conclusion
Les solutions Globales
Clusters propriétaires : IBM, SUN, Hewlet Clusters propriétaires : IBM, SUN, Hewlet Packard, Compaq, Fujtsu, ....Packard, Compaq, Fujtsu, ....
Clusters Commerciaux : systèmes proposés Clusters Commerciaux : systèmes proposés par des sociétés de prestations en par des sociétés de prestations en informatique.informatique.
Les solutions Microsoft
Clusters Microsoft : Windows 2000 Advanced Clusters Microsoft : Windows 2000 Advanced et Datacenter Server.et Datacenter Server.
MSCS : haute disponibilitéMSCS : haute disponibilité Network Load BalancingNetwork Load Balancing : répartition de charge : répartition de charge
Operating System EditionNetwork Load Balancing
Component LoadBalancing
Server cluster
Windows 2000
Advanced Server 32 8 2
Datacenter Server 32 8 4
Windows Server 2003
Enterprise Server 32 8 8
Datacenter Server 32 8 8
Les solutions linux
Clusters Linux : LVS, Beowulf, PVFS, Linux Clusters Linux : LVS, Beowulf, PVFS, Linux HA-Project, Alinka, Mosix.HA-Project, Alinka, Mosix.
ClusteringMicrosoft
Il répond aux besoins croissants des entreprises en terme Il répond aux besoins croissants des entreprises en terme de messagerie éléctronique, de base de données et depuis de messagerie éléctronique, de base de données et depuis quelques années de serveurs web ou ftpquelques années de serveurs web ou ftp
Microsoft propose deux types de clustering :Microsoft propose deux types de clustering : Le clustering de service, permettant de réaliser Le clustering de service, permettant de réaliser
des cluster d'application et de rendu de service, des cluster d'application et de rendu de service, c'est à dire un cluster de haute disponibilité, à c'est à dire un cluster de haute disponibilité, à tolérance aux faute.tolérance aux faute.
Le clustering à répartition de charge, c'est à dire Le clustering à répartition de charge, c'est à dire une répartition de charge réseau sur un flux IP à une répartition de charge réseau sur un flux IP à travers un cluster constitués de 32 nodes au travers un cluster constitués de 32 nodes au maximum.maximum.
ClusteringMicrosoftLes inconvénients :Les inconvénients :
Toutes les applications doivent provenir de Toutes les applications doivent provenir de Microsoft.Microsoft.
Les systèmes d'exploitations proposés subissent Les systèmes d'exploitations proposés subissent trop souvent de correctifs.trop souvent de correctifs.
Il faut u matériel robuste, puissant et pas très Il faut u matériel robuste, puissant et pas très nombreux(<32).nombreux(<32).
Les solutions de clustering Microsoft sont Les solutions de clustering Microsoft sont particulièrement onéreuses.particulièrement onéreuses.
AvantagesLinux Mise en place d'un clustering répondant à Mise en place d'un clustering répondant à
toutes les attentes.toutes les attentes. Des applications Open Source de cluster son Des applications Open Source de cluster son
disponible sur le réseau Internet.disponible sur le réseau Internet. Quasi gratuité des applications.Quasi gratuité des applications.
InconvénientsLinuxLe système n'est pas livré clé en main.Le système n'est pas livré clé en main.
Il faut un investissement humain Il faut un investissement humain considérable notamment en terme de considérable notamment en terme de formationformation
De bonnes connaissances en informatique, De bonnes connaissances en informatique, sur le réseau et du monde Linux.sur le réseau et du monde Linux.
Beaucoup de PATIENCE.Beaucoup de PATIENCE.
CLUSTERING
Présentation
Haute disponibilité
Partage de charges
Autres clusters
Produits et solutions
ConclusionConclusion
Conclusion
Il faut savoir répondre aux questions suivantes :Il faut savoir répondre aux questions suivantes : Choix du système d’exploitationChoix du système d’exploitation
Quel existant ? Quel existant ? Budget ?Budget ?
Choix du type de clusterChoix du type de cluster Que veut on clusteriser ?Que veut on clusteriser ?
Les donnéesLes données Les applicationsLes applications La charge …La charge …
Bibliographie et sites Internet Architecture de l’ordinateur – Andrew Tanenbaum – InterEditionsArchitecture de l’ordinateur – Andrew Tanenbaum – InterEditions Client serveur – S. Miranda, A. Ruols - EyrollesClient serveur – S. Miranda, A. Ruols - Eyrolles http://clusters.top500.org/http://clusters.top500.org/ http://www.sun.com/clusters/http://www.sun.com/clusters/
http://hp-linux.cern.ch/http://hp-linux.cern.ch/
http://www.microsoft.com/windows2000/technologies/clusterinhttp://www.microsoft.com/windows2000/technologies/clusterin
g/default.aspg/default.asp
http://www.linuxvirtualserver.org/http://www.linuxvirtualserver.org/
http://www.beowulf.org/http://www.beowulf.org/
http://www.mosix.org/http://www.mosix.org/
top related