proxmox virtual environment - jeudis du libre de...
TRANSCRIPT
![Page 1: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/1.jpg)
Authorized Proxmox Training Partner
Proxmox Virtual Environment
Alexandre Derumier
Jeudis du libre
21 septembre 2017
![Page 2: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/2.jpg)
Who I am
• Ingénieur système et stockage chez ODISO (filliale hosting M6) depuis 12 ans
• Contributeur proxmox depuis 2010
En production :
• 2500 vms et 1500 containers, répartis sur 100 hosts (proxmox 4.4)
• Linux (debian, centos), freebsd, Windows (2008 →2016)
• (apache,nginx, php, node, java, go, mysql,postgresql, redis, memcache, elastic,
cassandra, iis, .net, sqlserver, exchange, ….)
2
![Page 3: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/3.jpg)
Proxmox Server Solutions GmbH
• Basé à Vienne en Autriche
• Existe depuis 2004
• Petite équipe de 10 employés
2 produits :
• Proxmox Mail Gateway (License commerciale)
• Proxmox VE (Virtual Environnement) (GNU AGPL, v3)
• Propose le support payant sur proxmox VE
3
![Page 4: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/4.jpg)
Proxmox
VirtualEnvironment
4
![Page 5: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/5.jpg)
Architecture
Debian Linux with custom Ubuntu Kernel avec ZFS support,
KVM and LXC
Managed by Proxmox VE API (perl 5 )
5
![Page 6: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/6.jpg)
Proxmox VE
• Octobre 2008 : Proxmox VE 1.x
KVM & containers openvz sur 1 seul plateforme) .
• Avril 2012: Proxmox VE 2.x
(debian squeeze, kernel 2.6.32, qemu 1.2, nouvelle interface graphique, gestion de la HA, template,clones,snapshot, support de ceph,….)
• May 2013: Proxmox VE 3.x
(debian wheezy, kernel 3.10, qemu 1.4, firewall, console html5, pveproxy, support glusterfs,...)
• Octobre 2015 : Proxmox 4.x
(debian jessie, kernel 4.4, qemu 2.4, corosync2 , nouvelle gestion de la HA, passage de openvz à LXC, support de ceph, ipv6 , support de zfs,...)
• Juillet 2017 : Proxmox VE 5.x
(debian stretch, kernel 4.9, qemu 2.9, replication zfs, ...)
6
![Page 7: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/7.jpg)
Mise à jour
• Proxmox VE utilise APT (apt-get ...)
• 2 sources : Debian standard repositories and Proxmox packages repository
• Proxmox VE suit les version de debian (1.x Lenny, 2.x Squeeze, 3.x on Wheezy,
4.x on Jessie)
7
![Page 8: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/8.jpg)
Cycle de releases
• Depot git : https://git.proxmox.com/
• Repo test : deb http://download.proxmox.com/debian/pve stretch pvetest
• Repo communautaire : deb http://download.proxmox.com/debian/pve stretch pve-
no-subscription
• Repo commercial : deb https://enterprise.proxmox.com/debian/pve stretch pve-
enterprise (besoin d‘une subscription - clé)
8
![Page 9: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/9.jpg)
QEMU - KVM
• Qemu : Soft d‘emulation d‘une machine virtuelle complète (carte mète, cpu, ram,
diques, réseau, usb, ….)
• Kvm : Module kernel depuis 2.6.20 , permet d‘accélerer la virtualisation du cpu, en
utilisant les intructions Intel VT ou AMD-V
• Supporte n‘importe quel OS invité (linux, windows, macos, bsd, solaris, …).
(X86 only, pas d‘ arm)
9
![Page 10: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/10.jpg)
QEMU- KVM
/usr/bin/kvm -id 100 /var/run/qemu-server/100.pid -daemonize -name mavm -smp 16,sockets=2,cores=8-
nodefaults -boot menu=on,strict=on,reboot
-vga std
-vnc unix:/var/run/qemu-server/100.vnc,x509,password
-cpu kvm64,+lahf_lm,+sep
-m 32768
-drive if=none,id=drive-ide2,media=cdrom,aio=threads -device ide-cd,bus=ide.1,unit=0,drive=drive-
ide2,id=ide2,bootindex=200 -drive file=/var/lib/vz/images/100.raw,if=none,id=drive-
virtio0,cache=none,format=raw,aio=native
-device virtio-blk-pci,drive=drive-virtio2,id=virtio2,bus=pci.0,addr=0xc -netdev
type=tap,id=net0,ifname=tap100i0,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-
server/pve-bridgedown,vhost=on
-device virtio-net-pci,mac=7E:11:55:FC:71:22,netdev=net0,bus=pci.0,addr=0x12,id=net0,bootindex=300
10
![Page 11: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/11.jpg)
Linux Container (LXC)● Virtualisation de conteneur pour linux (Natif dans le kernel)
● Chaque conteneur execute un environnement complet comme un serveur réel (!= Docker → 1 conteneur = 1 application)
● Chaque conteneur possède son propre filesystem, utilisateurs, addresse ip, librairies systèmes, fichiers de configuration
● Support de disques multiples
● Linux only
![Page 12: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/12.jpg)
Linux Container (LXC)
![Page 13: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/13.jpg)
![Page 14: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/14.jpg)
STACK SERVICES
![Page 15: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/15.jpg)
Installation
15
![Page 16: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/16.jpg)
![Page 17: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/17.jpg)
![Page 18: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/18.jpg)
![Page 19: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/19.jpg)
![Page 20: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/20.jpg)
![Page 21: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/21.jpg)
![Page 22: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/22.jpg)
![Page 23: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/23.jpg)
https://monserveur:8006
![Page 24: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/24.jpg)
Gestion du Stockage
24
![Page 25: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/25.jpg)
Gestion du stockage
• Proxmox VE utilise lvm par defaut pour le stockage local.
• Possibilité d‘utiliser zfs si choisi lors de l‘installation
(possibilité de réplication asynchrone entre 2 stockages locaux)
• Supporte une grande variété de stockage différents
- local : fichiers: .raw, .qcow2 , .vmdk (!= perf)
• - local : block : lvm , zfs
• - réseau : fichiers: nfs
• -réseau : blocks : iscsi(lvm on iscsi, zfs on iscsi), FC, ceph, glusterfs.
• Possibilité d‘ajouter ses propres plugins (netapp, freenas,sheepdog, ...)
25
![Page 26: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/26.jpg)
Gestion du Stockage
• Qemu-kvm:
- fichier (local, nfs, glusterfs...)
- block (lvm, zfs local, iscsi, zfs on iscsi, ceph, ….)
• Mappé sur le hostfichier : -drive file=/var/lib/vz/images/100/vm-100-disk-1.raw
block : -drive file=/dev/lvm/mystore/vm-100-disk-1
• Accès direct par qemuceph : -drive file=rbd:poolproxmox1/vm-821-disk-1:mon_host=192.168.0.1;192.168.0.2;192.168.0.3
• Iscsi : -drive file=iscsi:/192.168.0.1/vm-100-disk-1
• LXC :
• - mappage d‘un block device complet (lvm , zfs, ceph )
• - mappage d‘un fichier via loopdevice (!= performance)
26
![Page 27: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/27.jpg)
Gestion du Stockage
• Ajouter un stockage : GUI “Datacenter/Storage” ou /etc/pve/storage.cfg
• roles - Images (qemu virtual disks)- ISO- Templates (LXC templates)- Backups- Conteneur
• Nodes: Restreindre l‘accès au stockage à certains noeuds
• Une vm ou un containeur peux utiliser plusieurs stockages diférents
27
![Page 28: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/28.jpg)
Gestion du Réseau
28
![Page 29: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/29.jpg)
Gestion du réseau
● La gui configure simplement „/etc/network/interfaces“
● Gestion du bonding (lacp,active-backup,...)
● Gestion des vlans au niveau de la vm/CT
● Pas de gestion de vxlan, QinQ,... dans la gui, mais possible de la faire la main
dans „/etc/network/interfaces“
29
![Page 30: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/30.jpg)
Gestion du réseau
● Bridge Linux
● Bridge linux + vlans „classique“
● Bridge linux vlan aware (kernel > 4.1)
● Openvswitch
30
![Page 31: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/31.jpg)
Bridge linux
31
![Page 32: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/32.jpg)
Bridge linux + vlan classiqueVlans gérés en sortie de l‘interface, les bridges n‘ont pas connaissance des tags vlan 1 bridge par vlan→
32
![Page 33: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/33.jpg)
Bridge linux vlan awareVlans gérés par port sur le brige
33
![Page 34: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/34.jpg)
Openvswitch
34
Module kernel + daemon userland
![Page 35: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/35.jpg)
© 2015 Proxmox Server Solutions GmbH 35
Proxmox VE Firewall
![Page 36: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/36.jpg)
© 2015 Proxmox Server Solutions GmbH 36
Proxmox VE Firewall
• Firewall du Host && vms/conteneurs
• Utilise iptables + ip6tables + ipset
• Ipv4 - ipv6
• Règles par Vms ,alias, ipsets + règles de sécurités (groupes de règles)
• Firewall des vms au niveau des bridges
![Page 37: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/37.jpg)
© 2015 Proxmox Server Solutions GmbH 37
Proxmox VE Firewall
![Page 38: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/38.jpg)
© 2015 Proxmox Server Solutions GmbH 38
Some Qemu cool features
Hotplug (disks, nics, cpu, ram)
Qos (disks,nics, cpu)
Storage migration
Live migration
Live migration + storage migration
Live Backup
![Page 39: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/39.jpg)
© 2015 Proxmox Server Solutions GmbH 39
Hotplug
Disk && nics : Hotplug PCI
Linux : modprobe acpi , pci_hotplugWindows : natif (> 2003)
CPU (hotplug/unplug)Linux : > 3.10Windows : > 2012r2
Mémoire (hotplug only)
Linux : > 3.10Windows : > 2012r2
![Page 40: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/40.jpg)
© 2015 Proxmox Server Solutions GmbH 40
QosNics : rate limiting (mb/s)
Cpu : - cpu limit (limite d’utilisaion coeurs) - shared (priorité entre vms/CT)
Disks: ios (io/s) && bw (mb/s) limit + bursts
![Page 41: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/41.jpg)
Qemu storage migration
![Page 42: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/42.jpg)
Qemu Live Migration
![Page 43: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/43.jpg)
Qemu Live Migration + local storage
migration
![Page 44: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/44.jpg)
Qemu Live Backup
![Page 45: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/45.jpg)
Qemu Live Backup
![Page 46: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/46.jpg)
Proxmox Cluster
46
![Page 47: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/47.jpg)
![Page 48: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/48.jpg)
Proxmox cluster
• Configurations du storage, vms, ct,firewall, …. dans „/etc/pve“
• Filesystem fuse répliqué entre chaque noeud via corosync
• Tolerance aux panne (si un noeud est down, il récupère la derniere config au boot
• Pas de maitre-esclave, chaque noeud est maitre. (on peux ecrire la configuration dans „/etc/pve/“ sur n‘importe quel noeud, les locks sont gérés
• 3 noeuds minimum → QUORUM !
• Si 2 noeuds, et qu‘un noeud est down, le cluster passe en readonly (plus possible d‘ecrire dans „/etc/pve“ , les vms et CT continuent de tourner sans problème.
48
![Page 49: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/49.jpg)
Creation du cluster
• Noeud1 : #pvecm create moncluster
• Noeud2 : #pvecm add <ip_noeud1>
• Noeud3 : #pvecm add <ip_noeud1 ou ip_noeud2>
49
![Page 50: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/50.jpg)
Haute disponibilité
50
![Page 51: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/51.jpg)
Introduction to HA
• Si une VM OU CT est confguré en HA, et qu‘un host physique tombe en panne, la vm est automatiquement redémarée sur un autre noeud (+- 1min)
• Attention que la vm reboot. (HA != FT (Faut tolerance)
• FT prévu dans les prochaines releases (qemu > 2.10)
• La HA est basée sur corosync + gestion de services proxmox (pve-lrm, pve-crm)
• Besoin d‘avoir le quorum !
51
![Page 52: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/52.jpg)
Introduction to HA
52
![Page 53: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/53.jpg)
Community Support
• Community Supportforum
- http://forum.proxmox.com
• Proxmox VE Wiki
- http://pve.proxmox.com
• Mailing List
- http://pve.proxmox.com/cgi-bin/mailman/listinfo/pve-user
• Bug Tracker
- https://bugzilla.proxmox.com
• Source Code
- https://git.proxmox.com
53
![Page 54: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/54.jpg)
© 2014 Proxmox Server Solutions GmbH 54
![Page 55: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/55.jpg)
Ceph
55
![Page 56: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/56.jpg)
Ceph
56
![Page 57: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/57.jpg)
LXC
57
![Page 58: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/58.jpg)
Ceph
58
![Page 59: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/59.jpg)
Ceph
59
![Page 60: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/60.jpg)
Ceph
60
![Page 61: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/61.jpg)
61
![Page 62: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/62.jpg)
62
![Page 63: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/63.jpg)
63
![Page 64: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/64.jpg)
64
![Page 65: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/65.jpg)
65
![Page 66: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/66.jpg)
66
![Page 67: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/67.jpg)
Questions?
67
https://github.com/aderumier
http://www.odiso.com (On Recrute !)
![Page 68: Proxmox Virtual Environment - Jeudis du libre de Belgiquepublic.jeudisdulibre.be/conferences/2017-09/proxmox-jeudidulibre.pdf · En production : • 2500 vms et 1500 containers, répartis](https://reader030.vdocuments.mx/reader030/viewer/2022040214/5eba2a833df87d33ed3caaee/html5/thumbnails/68.jpg)
Demo Time !
68