finopsdans un monde devops– l’optimisation des coûts en …... · 2019-04-03 · monitored aws...

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.S U M M I T

FinOps dans un monde DevOps –L’optimisation des coûts en pratique

Thomas BarandonSr. Technical Account ManagerAmazon Web Services

M M M 1 0 3

Fouad MaachMove2Cloud Project DirectorVeolia


“We want to be a large company that’s also an invention machine. We want to combine the extraordinary customer-serving capabilities that are enabled by size with the speed of movement, nimbleness, and risk-acceptance mentality normally associated with entrepreneurial start-ups.”

—Jeff BezosCEO, Amazon

© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.


Décomposer pour agiliser

Changement culturel et opérationnel

Outiller pour automatiser


Responsabilité totale

Garant de la qualité

Focus sur l’innovation

Chaque équipe est une équipe DevOps


L’innovation chez AWS

1430 nouvelles fonctionnalités/services lancés en 2017

As of January 2018

AWS continue d’étendre ses services pour supporter virtuellement n’importequel type de charge de travail dans le cloud

1430

2012 2013 2014 2015 2016 2017


= Millions de déploiements par ans

Des milliers d’équipes× architectures microservices

× livraison continue× environements multiples

x plusieurs types de déploiements


30x Déploiements plus fréquents

440xMoins de temps pour délivrer

60xMoins d’incidents

-21%Taches non prévues

44% Nouvelles taches

Source: Puppet State of DevOps Report 2017

Et nous ne sommes pas les seuls


FinOps ?


FinOps, la juste approche

100% DevOps Biais technique

Forte agilitéDépences fortement variables

100% FinanceBiais financierAgilité réduite

Dépences fortement controléesLower agilityFinOps

Le meilleur des deux mondes


FinOps, la juste approche

Partenariat Finance-IngéniérieAméliore la capacitéà atteindre les objectifsbudgetairesen ayant une visibilitéclaire sur les besoins opérationnels tout en maintenant l’agilité et la capacité d’innover


Principes de coûts sur AWS


Les types de paiement sur EC2

Nouveau: Hibernate pour les instances à la demande


Mixer les types de paiement et d’engagement

pour les charges de travail fault-tolerant, flexibles ou stateless


AWS mets à disposition les fonctionnalités nécessaires

Eteindre ou allumer les instances en fonction de la demande entemps réel

Réaliser des migrations types lift & shift tout en réduisant le TCO

Types d’instances, Régions, AZs, types de paiement

Charges de travail qui pourraientêtre redimensionnées


Les étapes de reduction des coûts sur AWS

On-Premises Lift & Shift Redimensionnementdes instances

Amélioration de l’elasticité

Optimisation du stockage

Lift & ShiftOptimisé

Mesurer, monitorer, améliorer

Services managés Architecture serverless

Replateformé, optimisé sur AWS


Analyser

Simple, Statique, Environnements de

faible taille

Complexe, Dynamique,

Environnements de taille importante

1. Factures mensuelles AWS

2. AWS Billing console

3. AWS Cost Explorer et AWS Budgets

4. Analyses AWS CUR, rapports DIY et

outils tiers


Redimensionner

Sélectionner le type d’instance le moinscoûteux et qui correspond le mieux aux

besoins techniques du workload

Les indicateurs cléfs sont l’utilisationprocesseur, mémoire, réseau et disque

qui permettent d’identifier les instances qui pourraient potentiellement être

réduites

Utiliser les métriques Amazon CloudWatch et ajouter une métriquepersonalisée: utilisation de la RAM


Redimensionner

-87%

m4.4xlarge$1.72 per hr

m4.large$0.215 per hr

2. Superviser(CPU, RAM, réseau, disques)

1. Lift & Shift 3. Redimensionner

5. Profiter !4. Contrôler


Elastifier

N’exécuter les instances que lorsque le besoin est présent (start/hibernate/stop)

AWS Instance Scheduler

Optimiser le nombre d’instances entemps réel

EC2 Auto Scaling


Elastifier

Optimiser le temps d’exécution des workloads an éteignant les ressources le soir venu


Elastifier

Tirer parti des fonctionnalités d’automatisation de l’approvisionnement

Auto Scaling GroupsEC2 FleetLaunch Templates

1

2

3


Elastifier

Automatise le choix de famille et de type d’instance dans un mêmegroupe d’autoscaling

Coûts réduits

Amazon EC2 Auto Scaling


Elastifier

Modèle machine learning

Des millions de dataspoints venantd’Amazon.com

Charge les métriques et prédictions

Pour les deux prochainsjours, en se basant sur le

modèle pré-entrainé

Fait une analyse de régression

En comparant les métriquesde charge et les métriques

de montée en charge

Programme les actions de montée en chargePour les deux prochains

jours, chaque heure

Nouvelle analysechaque jour

Provisionning de capacité on-premise Provisionning de capacité avec scaling dynamique

Provisionning de capacité avec scaling prédictif & dynamique

Temps

Char

ge/C

apac

ité

TempsCh

arge

/Cap

acit

éTemps

Char

ge/C

apac

ité

Capacité provisionnée Demande de capacité réelle


Pour optimiser EC2, combiner les solutions

Amazon Elastic Container Service



for Kubernetes

EC2 Fleet

Amazon EMR AWSCloudFormation

AWS Batch

AWS Thinkbox


75%

Milk VFX est monté

jusqu’à130,000 cores encréant une large simulation d’oceans et tempètes pour

100 milliards

~80%

Une tâche qui prenait des semainesdans leur centre de données, à cause d’un nombre de ressources limitées, ne

prend plus que quelques heures

A effectué 70% de reduction en coûtsEMR sans impacter leursSLAs


Comment tirer parti des dernières fonctionnalitésd’optimisation en mixantcapacité à la demande, Spot et RIs


Site web & applications en container

Deployez des applications web ou services en containers tout en manageant facilementvos clusters et ce de manière totalement optimisée avec EC2 Fleet

EC2 Fleet et EC2 Auto Scaling peuvent être utilisés avec ECS ou EKS pour exécutern’importe quelle charge de travail containerisée comme par exemple des applications Web


Amazon EC2 Fleet


Amazon Elastic Container Service pour Kubernetes


Application Web stateless en container

Session State Data


ECS container 1

ECS container 2

ECS container 1

ECS container 2

https://github.com/awslabs/ec2-spot-labs/tree/master/workshops/ec2-spot-fleet-web-app

Utilisateurs


CI/CD


CI/CD Reference Architecture

https://github.com/awslabs/ec2-spot-jenkins-plugin/

Utilisateurs Application Load

Balancer

Jenkins Master

(OD or RI)

Jenkins Master(OD or RI)

Jenkins Agent (Spot)


Spot Fleet

Availability Zone B

Availability Zone A

VPC




Par où commencer pour optimiser ses coûts


Innovez sans contraintes


Motivation, compétences,

investissement entemps

Valeur ajoutéeBusiness &

Fonctionnelle

Rapidité pour délivrer

Performances

Sécurité

Fiabilité

Optimisation des côuts

Optimisation tactiquedes investissements

Réalisations à fortevaleur ajoutée

Activités

Maturité sur AWS

L’optimisation des côuts intégré à la culture

GROUP INFORMATION SYSTEMS & TECHNOLOGY

FinOps & Sobriété @veolia

The DigitalBusiness Partner

IS&T


25,911 M€de chiffre d’affaires à travers le monde

en 2018

171,000Collaborateurs dans le monde en 2018

Gestion du cycle global de l’eau,de la production et distribution d’eau potable, à la collecte, traitement et valorisation des eaux usées.

Gestion des déchets liquides, solides, banals ou spéciaux.Maîtrise de l’ensemble du cycle de vie,de la collecte au recyclage, jusqu’à la valorisationfinale sous forme de matière ou d’énergie.to the final recovery of waste as materials or energyEfficacité énergétique, gestion performantedes réseaux de chaleur et de froid, production d’énergies vertes.

Veolia conçoit et déploie des solutions pour la gestion de l’eau, des déchets et de l’énergie, qui participent au développement durable des villes et des industries.


DIGITAL atmosphere @

A PUBLIC CLOUD STRATEGYA DATA CENTRIC PLATFORMA DIGITAL WORKPLACE


Abondance Pénurie


Leviers d’action

DevOps

Responsabilité

financière

Equipe cross-fonctionnel

Eviter les transferts consommateurs de temps

entre silos

Préférer l’usage du Pay-As-You-Go

Unique ensemble de compétences

Altruisme

Gestion des coûts fixes et variables

You build it, you run it

40


Le déploiement continu intègre les outils FinOps

hub


L’adoption du FinOps est un objectif individuel

Security Resilience Performance Costs Operations


Guideline

● Labelliser automatiquements toutes les ressources● Préférez les options Serverless● Redimensionner, redimensionner, redimensionner les resources● Dimensionner encore à la baisse les environnements Dev/QA● Pour les env hors production, programmer arrêt & redémarrage automatiques● Détruire les environments inutilisés● Préférez les solutions open source● Pour les environnements à charge constante, réserver les instances● Mettre en place des gestion de cycle automatique des objets sur S3

Datacenterless1 Redimensionner2 Serverless3


Le FinOps en pratique

Monitored AWS account 2...

Monitored AWS account 1

Central AWS Account

Assume Role par les fonctions Lambda dans les comptes cibles

ROL_VESA_AWS_PRD_FINOPS_LAMBDA

CloudWatch Event Rule

(Every Day at 7:30 CET Time)

Déclencherfonctions Lambda

DynamoDB avec la liste des comptes AWS à monitorer

Push results on Google Chat Room

EC2 unused

RDS unused

ELB unused

EBS unused

ROL_VESA_AWS_PRD_FINOPS_LAMBDA


Sobriété digitale

Frugalité Partage

Architecture

Device

Infrastructure

Usage

Utilisation écologique du Cloud Public

finopsdans un monde devops– l’optimisation des coûts en …... · 2019-04-03 · monitored aws...

Documents