2
Exchange 2010 SP1Protection native
08/02/2011
Teruin Laurent [Mvp]
Consultant Communication unifiées
http://UnifiedIt.wordpress.com
3
Sommaire
ProblématiquesConcept de protection NativeCas concret
4
Protection NativeProblématiques
Demande de volumétries importantesAugmentation moyenne de la taille des messages
Average Message Size (KB)Augmentation des échanges de messagerieDemande plus forte de rétention de l’information
Aspects Légaux/ RestaurationMultiplication des bases de données (Dag)
Haute disponibilité systématiqueEn parallèle
Diminution des IO requis pour Exchange 2010 SP1Augmentation des capacités disques (Sata/ Jbod)
5
Protection Native
Principes de basesLa protection native repose sur la protection des données de messagerie sans l’utilisation des solutions de sauvegarde traditionnelles (VSS,Backup)
Ce que l’on est en droit d’attendreAvantages Financiers
Cout du stockage en baisse (Sata, Jbod)Charges d’administration
Pas ou peu de gestion de quotaBoites aux lettres < 10 Go et Archives (online) 10 a 30 Go
Suppression des problématiques des Pst.Réponse à la demande utilisateurs
Stockage « illimité »…Réponse aux exigences légales Diminution des appels aux supports
6
Protection Native
Absence de sauvegarde : Réaliste ?Oui !. Techniquement -> Protection native Exchange 2010Attention cependant à
L’externalisation des données dans un environnement non connectéL’évolution des mentalités et réflexes d’administrationBonne connaissance des techniques de protection natives
ArgumentairesImpacts / risques couvertsCa fait quand même 10 Ans
que l’on conseille de sauvegarder impérativement les données de messagerie !
E t maintenant il va falloir démontrer que cela n’est pas forcement nécessaire
7
Diminution des IOs disques
Exchange 2003 Exchange 2007 Exchange 20100
0.2
0.4
0.6
0.8
1
DB IOPS/Boites aux lettres
IOPS/Mailbox-90 %
8
Scénarios de recupérationsEnvironnement Exchange 2010
Logiciel / Matériel / Panne Datacenter
Risque Exchange 2010
Suppression accidentelle ou Intentionnelle d’éléments
Corruption Physique
Corruption logique
Erreur administration ou de traitements
Administrateurs Malveillants
Rétention de données a long terme
Pré-requis Legaux ou réglementaires
Résilience de boites aux lettres
Single Item Recovery
Single Page Restore
Single Item RecoveryCalendar Repair
Déplacement de boites aux lettres
New-MailboxRepairRequest
Et / ou
PIT Backup
Exchange 2010 features, Third Party Solution or iPIT
Backup
RBAC or iPIT Backup
Personal Archive
SAUVEGARDE BASE ACTIVES
Exchange 2010 Vss peuvent uniquement sauvegarder les bases
actives ou non répliquées
SAUVEGARDE BASES PASSIVES
DPM ou solution tierces
9
Résilience de boites aux lettres
• Objectifs• Minimise les temps d’arrêt et la perte de données
après une panne d’un simple environnement Exchange
• Fonctionnalités• Redondance des données (Max 15 copies
passives) géographiquement dispersées• Niveau de basculement :
• Base de données (Exchange 2010)• Services (Exchange 2007)
• Réplication continue (Log Shipping) + Block Mode (Sp1)
Software / Hardware /
Datacenter Failures
10
Aperçu de la résilience de base de données
Client Access Server
Hub Transport
Serveur de Bal 1
Serveur de Bal 2
Serveur de Bal 3
Serveur de Bal 4
Site AD: Paris
Serveur de Bal 5
Client Access Server
Hub TransportLes clients se connectent directement sur les serveurs CAS
Client
DB2
DB3
DB1 DB4
DB5
DB1
DB2
DB3
DB4
DB5
DB1
DB2
DB3
DB4
DB5
DB1
DB3
DB5
DB1
DB1
Site AD:Marseille
Serveur de Bal 6
Basculement géré par Exchange
Facilités d’étendre a travers plusieurs sites
Basculement au niveau de la base de données
Database Availability Group
Log
LogLog
11
Log File 2
Log File 1
Log File 2
Log File 1
Log File 4
Log File 3
Envoi moi le dernier fichier de log … j’ai le journal 2
Log File 5
Log File 4
Log File 5
Log File 3
La copie de base de
données est synchro
Continuous Replication – File ModeReplication continue– Mode Block
ESE
Log
Buffe
rReplication Log Buffer
Log File 6
Log File 6
Le journal est
construit et inspecté
Log File 7
Log incomplet détecté et converti en log complet
Réplication continue
Exx.log
12
Restauration de page unique(Single page restore)
• Définition d’une corruption physique. Corruption de la structure sous-jacente ESE.
• Pourquoi avoir implémenté la restauration de page ?– L’utilisation de stockage Jbod et la suppression de la protection RAID
nécessite que l’application fournissent un mécanisme d’auto-réparation dans le cas ou des mauvais block sont détectés sur l’espace de stockage. Ce qui cause des corruptions physiques aux sein des bases de données Exchange.
• Uniquement utilisé pour réparer les copies de bases de données.
• Les bases de données différées (Lagged databases) n’incluent pas ces fonctionnalités– Pour les bases différées – Utilisez le raid.
Physical Corruption
13
Serveur de boites aux lettre N1
Serveur de boites aux lettre N2
Groupe de disponibilité de base de données
Page1
Page2
Page3
Serveur de boites aux lettre N3
1. Corruption de page détectée sur la copie Active (Ev 1018)
2. La BD place un marqueur dans le journal pour avertir la copie passive de renvoyer la page a jours
3. La copie passive reçois le journal et le rejoue jusqu'au marqueur, retrouve la bonne page, appelle le service Replay service et envoie la page
4. La base active reçois la bonne page, écris la page dans le journal. La page est patché
DB1-Active
Database
Log
Page1
Page2
Page3
DB1-CopyA
Database
Log
Page1
Page2
Page3
DB1-CopyB
Database
Log
5. les autre pages de réparation des autres copies sont ignorées
Restauration de page unique (Copie Active)
14
4. La copie passive attend jusqu'a ce que le fichier de journal qui satisfait au prérequis is copié, inspecté et patche la page
Serveur de boites aux lettres N1
Serveur de boites aux lettres N2
Groupe de Disponibilité de base de données(DAG)
Page1
Page2
Page3
Serveur de boites aux lettres N3
1. Corruption de page détectée sur la copie Passive (Ev 1018)
2. La base de données passive stoppe la rééxécution des journaux (La copie des journaux continue)
3. La base de données passive retrouve la page défaillante depuis l'envoi de la base active
DB1-Active
Database
Page1
Page2
Page3
DB1-CopyA
Database
Page1
Page2
Page3
DB1-CopyB
Database
5. La copie passive reprend l'exécution des journaux
Restauration de page unique (Copie passive)
Log Log Log
15
Résilience de boites aux lettres• Avantages
• Augmentation de la disponibilité, remise en service rapide avec minimisation des pertes de données• Activation de bases de données en 30 Secondes• Inspection des journaux et correction de page • Nouveauté : SP1 Réplication continue en mode Block
• Permet un déploiement de boites aux lettres a volumétrie importante à cout réduit (stockage a cout réduit)
• Processus de basculement identique de basculement selon le type de panne• ( Disque/ serveur / réseau)
16
Benne de transport 1.0Problématiques
• Que ce passe t’il si la durée de vie des éléments supprimés dépasse la durée de rétention ?– Vous devez restaurez ces derniers depuis une sauvegarde
antérieure à la période de purge
• Pas de fonctionnalité limitant l’action des utilisateurs sur la benne de transport
• La benne de transport 1.0 est une vue par dossier– Pas de recherche possible– Pas d’indexation possible– N’est pas déplacer avec la boite aux lettres
Accidental/Malicious Item Deletion
17
Benne de Transport 2.0• Implémentée comme une hiérarchie de dossier
– Non_imp_subtree de la boite aux lettres– Suit la boite aux lettres en cas de déplacement– Permet la recherche
• Possède des quota configurables afin de gérer les problèmes d’attaque de type Dos
• Utilise deux mécanismes pour retenir les données– Préservation à moyen terme (Single Item Recovery)– Préservation à long terme (rétention légale)
18
Restauration d’élément uniqueSingle Item Recovery• But
• Garder tous les éléments supprimés et modifiés pour une durée spécifique
• Fonctionnalités• Activable par boites aux lettres• Désactivé par défaut
• Set-Mailbox UserA –SingleItemRecoveryEnabled $true
• La durée de rétention est configurée par boites aux lettres ou par base de données
• Set-Mailbox UserA -RetainDeletedItemsFor 90 -UseDatabaseQuotaDefaults $false
• Set-MailboxDatabase DB1 -DeletedItemRetention 30
• Quota par défaut des éléments récupérables• 20 GB Quota d’alerte – les élements commence a
être supprimés (FIFO)• 30 GB Quota – Le dossiers éléments restaurable
est plein
19
Restauration d’élements unique
• 1-2 yrs of E-mail• Size 2-10GB• Online and Offline
Mailbox
Recoverable Items
Deletions
Deleted Items
Inbox
…
(1) Message délivré
Versions
Purges
(2) Message déplacer dans les dossier elements supprimés
(3) Message supprimés
(4) Message purgé par
l’utilisateur
(5) Message modifié
(6) Messages purgés après 14 jours
Messages purged by 14 day (or custom DIRW)
policy
20
Rétention légale• Objectifs
• Retenir tout les élements supprimé et modifiés pour une durée fixe ou pour des contraintes légales
• Fonctionnalités• Activation par boites aux lettres• Désactivée par défaut
• Set-Mailbox UserA -LitigationHoldEnabled $true• Un utilisateur 2010 peut être prevenu par message que sa
boite aux lettres fait l’objet d’une rétention legale.• Set-Mailbox UserA -RetentionURL <legal URL>• Set-Mailbox UserA -RetentionComment <legal note>
• Recoverable items folder quota defaults• 20 GB Warning Quota – application event is logged• 30 GB Quota – recoverable items folder full
Rétention légale <> Archivage Legal
21
Retention Légale
• 1-2 yrs of E-mail• Size 2-10GB• Online and Offline
Boite aux lettres
Recoverable Items
Deletions
Deleted Items
Inbox
…
(1) Message Délivré
Versions
Purges
(2) Message déplacer dans le dossier élements supprimés
(3) Message supprimé
(4) Le message est purgé par l’utilisateur
(5) Le message est édité
(6) Les messages sont déplacé dans le dossier de Purge mais ne sont pas supprimés par le système
22
Principaux avantage de la restauration d’élément
• Principaux avantages• Facilité de restauration pour les administrateurs via ECP
• Nécessite une licence d’accès Entreprise (eCal)• Utilisation possible des commandes Powershell pour la
restauration• Ne nécessite pas de licence d’accès Entreprise (eCal)• http://msexchangeteam.com/archive/2010/04/26/45473
3.aspx
• Pas de nécessité de faire de sauvegarde spécifique pour pouvoir restaurer un message.• Brick Level
• Solution économique
23
Corruption logique
• Il existe deux types de corruption logique
• Corruption de base logique• Les checksum de page sont Ok, mais les données de page
sont corrompues. (données invalides)
• Store Logical Corruption – • Des modifications dans les données de page ont été faites
qui ne correspondent pas a ce qu’attend l’application• Causes principales: Produits tiers, Ancienne solution de
mobilité spécifiquement sur des données de calendrier
Logical Corruptions
24
Gestion des corruptions logiques
• Restauration d’élément unique• Possibilité de restaurer la version originale • Pas de possibilité de restaurer la version de l’item corrompu
• L’assistant de réparation de calendrier détecte et corrige les inconsistance de rendez-vous simple ou récurrent pour les boites aux lettres reposant sur le serveur de boites aux lettres.• Pas de perte d’informations,
• Lors d’un déplacement des boites aux lettres, le service de réplication de boites aux lettres détecte les éléments corrompus et ne les reconduits pas.
• Le service Pack1 fournit une nouvelle commande powershell New-MailboxRepairRequest qui gére les corruptions de dossiers sur des problématiques comme les dossiers de recherches, le comptage d’item, les vues, les relations de dossier parents enfants.
• Pour les autres cas, il faut utiliser la restauration ou les bases de données différée (lagged database copy)
25
Copie de base de données différée• Objectifs
• Restauration à un moment précis• Fonctionnalités
• Possibilité de différé la réexecution des fichiers journaux au sein d’une base de données données• Jusqu’a 14 jours max
• Set-MailboxDatabaseCopy -Identity MBXDB1\Server1 -ReplayLagTime 14.0:0:0
• Rééxécution des journaux pour repositionner la base de données dans le temps
• Peut être positionner dans un autre centre de données• Plan de reprise d’activité
• Nécessite un stockage Raid
>_
26
Recovery Database
Etapes de récupération avec un base de données différée
DB 1 DB 1 DB 1 DB 1
Groupe de disponibilité de base de données(DAG)
Serveur Bal 1
ServeurBal 2
Serveur Bal 3
Serveur Bal 4
1. Suspendre la réplication
2. Effectué un cliché instantané (Vss)
3. Sélectionner les journaux a rejouer
4. Rejouer les journaux avec ESEUtil
5. Copier la base et récupérer les éléments
6. Remettre la base en route (Application du snap)
7. Relancer la réplication
1 2 3 4 56 7
DB 1
DB 1
1 2 3 4 56 7
Copie différée
27
Base de données différées(Lagged Database)
• Principaux avantages• Restauration plus facile pour les bases de données importantes
Vs Backup and restore• Moins de duplication de données que de multiple copie de
données dans le temps • Securité – Permet de réduire les risques
• A retenir !• Non nécessaire en cas d’utilisation de solution de sauvegarde
VSS (DPM 2010) • Les bases de données différées ne doivent pas être des bases
activables. • Le support disque doit offrir de la tolérance de panne (raid)• Leurs mises en place à des conséquences sur le stockage
28
Protection Native des données Exchange Un petit résumé
• Le concept– La PNDE se base sur les mécanismes internes du produit pour protéger
les données de messagerie hors sauvegarde VSS.
• Les pré-requis sont – 3 copies minimum de base de données en haute disponibilité (Dag)– Activation des fonctionnalités de Restauration d’élément unique avec
une fenêtre de rétention des éléments supprimés (FRES) en rapport avec le SLA
– Les copies de base de données à écritures différées sont optionnelles
29
Gestion des administrateurs indélicats
• Première chose à faire …– Ne pas élever les permissions au delà du nécessaire
• Deux choses a prévoir avec RBAC Exchange 2010 SP1 en vue de réduire la probabilité qu’un administrateur indélicat puisse détruire des données – Utiliser les fonctions de Scope sur les serveur afin d’interdir l’accès a certaines
bases de données • Exemple (Serveur de copies différée dédiée)
– Utiliser les fonction scope sur les bases de données pour interdir l’accès a certaines bases de données ou copie de base de données
• Utilisez les fonctions Bitlocker pour crypter les disques• Si la mise en place d’un model Rbac n’est pas envisageable
– Utiliser une solution de sauvegarde géré séparément
Rogue Administrators
31
Compliance Policy in Exchange 2010 SP1
• Provide a richer feature set incorporating customer feedback and take archive and discovery to the cloud
Préserver
• Archive sur DB différente
• Archive dans le the cloud
• Outlook 2007 Support l’import PST directement dans l’Archive
• Délégation d’Admin
• Support Webservice
Archive Personnelle
• Gérer par EMC
• EWS supporte les archives
• Déplacement automatique du contenu de la bal primaire vers l’archive
Move/Delete Policy
• Search Preview• De-duplication• Search and Destroy• Annotations• Cross Premise Search• Cmdlet Auditing• Non-Owner Auditing
• Gérée par ECP
Strategie Rétention
Recherche Multi Boites aux lettres
• Audit de Boites aux lettres
• Gestion a travers ECP cmdlets
• Report and exports results
Découverte
StratégieD’audit
32
Cas Concret
33
Cas Concret Axiome de départProjet Fin 2010 Début 2011• Données du problème
• Environ 20 000 Boites aux lettres• Site de secours • Haute disponibilité sur deux sites
• Bonne connectivité • Architecture demandée
• Stockage à coûts réduit• Stockage traditionnel
• Diminution de la fréquence de backup• Rétention de 14 Jours (S.I.R et Lagged)• Conservation des données de
messagerie sur 2 années• Profil Utilisateur moyen : 100 Messages
par Jours / 220 Ko (validé)+ Approche Stockage
ApprocheTraditionnelle
Design Stockage
Exchange 2010 Mailbox Server Role Requirements Calculator
34
Ratio ICUn calcul qui peut aider
• Principe• Trouver le type de disque le plus adapté
• Méthode• Divise l’IO pour une bal / taille de la boites aux
lettres• 0,06 Io & 1 Gb de Quota
• 0,06/1 = 0,06 • Disque Sata
• 500 Gb = 75/500• 1 Tb=75 /1000• 2 Tb = 75/2000
35
• Stockage à faible coût
Un disque 7,2 Tpm Sata 2T0= 65-75 en accès aléatoire• Calculateur de R.SMITH – > 500 Utilisateurs par
disque
• Database Volume I/O = 500x0,1x1,2 = 60 IOPS
• Espace perdu… car facteur limitant étant l’axe • Donc 100 Mo de quota -> 900 Mo
• Nombre d’utilisateur par serveur de bal.• Facteur limitant
• principal : mémoire• Espace des bases laguées
• Nombre de banque d’information 40 • 500 Utilisateurs /Disque/Base *40 = 20 000 Utilisateurs
• Nombre de serveur de boites aux lettres : 2x3 =6• Nombre de serveur de boites aux lettres
Lagguées : 2
Cas ConcretApproche stockage
500 Utilisateurs
2To Brut/ 1,8 To Utile
810 Go /Mb
Profils
IO Over Head factor
QuotaWhiteSpaceDumpster
Index
566 Go Log
14 Jours
Lagged DatabaseDisk
36
Architecture proposée
Question pour vous :Pourquoi 4 serveurs ?
37
Cas ConcretSauvegarde
SIR ≤ Fréquence de backup (FB)
débu
t
Backu
p Pas
sive
(Ipit)
14 J
Single Item recovery
14 J
Backu
p Pas
sive
iPit
Perte D’informationSir > FB !!!
débu
t
7 J
Single Item recovery
7 J
Backu
p Pas
sive
iPit
Backu
p Pas
sive
iPit
CRCL : Continuous Replication Circular Logging géré par le service de réplication Microsoft Exchange
Les journaux ne sont pas supprimés tant qu’il sont nécessaires pour la réplication
38
Points d’attention
• Native Protection = 3 copies de bases de données a minima sur du disque non sécurisé (Jbod)
• Préciser vos données de RTO / RPO• Conditionne fortement l’architecture technique
• Valider que les ressources réseaux soient capables d’accepter l’environnement Dag. (bande passante de réplication)
• Envisagez précisément l’ensemble des scénarios catastrophes• Perte base/Perte de serveur/ Perte de centre de
données• Corruption généralisée
• Si envisagé , valider vos temps de sauvegarde et de restoration
39
Remerciements
• Damien Caro (Microsoft)• Anthony Costeseque (Apx) (http://diskshadow.fr/)• Thierry Lelan (Apx)• David Pekmez (Exakis) • Visiteurs UnifiedIt (http://Unifiedit.wordpress.com)
Rencontre MVP Exchange Techdays• Ask The Experts (Stand ATE Exchange)
• David Pekmez (a survivor MVP Exchange guy !!) • Mardi PM• Mercredi PM
40
Liens Importants• Génériques
• http://msexchangeteam.com/
• https://Unifiedit.wordpress.com
• http://blogs.technet.com/b/dcaro/
• Native Protection• http://technet.microsoft.com/en-us/library/dd876874.aspx
QUESTIONS - REPONSES