2

Exchange 2010 SP1Protection native

08/02/2011

Teruin Laurent [Mvp]

Consultant Communication unifiées

http://UnifiedIt.wordpress.com

3

Sommaire

ProblématiquesConcept de protection NativeCas concret

4

Protection NativeProblématiques

Demande de volumétries importantesAugmentation moyenne de la taille des messages

Average Message Size (KB)Augmentation des échanges de messagerieDemande plus forte de rétention de l’information

Aspects Légaux/ RestaurationMultiplication des bases de données (Dag)

Haute disponibilité systématiqueEn parallèle

Diminution des IO requis pour Exchange 2010 SP1Augmentation des capacités disques (Sata/ Jbod)

5

Protection Native

Principes de basesLa protection native repose sur la protection des données de messagerie sans l’utilisation des solutions de sauvegarde traditionnelles (VSS,Backup)

Ce que l’on est en droit d’attendreAvantages Financiers

Cout du stockage en baisse (Sata, Jbod)Charges d’administration

Pas ou peu de gestion de quotaBoites aux lettres < 10 Go et Archives (online) 10 a 30 Go

Suppression des problématiques des Pst.Réponse à la demande utilisateurs

Stockage « illimité »…Réponse aux exigences légales Diminution des appels aux supports

6

Protection Native

Absence de sauvegarde : Réaliste ?Oui !. Techniquement -> Protection native Exchange 2010Attention cependant à

L’externalisation des données dans un environnement non connectéL’évolution des mentalités et réflexes d’administrationBonne connaissance des techniques de protection natives

ArgumentairesImpacts / risques couvertsCa fait quand même 10 Ans

que l’on conseille de sauvegarder impérativement les données de messagerie !

E t maintenant il va falloir démontrer que cela n’est pas forcement nécessaire

7

Diminution des IOs disques

Exchange 2003 Exchange 2007 Exchange 20100

0.2

0.4

0.6

0.8

1

DB IOPS/Boites aux lettres

IOPS/Mailbox-90 %

8

Scénarios de recupérationsEnvironnement Exchange 2010

Logiciel / Matériel / Panne Datacenter

Risque Exchange 2010

Suppression accidentelle ou Intentionnelle d’éléments

Corruption Physique

Corruption logique

Erreur administration ou de traitements

Administrateurs Malveillants

Rétention de données a long terme

Pré-requis Legaux ou réglementaires

Résilience de boites aux lettres

Single Item Recovery

Single Page Restore

Single Item RecoveryCalendar Repair

Déplacement de boites aux lettres

New-MailboxRepairRequest

Et / ou

PIT Backup

Exchange 2010 features, Third Party Solution or iPIT

Backup

RBAC or iPIT Backup

Personal Archive

SAUVEGARDE BASE ACTIVES

Exchange 2010 Vss peuvent uniquement sauvegarder les bases

actives ou non répliquées

SAUVEGARDE BASES PASSIVES

DPM ou solution tierces

9

Résilience de boites aux lettres

• Objectifs• Minimise les temps d’arrêt et la perte de données

après une panne d’un simple environnement Exchange

• Fonctionnalités• Redondance des données (Max 15 copies

passives) géographiquement dispersées• Niveau de basculement :

• Base de données (Exchange 2010)• Services (Exchange 2007)

• Réplication continue (Log Shipping) + Block Mode (Sp1)

Software / Hardware /

Datacenter Failures

10

Aperçu de la résilience de base de données

Client Access Server

Hub Transport

Serveur de Bal 1

Serveur de Bal 2

Serveur de Bal 3

Serveur de Bal 4

Site AD: Paris

Serveur de Bal 5

Client Access Server

Hub TransportLes clients se connectent directement sur les serveurs CAS

Client

DB2

DB3

DB1 DB4

DB5

DB1

DB2

DB3

DB4

DB5

DB1

DB2

DB3

DB4

DB5

DB1

DB3

DB5

DB1

DB1

Site AD:Marseille

Serveur de Bal 6

Basculement géré par Exchange

Facilités d’étendre a travers plusieurs sites

Basculement au niveau de la base de données

Database Availability Group

Log

LogLog

11

Log File 2

Log File 1

Log File 2

Log File 1

Log File 4

Log File 3

Envoi moi le dernier fichier de log … j’ai le journal 2

Log File 5

Log File 4

Log File 5

Log File 3

La copie de base de

données est synchro

Continuous Replication – File ModeReplication continue– Mode Block

ESE

Log

Buffe

rReplication Log Buffer

Log File 6

Log File 6

Le journal est

construit et inspecté

Log File 7

Log incomplet détecté et converti en log complet

Réplication continue

Exx.log

12

Restauration de page unique(Single page restore)

• Définition d’une corruption physique. Corruption de la structure sous-jacente ESE.

• Pourquoi avoir implémenté la restauration de page ?– L’utilisation de stockage Jbod et la suppression de la protection RAID

nécessite que l’application fournissent un mécanisme d’auto-réparation dans le cas ou des mauvais block sont détectés sur l’espace de stockage. Ce qui cause des corruptions physiques aux sein des bases de données Exchange.

• Uniquement utilisé pour réparer les copies de bases de données.

• Les bases de données différées (Lagged databases) n’incluent pas ces fonctionnalités– Pour les bases différées – Utilisez le raid.

Physical Corruption

13

Serveur de boites aux lettre N1

Serveur de boites aux lettre N2

Groupe de disponibilité de base de données

Page1

Page2

Page3

Serveur de boites aux lettre N3

1. Corruption de page détectée sur la copie Active (Ev 1018)

2. La BD place un marqueur dans le journal pour avertir la copie passive de renvoyer la page a jours

3. La copie passive reçois le journal et le rejoue jusqu'au marqueur, retrouve la bonne page, appelle le service Replay service et envoie la page

4. La base active reçois la bonne page, écris la page dans le journal. La page est patché

DB1-Active

Database

Log

Page1

Page2

Page3

DB1-CopyA

Database

Log

Page1

Page2

Page3

DB1-CopyB

Database

Log

5. les autre pages de réparation des autres copies sont ignorées

Restauration de page unique (Copie Active)

14

4. La copie passive attend jusqu'a ce que le fichier de journal qui satisfait au prérequis is copié, inspecté et patche la page

Serveur de boites aux lettres N1

Serveur de boites aux lettres N2

Groupe de Disponibilité de base de données(DAG)

Page1

Page2

Page3

Serveur de boites aux lettres N3

1. Corruption de page détectée sur la copie Passive (Ev 1018)

2. La base de données passive stoppe la rééxécution des journaux (La copie des journaux continue)

3. La base de données passive retrouve la page défaillante depuis l'envoi de la base active

DB1-Active

Database

Page1

Page2

Page3

DB1-CopyA

Database

Page1

Page2

Page3

DB1-CopyB

Database

5. La copie passive reprend l'exécution des journaux

Restauration de page unique (Copie passive)

Log Log Log

15

Résilience de boites aux lettres• Avantages

• Augmentation de la disponibilité, remise en service rapide avec minimisation des pertes de données• Activation de bases de données en 30 Secondes• Inspection des journaux et correction de page • Nouveauté : SP1 Réplication continue en mode Block

• Permet un déploiement de boites aux lettres a volumétrie importante à cout réduit (stockage a cout réduit)

• Processus de basculement identique de basculement selon le type de panne• ( Disque/ serveur / réseau)

16

Benne de transport 1.0Problématiques

• Que ce passe t’il si la durée de vie des éléments supprimés dépasse la durée de rétention ?– Vous devez restaurez ces derniers depuis une sauvegarde

antérieure à la période de purge

• Pas de fonctionnalité limitant l’action des utilisateurs sur la benne de transport

• La benne de transport 1.0 est une vue par dossier– Pas de recherche possible– Pas d’indexation possible– N’est pas déplacer avec la boite aux lettres

Accidental/Malicious Item Deletion

17

Benne de Transport 2.0• Implémentée comme une hiérarchie de dossier

– Non_imp_subtree de la boite aux lettres– Suit la boite aux lettres en cas de déplacement– Permet la recherche

• Possède des quota configurables afin de gérer les problèmes d’attaque de type Dos

• Utilise deux mécanismes pour retenir les données– Préservation à moyen terme (Single Item Recovery)– Préservation à long terme (rétention légale)

18

Restauration d’élément uniqueSingle Item Recovery• But

• Garder tous les éléments supprimés et modifiés pour une durée spécifique

• Fonctionnalités• Activable par boites aux lettres• Désactivé par défaut

• Set-Mailbox UserA –SingleItemRecoveryEnabled $true

• La durée de rétention est configurée par boites aux lettres ou par base de données

• Set-Mailbox UserA -RetainDeletedItemsFor 90 -UseDatabaseQuotaDefaults $false

• Set-MailboxDatabase DB1 -DeletedItemRetention 30

• Quota par défaut des éléments récupérables• 20 GB Quota d’alerte – les élements commence a

être supprimés (FIFO)• 30 GB Quota – Le dossiers éléments restaurable

est plein

19

Restauration d’élements unique

• 1-2 yrs of E-mail• Size 2-10GB• Online and Offline

Mailbox

Recoverable Items

Deletions

Deleted Items

Inbox

…

(1) Message délivré

Versions

Purges

(2) Message déplacer dans les dossier elements supprimés

(3) Message supprimés

(4) Message purgé par

l’utilisateur

(5) Message modifié

(6) Messages purgés après 14 jours

Messages purged by 14 day (or custom DIRW)

policy

20

Rétention légale• Objectifs

• Retenir tout les élements supprimé et modifiés pour une durée fixe ou pour des contraintes légales

• Fonctionnalités• Activation par boites aux lettres• Désactivée par défaut

• Set-Mailbox UserA -LitigationHoldEnabled $true• Un utilisateur 2010 peut être prevenu par message que sa

boite aux lettres fait l’objet d’une rétention legale.• Set-Mailbox UserA -RetentionURL <legal URL>• Set-Mailbox UserA -RetentionComment <legal note>

• Recoverable items folder quota defaults• 20 GB Warning Quota – application event is logged• 30 GB Quota – recoverable items folder full

Rétention légale <> Archivage Legal

21

Retention Légale

• 1-2 yrs of E-mail• Size 2-10GB• Online and Offline

Boite aux lettres

Recoverable Items

Deletions

Deleted Items

Inbox

…

(1) Message Délivré

Versions

Purges

(2) Message déplacer dans le dossier élements supprimés

(3) Message supprimé

(4) Le message est purgé par l’utilisateur

(5) Le message est édité

(6) Les messages sont déplacé dans le dossier de Purge mais ne sont pas supprimés par le système

22

Principaux avantage de la restauration d’élément

• Principaux avantages• Facilité de restauration pour les administrateurs via ECP

• Nécessite une licence d’accès Entreprise (eCal)• Utilisation possible des commandes Powershell pour la

restauration• Ne nécessite pas de licence d’accès Entreprise (eCal)• http://msexchangeteam.com/archive/2010/04/26/45473

3.aspx

• Pas de nécessité de faire de sauvegarde spécifique pour pouvoir restaurer un message.• Brick Level

• Solution économique

23

Corruption logique

• Il existe deux types de corruption logique

• Corruption de base logique• Les checksum de page sont Ok, mais les données de page

sont corrompues. (données invalides)

• Store Logical Corruption – • Des modifications dans les données de page ont été faites

qui ne correspondent pas a ce qu’attend l’application• Causes principales: Produits tiers, Ancienne solution de

mobilité spécifiquement sur des données de calendrier

Logical Corruptions

24

Gestion des corruptions logiques

• Restauration d’élément unique• Possibilité de restaurer la version originale • Pas de possibilité de restaurer la version de l’item corrompu

• L’assistant de réparation de calendrier détecte et corrige les inconsistance de rendez-vous simple ou récurrent pour les boites aux lettres reposant sur le serveur de boites aux lettres.• Pas de perte d’informations,

• Lors d’un déplacement des boites aux lettres, le service de réplication de boites aux lettres détecte les éléments corrompus et ne les reconduits pas.

• Le service Pack1 fournit une nouvelle commande powershell New-MailboxRepairRequest qui gére les corruptions de dossiers sur des problématiques comme les dossiers de recherches, le comptage d’item, les vues, les relations de dossier parents enfants.

• Pour les autres cas, il faut utiliser la restauration ou les bases de données différée (lagged database copy)

25

Copie de base de données différée• Objectifs

• Restauration à un moment précis• Fonctionnalités

• Possibilité de différé la réexecution des fichiers journaux au sein d’une base de données données• Jusqu’a 14 jours max

• Set-MailboxDatabaseCopy -Identity MBXDB1\Server1 -ReplayLagTime 14.0:0:0

• Rééxécution des journaux pour repositionner la base de données dans le temps

• Peut être positionner dans un autre centre de données• Plan de reprise d’activité

• Nécessite un stockage Raid

>_

26

Recovery Database

Etapes de récupération avec un base de données différée

DB 1 DB 1 DB 1 DB 1

Groupe de disponibilité de base de données(DAG)

Serveur Bal 1

ServeurBal 2

Serveur Bal 3

Serveur Bal 4

1. Suspendre la réplication

2. Effectué un cliché instantané (Vss)

3. Sélectionner les journaux a rejouer

4. Rejouer les journaux avec ESEUtil

5. Copier la base et récupérer les éléments

6. Remettre la base en route (Application du snap)

7. Relancer la réplication

1 2 3 4 56 7

DB 1

DB 1

1 2 3 4 56 7

Copie différée

27

Base de données différées(Lagged Database)

• Principaux avantages• Restauration plus facile pour les bases de données importantes

Vs Backup and restore• Moins de duplication de données que de multiple copie de

données dans le temps • Securité – Permet de réduire les risques

• A retenir !• Non nécessaire en cas d’utilisation de solution de sauvegarde

VSS (DPM 2010) • Les bases de données différées ne doivent pas être des bases

activables. • Le support disque doit offrir de la tolérance de panne (raid)• Leurs mises en place à des conséquences sur le stockage

28

Protection Native des données Exchange Un petit résumé

• Le concept– La PNDE se base sur les mécanismes internes du produit pour protéger

les données de messagerie hors sauvegarde VSS.

• Les pré-requis sont – 3 copies minimum de base de données en haute disponibilité (Dag)– Activation des fonctionnalités de Restauration d’élément unique avec

une fenêtre de rétention des éléments supprimés (FRES) en rapport avec le SLA

– Les copies de base de données à écritures différées sont optionnelles

29

Gestion des administrateurs indélicats

• Première chose à faire …– Ne pas élever les permissions au delà du nécessaire

• Deux choses a prévoir avec RBAC Exchange 2010 SP1 en vue de réduire la probabilité qu’un administrateur indélicat puisse détruire des données – Utiliser les fonctions de Scope sur les serveur afin d’interdir l’accès a certaines

bases de données • Exemple (Serveur de copies différée dédiée)

– Utiliser les fonction scope sur les bases de données pour interdir l’accès a certaines bases de données ou copie de base de données

• Utilisez les fonctions Bitlocker pour crypter les disques• Si la mise en place d’un model Rbac n’est pas envisageable

– Utiliser une solution de sauvegarde géré séparément

Rogue Administrators

31

Compliance Policy in Exchange 2010 SP1

• Provide a richer feature set incorporating customer feedback and take archive and discovery to the cloud

Préserver

• Archive sur DB différente

• Archive dans le the cloud

• Outlook 2007 Support l’import PST directement dans l’Archive

• Délégation d’Admin

• Support Webservice

Archive Personnelle

• Gérer par EMC

• EWS supporte les archives

• Déplacement automatique du contenu de la bal primaire vers l’archive

Move/Delete Policy

• Search Preview• De-duplication• Search and Destroy• Annotations• Cross Premise Search• Cmdlet Auditing• Non-Owner Auditing

• Gérée par ECP

Strategie Rétention

Recherche Multi Boites aux lettres

• Audit de Boites aux lettres

• Gestion a travers ECP cmdlets

• Report and exports results

Découverte

StratégieD’audit

32

Cas Concret

33

Cas Concret Axiome de départProjet Fin 2010 Début 2011• Données du problème

• Environ 20 000 Boites aux lettres• Site de secours • Haute disponibilité sur deux sites

• Bonne connectivité • Architecture demandée

• Stockage à coûts réduit• Stockage traditionnel

• Diminution de la fréquence de backup• Rétention de 14 Jours (S.I.R et Lagged)• Conservation des données de

messagerie sur 2 années• Profil Utilisateur moyen : 100 Messages

par Jours / 220 Ko (validé)+ Approche Stockage

ApprocheTraditionnelle

Design Stockage

Exchange 2010 Mailbox Server Role Requirements Calculator

34

Ratio ICUn calcul qui peut aider

• Principe• Trouver le type de disque le plus adapté

• Méthode• Divise l’IO pour une bal / taille de la boites aux

lettres• 0,06 Io & 1 Gb de Quota

• 0,06/1 = 0,06 • Disque Sata

• 500 Gb = 75/500• 1 Tb=75 /1000• 2 Tb = 75/2000

35

• Stockage à faible coût

Un disque 7,2 Tpm Sata 2T0= 65-75 en accès aléatoire• Calculateur de R.SMITH – > 500 Utilisateurs par

disque

• Database Volume I/O = 500x0,1x1,2 = 60 IOPS

• Espace perdu… car facteur limitant étant l’axe • Donc 100 Mo de quota -> 900 Mo

• Nombre d’utilisateur par serveur de bal.• Facteur limitant

• principal : mémoire• Espace des bases laguées

• Nombre de banque d’information 40 • 500 Utilisateurs /Disque/Base *40 = 20 000 Utilisateurs

• Nombre de serveur de boites aux lettres : 2x3 =6• Nombre de serveur de boites aux lettres

Lagguées : 2

Cas ConcretApproche stockage

500 Utilisateurs

2To Brut/ 1,8 To Utile

810 Go /Mb

Profils

IO Over Head factor

QuotaWhiteSpaceDumpster

Index

566 Go Log

14 Jours

Lagged DatabaseDisk

36

Architecture proposée

Question pour vous :Pourquoi 4 serveurs ?

37

Cas ConcretSauvegarde

SIR ≤ Fréquence de backup (FB)

débu

t

Backu

p Pas

sive

(Ipit)

14 J

Single Item recovery

14 J

Backu

p Pas

sive

iPit

Perte D’informationSir > FB !!!

débu

t

7 J

Single Item recovery

7 J

Backu

p Pas

sive

iPit

Backu

p Pas

sive

iPit

CRCL : Continuous Replication Circular Logging géré par le service de réplication Microsoft Exchange

Les journaux ne sont pas supprimés tant qu’il sont nécessaires pour la réplication

38

Points d’attention

• Native Protection = 3 copies de bases de données a minima sur du disque non sécurisé (Jbod)

• Préciser vos données de RTO / RPO• Conditionne fortement l’architecture technique

• Valider que les ressources réseaux soient capables d’accepter l’environnement Dag. (bande passante de réplication)

• Envisagez précisément l’ensemble des scénarios catastrophes• Perte base/Perte de serveur/ Perte de centre de

données• Corruption généralisée

• Si envisagé , valider vos temps de sauvegarde et de restoration

39

Remerciements

• Damien Caro (Microsoft)• Anthony Costeseque (Apx) (http://diskshadow.fr/)• Thierry Lelan (Apx)• David Pekmez (Exakis) • Visiteurs UnifiedIt (http://Unifiedit.wordpress.com)

Rencontre MVP Exchange Techdays• Ask The Experts (Stand ATE Exchange)

• David Pekmez (a survivor MVP Exchange guy !!) • Mardi PM• Mercredi PM

40

Liens Importants• Génériques

• http://msexchangeteam.com/

• https://Unifiedit.wordpress.com

• http://blogs.technet.com/b/dcaro/

• Native Protection• http://technet.microsoft.com/en-us/library/dd876874.aspx

QUESTIONS - REPONSES