datacenter dynamics converged 2013. doświadczenia nordea w zakresie budowy i eksploatacji...

www.datacenterdynamics.com

Doświadczenia Nordea w zakresie budowyi eksploatacji ośrodków przetwarzania danych

Rys historyczno-technologicznyz perspektywy zarządzania projektami

Robert Gronberski, Paweł Wawrzyniak / Nordea BP S.A.


Omówione projekty / chronologia zdarzeń:

Rozbudowa „starego” PDC, 2008 rok

Adaptacja obiektu na potrzeby DRC, 2009-2010 rok

Budowa „nowego” PDC, 2010-2012 rok

Inne większe projekty infrastrukturalne Nordea

Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok

Budowa serwerowni centrali Nordea House Warsaw, 2012 rok



Zwiększone zapotrzebowanie Nordea na przestrzeń OPD (Ośrodków Przetwarzania Danych)

Konieczność sprawnej obsługi rejonu PL&BC: Polska Litwa Łotwa Estonia

Zapada decyzja o rozbudowie podstawowego OPD (tzw. „stare” PDC) Prace realizowane w ekspresowym tempie – na podstawie wcześniej przygotowanych w

Nordea projektów koncepcyjnych, firmy podwykonawcze otrzymują zlecenia na: Projekt techniczny i wykonanie rozbudowy systemów: zasilania gwarantowanego,

chłodzenia, okablowania strukturalnego Projekt techniczny i wykonanie wymaganego wzmocnienia konstrukcji budynku

Centrali

2013-05-063 • DatacenterDynamics 2013 Warszawa



Po 3 miesiącach intensywnych prac, 1 października 2008 roku, dostępne są: Nowa, budynkowa stacja transformatorowa o mocy 800 kW Nowy agregat prądotwórczy o mocy 630 kVA oraz dodatkowe przyłącze agregatu

zapasowego, używanego w czasie prac serwisowych na podstawowym agregacie Dedykowane pomieszczenie dla centralnego systemu UPS o mocy 2x120 kVA

(2(N+1)) z możliwością rozbudowy do mocy 2x160 kVA (N+1) Dedykowane pomieszczenie butlowni systemu gaszenia gazem Inergen Dedykowane pomieszczenie RGNN (Rozdzielni Głównej Niskiego Napięcia)

wyposażone w najnowocześniejsze rozwiązania w roku 2008, w tym automatyczny układ SZR (Samoczynnego Załączania Rezerwy) oraz analizator jakości zasilania Eaton PowerXpert

Dodatkowa powierzchnia serwerowni: 100 m. kw., zabudowa zimnego korytarza (elastyczna - ColdBlox), nadmiarowy system klimatyzacji precyzyjnej (2N+1) pracujący w trybie rotacyjnym, wodoszczelny (i wygłuszający) sufit oraz podłoga podniesiona

4 •2013-05-06

DatacenterDynamics 2013 Warszawa



Po 3 miesiącach intensywnych prac, 1 października 2008 roku, dostępne są (c.d.): Wydzielone stanowisko testowe zasilania (przenośny szynoprzewód) System wczesnego wykrywania zadymienia VESDA System gaszenia gazem Inergen zintegrowany z budynkowym systemem ppoż. Budynkowy system KD i SSWiN (jak dla wszystkich pomieszczeń PDC) Dozór kamerami IP (serwerownie i pomieszczenia techniczne), CCTV (korytarze) Monitoring parametrów krytycznych ośrodka za pomocą systemów:

BMS – TAC/Vista (parametry zasilania RGNN, UPS, agregat, czujki temperatury/wilgotności, zalania)

NMS – SNMPc Enterprise Edition (obecnie 8.0) Wdrożenie systemu zarządzania infrastrukturą fizyczną OPD: DCPI (Data Centre

Physical Infrastructure Manager) Łączna powierzchnia PDC po rozbudowie: ok. 300 m. kw. (stare serwerownie i

nowa przestrzeń) Obiekt podlega ochronie budynkowej (jeden, wspólny posterunek dla całego

obiektu)

5 •2013-05-06




Sukces: PDC otrzymuje status tymczasowego, podstawowego ośrodka przetwarzania danych do czasu znalezienia partnera do projektu budowy nowych OPD

Wykonany zostaje szereg audytów rozbudowanego PDC – w audycie firmy IBM ośrodek zostaje sklasyfikowany na poziomie odpowiadającym Tier II wg klasyfikacji Uptime Institute (IBM Level 2)

Nowa serwerownia rozbudowanego PDC, po obciążeniu odbiorami IT, osiąga PUE o wartości 1,7

6 •2013-05-06




Kilka zdjęć z przebudowy i obecnie

2013-05-06DatacenterDynamics 2013 Warszawa7 •



Systemy i narzędzia wspomagające




Ciekawostki: Rozbudowa PDC w 2008 roku trwała 3 miesiące od momentu zatwierdzenia

projektów technicznych opracowanych na podstawie specyfikacji wymagań i projektów koncepcyjnych

Wszystkie prace odbyły się bezprzerwowo! Wyjątkiem było zaplanowane wyłączenie ośrodka związane z wymianą budynkowej stacji transformatorowej

Wnioski: Konieczność znalezienia partnera z doświadczeniem w budowie OPD IT Banku nie powinno prowadzić prac budowlanych, a wyłącznie definiować

wymagania dotyczące infrastruktury i poświęcać swój czas na egzekwowanie standardów od wykonawcy generalnego

W IT musi istnieć komórka merytoryczna odpowiedzialna za definicję standardów i kontrolę jakości prac podwykonawców w dziedzinie infrastruktury OPD

DRC będzie obiektem poddanym adaptacji

9 •2013-05-06




Pojawia się potrzeba stworzenia profesjonalnego, zapasowego ośrodka przetwarzania danych – Disaster Recovery Centre, DRC

W toku procesu wyłaniania wykonawcy generalnego pojawia się wielu konkurencyjnych i profesjonalnych oferentów

Wybrana zostaje firma IBM Polska Na podstawie doświadczeń Nordea wynikających z rozbudowy PDC w 2008 roku,

powstaje specyfikacja funkcjonalna ośrodka przetwarzania danych oraz ustalony zostaje zakres projektu

Po ocenie ryzyka zostaje wybrana lokalizacja – obiekt mieszanego przeznaczenia, do adaptacji

IBM opracowuje techniczne projekty branżowe na podstawie wymagań Nordea (w tym na podstawie projektów koncepcyjnych) i przedstawia swoje propozycje do zatwierdzenia w Nordea

Ścisła kontrola Nordea pozwala IBM na realizację ustalonych wymagań i standardów

11 •2013-05-06




Specyfikacja ośrodka DRC (700 m.kw. powierzchni całkowitej): 200 m.kw. przestrzeni komory serwerowej (z możliwością rozbudowy o dodatkowe

50 m.kw.) Według projektów koncepcyjnych Nordea (opartych na doświadczeniach z

rozbudowy PDC w 2008 roku) powstaje: Zabudowa zimnych korytarzy (sztywna):

4 rzędy, po 9 szaf w każdym rzędzie dukty kablowe na szczytach szaf i pomiędzy rzędami (np. połączenia

między węzłami klastrów) Centralny punkt dystrybucji połączeń – tzw. MDF (Main Distribution Frame)

Ponadto, komora serwerowni posiada: 2 krótsze rzędy dla urządzeń wolnostojących (duże serwery, macierze,

biblioteka taśmowa itp.) – każdy rząd składający się z 6-ciu punków montażowych

12 •2013-05-06




Specyfikacja ośrodka DRC, c.d.: Zespół 3 zasilaczy UPS Emerson/Chloride 80 NET o mocy 150 kW z możliwością

łatwej rozbudowy (1 punkt montażowy) o 50 kW Dedykowany moduł UPS do podtrzymania klimatyzacji Dedykowany, mniejszy UPS do podtrzymania odbiorów budynkowych na

powierzchniach biurowych (sala BCP IT) o mocy 10 kW (Eaton) Agregat prądotwórczy o mocy 516 kW; zewnętrzny, monitorowany zbiornik paliwa Możliwość podłączenia zapasowego agregatu prądotwórczego w przypadku

serwisu lub awarii agregatu podstawowego (rozwiązanie z PDC 2008) Ze względu na nadmiarowość powierzchni serwerowej względem obecnie

dostępnej mocy – opracowano gotowe plany rozbudowy systemu zasilania, które można wdrożyć w przyszłości

System gaszenia gazem FM200 System CCTV, KD, BMS

13 •2013-05-06




Specyfikacja ośrodka DRC, c.d.: Dedykowany posterunek ochrony Obsługa techniczna IBM on-site, początkowo 2 osoby (1 zmiana) – wsparcie

Nordea, realizacja usług interwencyjnych i utrzymania obiektu wg ustalonego zakresu

Dostęp dla IT Nordea: 24/7

Przeprowadzone zostają audyty: Wewnętrzne Nordea – pod kątem zgodności ze standardami Nordea w zakresie

zasad konstrukcji i eksploatacji ośrodków przetwarzania danych Zewnętrzne – w tym audyt firmy IBM, który określił poziom niezawodności ośrodka

jako: IBM Level 2 (zdaniem IBM odpowiednik Tier 2 wg klasyfikacji Uptime Institute)

14 •2013-05-06




Ciekawostki: Standard niezawodności nowego DRC odpowiada standardowi ówczesnego PDC

(2008), co – jednocześnie – podnosi poprzeczkę, jeżeli chodzi o oczekiwania względem nowego PDC

Po obciążeniu odbiorami IT, DRC osiąga PUE = 1,6

15 •2013-05-06




Kilka zdjęć z budowy i obecnych




Wnioski: Nowe PDC musi zostać wybudowane „od zera” – obiekt dedykowany pod ośrodek

przetwarzania danych Standard niezawodności musi zostać podwyższony (więcej niż IBM Level 2) – na

podstawie wniosków z audytów „resilience”

20 •2013-05-06




Zgodnie z planami rozwoju infrastruktury ośrodków przetwarzania danych w Nordea, konsekwentnie realizowany jest projekt konstrukcji nowego PDC

W toku procesu wyłaniania wykonawcy generalnego pojawia się wielu konkurencyjnych i profesjonalnych oferentów

Wybrana zostaje firma IBM Polska – która już zdążyła wyrobić sobie odpowiednią markę w Nordea (projekt DRC)

Umowa zostaje podpisana w 2010 roku Na podstawie dotychczasowych doświadczeń obydwu partnerów i wiedzy IBM na

temat standardów obowiązujących w Nordea, zdefiniowane zostają wymagania funkcjonalne i opracowane zostają projekty koncepcyjne

IBM opracowuje techniczne projekty branżowe i przedstawia swoje propozycje do zatwierdzenia w Nordea

Ścisła kontrola Nordea pozwala IBM na realizację ustalonych wymagań i standardów

22 •2013-05-06




Specyfikacja nowego ośrodka PDC: 500 m.kw. przestrzeni komory serwerowej, zabezpieczonej komorą AST Według projektów koncepcyjnych Nordea (opartych na doświadczeniach z

rozbudowy PDC w 2008 roku i konstrukcji DRC) powstaje: Zabudowa zimnych korytarzy (sztywna):

6 rzędów, po 12 szaf w każdym rzędzie dukty kablowe na szczytach szaf i pomiędzy rzędami (np. połączenia

między węzłami klastrów) Przestrzeń pod dodatkowe 4 rzędy szaf (po 12 szaf w rzędzie) 2 rzędy dla urządzeń wolnostojących (12 punktów montażowych na rząd) Łącznie 12 rzędów po 12 punktów montażowych

Nowoczesna, wysokiej niezawodności architektura okablowania sieciowego oparta na koncepcji mieszanej: EoR, ToR, MDF (w oparciu o m.in. przełączniki sieciowe Cisco Nexus z extenderami)

W każdej szafie stosowane są PDU z monitoringiem (SNMP, Syslog, WWW) Wydzielone stanowiska testowe zasilania (naścienne w komorze serwerowni)

23 •2013-05-06




Specyfikacja nowego ośrodka PDC, c.d.: Moc gwarantowana na UPS dla komory IT = 798 kW, dwa modularne, nowoczesne

zasilacze UPS firmy Emerson Trinergy (99% sprawności wg producenta, PF bliski 1) Dedykowane zasilacze UPS Emerson/Chloride 80 NET do podtrzymania klimatyzacji

i odbiorów budynkowych 2 agregaty prądotwórcze SDMO o mocy 2 500 kVA każdy; zewnętrzny,

monitorowany zbiornik paliwa o pojemności 30 000 litrów Klimatyzacja oparta na rozwiązaniach firmy Emerson – freecooling, wysoka

efektywność energetyczna System CCTV, KD, BMS

24 •2013-05-06




Specyfikacja nowego ośrodka PDC, c.d.: Dedykowany posterunek ochrony Obsługa techniczna IBM on-site, łącznie 7 osób (3 zmiany) - wsparcie Nordea,

realizacja usług interwencyjnych i utrzymania obiektu wg ustalonego zakresu Dostęp dla IT Nordea: 24/7

Przeprowadzone zostają audyty: Wewnętrzne Nordea – pod kątem zgodności ze standardami Nordea w zakresie

zasad konstrukcji i eksploatacji ośrodków przetwarzania danych, w tym testy obciążeniowe przy współpracy z firmą Nixen (według metodyki testowej Uptime Institute)

Zewnętrzne – w tym testy integracyjne IBM

Testy integracyjne systemów nowego PDC oraz testy obciążeniowe (Nordea + Nixen) potwierdzają, że ośrodek spełnia wymagania dla poziomu niezawodności IBM Level 3+ (według klasyfikacji IBM)

25 •2013-05-06




Ciekawostki: Wsparcie systemu klimatyzacji dedykowanym algorytmem według koncepcji

Nordea, który pozwala zminimalizować koszt energii elektrycznej w okresie relokacji (niepełne obciążenie komory serwerowej)

Obecnie trwa relokacja do nowego PDC z lokalizacji rozbudowanej w 2008 roku („stare PDC”)

Po obciążeniu odbiorami IT spodziewamy się, że współczynnik PUE będzie równy 1,4 ;-) – projekt zakładał min.: 1,6

26 •2013-05-06




Kilka zdjęć z konstrukcji i obecnie

27 •2013-05-06





28 •2013-05-06





29 •2013-05-06





30 •2013-05-06





31 •2013-05-06



Budowa i rozbudowa Nordea Operation Centre, 2009-2013 rok

33 •2013-05-06



Budowa i rozbudowa Nordea Operation Centre, 2009-2013 rok

34 •2013-05-06



Budowa serwerowni centrali Nordea House Warsaw,2012 rok

36 •2013-05-06



Budowa serwerowni centrali Nordea House Warsaw,2012 rok

37 •2013-05-06



Dziękujemy

datacenter dynamics converged 2013. doświadczenia nordea w zakresie budowy i eksploatacji...

Technology