DATACENTER DYNAMICS CONVERGED 2013. Doświadczenia Nordea w zakresie budowy i eksploatacji...
-
Upload
robert-gronberski -
Category
Technology
-
view
157 -
download
1
description
Transcript of DATACENTER DYNAMICS CONVERGED 2013. Doświadczenia Nordea w zakresie budowy i eksploatacji...
www.datacenterdynamics.com
Doświadczenia Nordea w zakresie budowyi eksploatacji ośrodków przetwarzania danych
Rys historyczno-technologicznyz perspektywy zarządzania projektami
Robert Gronberski, Paweł Wawrzyniak / Nordea BP S.A.
www.datacenterdynamics.com
Omówione projekty / chronologia zdarzeń:
Rozbudowa „starego” PDC, 2008 rok
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Budowa „nowego” PDC, 2010-2012 rok
Inne większe projekty infrastrukturalne Nordea
Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok
Budowa serwerowni centrali Nordea House Warsaw, 2012 rok
www.datacenterdynamics.com
Rozbudowa „starego” PDC, 2008 rok
Zwiększone zapotrzebowanie Nordea na przestrzeń OPD (Ośrodków Przetwarzania Danych)
Konieczność sprawnej obsługi rejonu PL&BC: Polska Litwa Łotwa Estonia
Zapada decyzja o rozbudowie podstawowego OPD (tzw. „stare” PDC) Prace realizowane w ekspresowym tempie – na podstawie wcześniej przygotowanych w
Nordea projektów koncepcyjnych, firmy podwykonawcze otrzymują zlecenia na: Projekt techniczny i wykonanie rozbudowy systemów: zasilania gwarantowanego,
chłodzenia, okablowania strukturalnego Projekt techniczny i wykonanie wymaganego wzmocnienia konstrukcji budynku
Centrali
2013-05-063 • DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Rozbudowa „starego” PDC, 2008 rok
Po 3 miesiącach intensywnych prac, 1 października 2008 roku, dostępne są: Nowa, budynkowa stacja transformatorowa o mocy 800 kW Nowy agregat prądotwórczy o mocy 630 kVA oraz dodatkowe przyłącze agregatu
zapasowego, używanego w czasie prac serwisowych na podstawowym agregacie Dedykowane pomieszczenie dla centralnego systemu UPS o mocy 2x120 kVA
(2(N+1)) z możliwością rozbudowy do mocy 2x160 kVA (N+1) Dedykowane pomieszczenie butlowni systemu gaszenia gazem Inergen Dedykowane pomieszczenie RGNN (Rozdzielni Głównej Niskiego Napięcia)
wyposażone w najnowocześniejsze rozwiązania w roku 2008, w tym automatyczny układ SZR (Samoczynnego Załączania Rezerwy) oraz analizator jakości zasilania Eaton PowerXpert
Dodatkowa powierzchnia serwerowni: 100 m. kw., zabudowa zimnego korytarza (elastyczna - ColdBlox), nadmiarowy system klimatyzacji precyzyjnej (2N+1) pracujący w trybie rotacyjnym, wodoszczelny (i wygłuszający) sufit oraz podłoga podniesiona
4 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Rozbudowa „starego” PDC, 2008 rok
Po 3 miesiącach intensywnych prac, 1 października 2008 roku, dostępne są (c.d.): Wydzielone stanowisko testowe zasilania (przenośny szynoprzewód) System wczesnego wykrywania zadymienia VESDA System gaszenia gazem Inergen zintegrowany z budynkowym systemem ppoż. Budynkowy system KD i SSWiN (jak dla wszystkich pomieszczeń PDC) Dozór kamerami IP (serwerownie i pomieszczenia techniczne), CCTV (korytarze) Monitoring parametrów krytycznych ośrodka za pomocą systemów:
BMS – TAC/Vista (parametry zasilania RGNN, UPS, agregat, czujki temperatury/wilgotności, zalania)
NMS – SNMPc Enterprise Edition (obecnie 8.0) Wdrożenie systemu zarządzania infrastrukturą fizyczną OPD: DCPI (Data Centre
Physical Infrastructure Manager) Łączna powierzchnia PDC po rozbudowie: ok. 300 m. kw. (stare serwerownie i
nowa przestrzeń) Obiekt podlega ochronie budynkowej (jeden, wspólny posterunek dla całego
obiektu)
5 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Rozbudowa „starego” PDC, 2008 rok
Sukces: PDC otrzymuje status tymczasowego, podstawowego ośrodka przetwarzania danych do czasu znalezienia partnera do projektu budowy nowych OPD
Wykonany zostaje szereg audytów rozbudowanego PDC – w audycie firmy IBM ośrodek zostaje sklasyfikowany na poziomie odpowiadającym Tier II wg klasyfikacji Uptime Institute (IBM Level 2)
Nowa serwerownia rozbudowanego PDC, po obciążeniu odbiorami IT, osiąga PUE o wartości 1,7
6 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Rozbudowa „starego” PDC, 2008 rok
Kilka zdjęć z przebudowy i obecnie
2013-05-06DatacenterDynamics 2013 Warszawa7 •
www.datacenterdynamics.com
Rozbudowa „starego” PDC, 2008 rok
Systemy i narzędzia wspomagające
2013-05-06DatacenterDynamics 2013 Warszawa8 •
www.datacenterdynamics.com
Rozbudowa „starego” PDC, 2008 rok
Ciekawostki: Rozbudowa PDC w 2008 roku trwała 3 miesiące od momentu zatwierdzenia
projektów technicznych opracowanych na podstawie specyfikacji wymagań i projektów koncepcyjnych
Wszystkie prace odbyły się bezprzerwowo! Wyjątkiem było zaplanowane wyłączenie ośrodka związane z wymianą budynkowej stacji transformatorowej
Wnioski: Konieczność znalezienia partnera z doświadczeniem w budowie OPD IT Banku nie powinno prowadzić prac budowlanych, a wyłącznie definiować
wymagania dotyczące infrastruktury i poświęcać swój czas na egzekwowanie standardów od wykonawcy generalnego
W IT musi istnieć komórka merytoryczna odpowiedzialna za definicję standardów i kontrolę jakości prac podwykonawców w dziedzinie infrastruktury OPD
DRC będzie obiektem poddanym adaptacji
9 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Omówione projekty / chronologia zdarzeń:
Rozbudowa „starego” PDC, 2008 rok
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Budowa „nowego” PDC, 2010-2012 rok
Inne większe projekty infrastrukturalne Nordea
Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok
Budowa serwerowni centrali Nordea House Warsaw, 2012 rok
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Pojawia się potrzeba stworzenia profesjonalnego, zapasowego ośrodka przetwarzania danych – Disaster Recovery Centre, DRC
W toku procesu wyłaniania wykonawcy generalnego pojawia się wielu konkurencyjnych i profesjonalnych oferentów
Wybrana zostaje firma IBM Polska Na podstawie doświadczeń Nordea wynikających z rozbudowy PDC w 2008 roku,
powstaje specyfikacja funkcjonalna ośrodka przetwarzania danych oraz ustalony zostaje zakres projektu
Po ocenie ryzyka zostaje wybrana lokalizacja – obiekt mieszanego przeznaczenia, do adaptacji
IBM opracowuje techniczne projekty branżowe na podstawie wymagań Nordea (w tym na podstawie projektów koncepcyjnych) i przedstawia swoje propozycje do zatwierdzenia w Nordea
Ścisła kontrola Nordea pozwala IBM na realizację ustalonych wymagań i standardów
11 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Specyfikacja ośrodka DRC (700 m.kw. powierzchni całkowitej): 200 m.kw. przestrzeni komory serwerowej (z możliwością rozbudowy o dodatkowe
50 m.kw.) Według projektów koncepcyjnych Nordea (opartych na doświadczeniach z
rozbudowy PDC w 2008 roku) powstaje: Zabudowa zimnych korytarzy (sztywna):
4 rzędy, po 9 szaf w każdym rzędzie dukty kablowe na szczytach szaf i pomiędzy rzędami (np. połączenia
między węzłami klastrów) Centralny punkt dystrybucji połączeń – tzw. MDF (Main Distribution Frame)
Ponadto, komora serwerowni posiada: 2 krótsze rzędy dla urządzeń wolnostojących (duże serwery, macierze,
biblioteka taśmowa itp.) – każdy rząd składający się z 6-ciu punków montażowych
12 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Specyfikacja ośrodka DRC, c.d.: Zespół 3 zasilaczy UPS Emerson/Chloride 80 NET o mocy 150 kW z możliwością
łatwej rozbudowy (1 punkt montażowy) o 50 kW Dedykowany moduł UPS do podtrzymania klimatyzacji Dedykowany, mniejszy UPS do podtrzymania odbiorów budynkowych na
powierzchniach biurowych (sala BCP IT) o mocy 10 kW (Eaton) Agregat prądotwórczy o mocy 516 kW; zewnętrzny, monitorowany zbiornik paliwa Możliwość podłączenia zapasowego agregatu prądotwórczego w przypadku
serwisu lub awarii agregatu podstawowego (rozwiązanie z PDC 2008) Ze względu na nadmiarowość powierzchni serwerowej względem obecnie
dostępnej mocy – opracowano gotowe plany rozbudowy systemu zasilania, które można wdrożyć w przyszłości
System gaszenia gazem FM200 System CCTV, KD, BMS
13 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Specyfikacja ośrodka DRC, c.d.: Dedykowany posterunek ochrony Obsługa techniczna IBM on-site, początkowo 2 osoby (1 zmiana) – wsparcie
Nordea, realizacja usług interwencyjnych i utrzymania obiektu wg ustalonego zakresu
Dostęp dla IT Nordea: 24/7
Przeprowadzone zostają audyty: Wewnętrzne Nordea – pod kątem zgodności ze standardami Nordea w zakresie
zasad konstrukcji i eksploatacji ośrodków przetwarzania danych Zewnętrzne – w tym audyt firmy IBM, który określił poziom niezawodności ośrodka
jako: IBM Level 2 (zdaniem IBM odpowiednik Tier 2 wg klasyfikacji Uptime Institute)
14 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Ciekawostki: Standard niezawodności nowego DRC odpowiada standardowi ówczesnego PDC
(2008), co – jednocześnie – podnosi poprzeczkę, jeżeli chodzi o oczekiwania względem nowego PDC
Po obciążeniu odbiorami IT, DRC osiąga PUE = 1,6
15 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Kilka zdjęć z budowy i obecnych
2013-05-06DatacenterDynamics 2013 Warszawa16 •
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Kilka zdjęć z budowy i obecnych
2013-05-06DatacenterDynamics 2013 Warszawa17 •
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Kilka zdjęć z budowy i obecnych
2013-05-06DatacenterDynamics 2013 Warszawa18 •
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Kilka zdjęć z budowy i obecnych
2013-05-06DatacenterDynamics 2013 Warszawa19 •
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Wnioski: Nowe PDC musi zostać wybudowane „od zera” – obiekt dedykowany pod ośrodek
przetwarzania danych Standard niezawodności musi zostać podwyższony (więcej niż IBM Level 2) – na
podstawie wniosków z audytów „resilience”
20 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Omówione projekty / chronologia zdarzeń:
Rozbudowa „starego” PDC, 2008 rok
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Budowa „nowego” PDC, 2010-2012 rok
Inne większe projekty infrastrukturalne Nordea
Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok
Budowa serwerowni centrali Nordea House Warsaw, 2012 rok
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Zgodnie z planami rozwoju infrastruktury ośrodków przetwarzania danych w Nordea, konsekwentnie realizowany jest projekt konstrukcji nowego PDC
W toku procesu wyłaniania wykonawcy generalnego pojawia się wielu konkurencyjnych i profesjonalnych oferentów
Wybrana zostaje firma IBM Polska – która już zdążyła wyrobić sobie odpowiednią markę w Nordea (projekt DRC)
Umowa zostaje podpisana w 2010 roku Na podstawie dotychczasowych doświadczeń obydwu partnerów i wiedzy IBM na
temat standardów obowiązujących w Nordea, zdefiniowane zostają wymagania funkcjonalne i opracowane zostają projekty koncepcyjne
IBM opracowuje techniczne projekty branżowe i przedstawia swoje propozycje do zatwierdzenia w Nordea
Ścisła kontrola Nordea pozwala IBM na realizację ustalonych wymagań i standardów
22 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Specyfikacja nowego ośrodka PDC: 500 m.kw. przestrzeni komory serwerowej, zabezpieczonej komorą AST Według projektów koncepcyjnych Nordea (opartych na doświadczeniach z
rozbudowy PDC w 2008 roku i konstrukcji DRC) powstaje: Zabudowa zimnych korytarzy (sztywna):
6 rzędów, po 12 szaf w każdym rzędzie dukty kablowe na szczytach szaf i pomiędzy rzędami (np. połączenia
między węzłami klastrów) Przestrzeń pod dodatkowe 4 rzędy szaf (po 12 szaf w rzędzie) 2 rzędy dla urządzeń wolnostojących (12 punktów montażowych na rząd) Łącznie 12 rzędów po 12 punktów montażowych
Nowoczesna, wysokiej niezawodności architektura okablowania sieciowego oparta na koncepcji mieszanej: EoR, ToR, MDF (w oparciu o m.in. przełączniki sieciowe Cisco Nexus z extenderami)
W każdej szafie stosowane są PDU z monitoringiem (SNMP, Syslog, WWW) Wydzielone stanowiska testowe zasilania (naścienne w komorze serwerowni)
23 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Specyfikacja nowego ośrodka PDC, c.d.: Moc gwarantowana na UPS dla komory IT = 798 kW, dwa modularne, nowoczesne
zasilacze UPS firmy Emerson Trinergy (99% sprawności wg producenta, PF bliski 1) Dedykowane zasilacze UPS Emerson/Chloride 80 NET do podtrzymania klimatyzacji
i odbiorów budynkowych 2 agregaty prądotwórcze SDMO o mocy 2 500 kVA każdy; zewnętrzny,
monitorowany zbiornik paliwa o pojemności 30 000 litrów Klimatyzacja oparta na rozwiązaniach firmy Emerson – freecooling, wysoka
efektywność energetyczna System CCTV, KD, BMS
24 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Specyfikacja nowego ośrodka PDC, c.d.: Dedykowany posterunek ochrony Obsługa techniczna IBM on-site, łącznie 7 osób (3 zmiany) - wsparcie Nordea,
realizacja usług interwencyjnych i utrzymania obiektu wg ustalonego zakresu Dostęp dla IT Nordea: 24/7
Przeprowadzone zostają audyty: Wewnętrzne Nordea – pod kątem zgodności ze standardami Nordea w zakresie
zasad konstrukcji i eksploatacji ośrodków przetwarzania danych, w tym testy obciążeniowe przy współpracy z firmą Nixen (według metodyki testowej Uptime Institute)
Zewnętrzne – w tym testy integracyjne IBM
Testy integracyjne systemów nowego PDC oraz testy obciążeniowe (Nordea + Nixen) potwierdzają, że ośrodek spełnia wymagania dla poziomu niezawodności IBM Level 3+ (według klasyfikacji IBM)
25 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Ciekawostki: Wsparcie systemu klimatyzacji dedykowanym algorytmem według koncepcji
Nordea, który pozwala zminimalizować koszt energii elektrycznej w okresie relokacji (niepełne obciążenie komory serwerowej)
Obecnie trwa relokacja do nowego PDC z lokalizacji rozbudowanej w 2008 roku („stare PDC”)
Po obciążeniu odbiorami IT spodziewamy się, że współczynnik PUE będzie równy 1,4 ;-) – projekt zakładał min.: 1,6
26 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Kilka zdjęć z konstrukcji i obecnie
27 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Kilka zdjęć z konstrukcji i obecnie
28 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Kilka zdjęć z konstrukcji i obecnie
29 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Kilka zdjęć z konstrukcji i obecnie
30 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Kilka zdjęć z konstrukcji i obecnie
31 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Omówione projekty / chronologia zdarzeń:
Rozbudowa „starego” PDC, 2008 rok
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Budowa „nowego” PDC, 2010-2012 rok
Inne większe projekty infrastrukturalne Nordea
Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok
Budowa serwerowni centrali Nordea House Warsaw, 2012 rok
www.datacenterdynamics.com
Budowa i rozbudowa Nordea Operation Centre, 2009-2013 rok
33 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa i rozbudowa Nordea Operation Centre, 2009-2013 rok
34 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Omówione projekty / chronologia zdarzeń:
Rozbudowa „starego” PDC, 2008 rok
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Budowa „nowego” PDC, 2010-2012 rok
Inne większe projekty infrastrukturalne Nordea
Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok
Budowa serwerowni centrali Nordea House Warsaw, 2012 rok
www.datacenterdynamics.com
Budowa serwerowni centrali Nordea House Warsaw,2012 rok
36 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa serwerowni centrali Nordea House Warsaw,2012 rok
37 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Dziękujemy