CloudFerro pomyślnie zakończyło migrację chmury ECMWF do Bolonii

CloudFerro dostarcza usługę hostingu chmury hybrydowej dla serwisów Climate Data Store (CDS) i Atmosphere Data Store (ADS) od 2017 roku. Umowa z ECMWF została przedłużona i zakłada podwojenie  pojemności infrastruktury dla usług chmurowych, do osiągnięcia wartości 7 PB pamięci masowej o wysokiej dostępności. Infrastruktura chmury prywatnej została fizycznie zainstalowana w siedzibie klienta, aby umożliwić szerokopasmową komunikację z lokalną infrastrukturą i spełnić rozszerzone wymagania bezpieczeństwa. Usługa jest świadczona w modelu pay-per-use „as a service” i jest w pełni obsługiwana i monitorowana przez CloudFerro.

Lokalna chmura prywatna jest bezpośrednio połączona z infrastrukturą przechowującą dane ECMWF, aby zapewnić szybki dostęp o dużej przepustowości do ogromnego repozytorium danych tej organizacji. Ciągłość obsługi jest utrzymana dzięki temu, że obie infrastruktury są zarządzane przez wspólny system chmurowy oparty na technologii OpenStack — wiodącym oprogramowaniu typu open source.

Głównym powodem migracji infrastruktury było wsparcie w realizacji strategii ECMWF polegającej na przeniesieniu całego centrum danych ECMWF do Bolonii, co oznaczało przeniesienie infrastruktury chmurowej dla serwisów CDS i ADS. Infrastruktura chmurowa została w całości przeniesiona do centrum danych w Bolonii w czerwcu 2022 r., a jej ostateczna gotowość operacyjna została osiągnięta w centrum danych w Bolonii w lipcu 2022 r.

Usługi migracyjne świadczone przez CloudFerro obejmowały budowę nowej, tymczasowej, zmniejszonej infrastruktury w Warszawie, zdalną replikację 3,5 PB danych, fizyczną relokację infrastruktury Reading z Warszawy do Bolonii, jej ponowną synchronizację do najnowszych danych, modernizację architektury infrastruktury zgodnie z najnowszymi najlepszymi praktykami, oraz finalnie przejście na nową produkcję. Do tej pory cały system powiększył się dwukrotnie w porównaniu z poprzednim. Warto zaznaczyć, że CloudFerro było pierwszym dostawcą ECMWF, który uruchomił usługi produkcyjne w centrum danych w Bolonii.

Jesteśmy zadowoleni z wyników procesu migracji dostarczonych przez firmę CloudFerro, która zapewniła kompleksową obsługę sprawnie i terminowo. Dzięki nowemu centrum danych, ECMWF zyskało zaawansowaną i wydajną infrastrukturę opartą na innowacyjnej i wysoce bezpiecznej technologii. Szybko zmieniające się środowisko wymaga zaawansowanych rozwiązań, które optymalizują cały ekosystem w celu zwiększenia wydajności. Nowa infrastruktura chmurowa nie tylko usprawnia cały serwis, ale także umożliwia nam dalszy rozwój.

 - mówi Angel Lopez Alos, Climate Store Manager z ECMWF

Każdego dnia użytkownicy CDS wykonują ponad 480 000 zapytań dotyczących danych, a dzienna ilość pobranych danych bardzo często przekracza 100 TB (źródło statystyk). Biorąc pod uwagę tak dużą skalę i złożony charakter serwisu CADS, migracja tej infrastruktury chmurowej i danych musiała zostać przeprowadzona w sposób bezpieczny i płynny, przy minimalnym spadku wydajności w całym procesie.

Migracja infrastruktury chmurowej jest zawsze wyzwaniem, nie mówiąc już o relokacji dużego i złożonego systemu za granicę, w niesprzyjających warunkach związanych z uwarunkowaniami po Brexicie i ograniczeniami związanymi z pandemią. Podczas całego procesu migracji udało nam się w pełni zachować ciągłość działania systemu i odpowiednio obsłużyć bieżące pozyskiwanie nowych danych. Istniejąca infrastruktura chmurowa dla Climate Data Store i Atmosphere Data Store obsługuje obecnie ponad 3,5 PB danych, a wprowadzone przez nas ulepszenia gwarantują znacznie wyższą wydajność i niezawodność usługi. – mówi Andrzej Stella-Sawicki, wiceprezes i Dyrektor Operacyjny CloudFerro.

Nasza współpraca z ECMWF przebiega bardzo efektywnie. Od ponad 5 lat budujemy relacje oparte na wzajemnym zaufaniu i profesjonalnym podejściu. Cieszymy się, że możemy kontynuować dostarczanie usług cloud computing dla ECMWF.

- dodaje Andrzej Stella-Sawicki

O Copernicus Climate and Atmosphere Data Stores:

CADS obejmuje Copernicus Climate and Atmosphere Data Stores – wysokowydajne, skalowalne, bezpłatne i otwarte usługi, które pozyskują dane klimatyczne i atmosferyczne oparte na szeregach czasowych, oraz umożliwiają ich analizę, agregację, przetwarzanie i dostarczanie. CADS jest sercem infrastruktury serwisów Copernicus Climate Change Service (C3S) i Copernicus Atmosphere Monitoring Service (CAMS). C3S i CAMS to dwie usługi operacyjne unijnego programu Copernicus.

https://cds.climate.copernicus.eu/#!/home

https://ads.atmosphere.copernicus.eu/#!/home

O Programie Copernicus i ECMWF

Copernicus jest elementem programu kosmicznego Unii Europejskiej, finansowanym przez UE, i jest jej sztandarowym programem obserwacji Ziemi, który działa w ramach sześciu usług tematycznych: Atmosfery, Morskiego, Lądowego, Zmiany klimatu, Bezpieczeństwa i Kryzysowego. Dostarcza otwarte dane operacyjne i usługi, dając użytkownikom dostęp do rzetelnych i aktualnych informacji związanych z naszą planetą i jej środowiskiem. Program jest koordynowany i zarządzany przez Komisję Europejską i realizowany we współpracy z państwami członkowskimi, Europejską Agencją Kosmiczną (ESA), Europejską Organizacją Eksploatacji Satelitów Meteorologicznych (EUMETSAT), Europejskim Centrum Prognoz Średnioterminowych ( ECMWF), agencjami UE, Mercator Océan i in.

Europejskie Centrum Prognoz Średnioterminowych (ECMWF) obsługuje dwa serwisy w ramach unijnego Programu Obserwacji Ziemi Copernicus: serwis monitorowania atmosfery Copernicus (CAMS) oraz serwis Copernicus w zakresie zmian klimatu (C3S). Dostarczają także informacje do serwisu zarządzania kryzysowego programu Copernicus (CEMS), który jest wdrażany przez unijne centrum badawcze Joint Research Centre (JRC).

ECMWF jest niezależną organizacją międzyrządową wspieraną przez 35 państw. Jest zarówno instytutem badawczym, jak i serwisem działającym 24 godziny na dobę, 7 dni w tygodniu, dostarczającym i rozpowszechniającym numeryczne prognozy pogody do państw członkowskich. Dane te są w pełni udostępniane krajowym służbom meteorologicznym w poszczególnych państwach członkowskich. Superkomputer (i powiązane z nim archiwum danych) w ECMWF jest jednym z największych tego typu w Europie, a państwa członkowskie mogą wykorzystywać 25% jego pojemności do własnych celów.

ECMWF umieścił swoją infrastrukturę w dodatkowych lokalizacjach na terenie państwach członkowskich w celu realizacji niektórych zadań. Oprócz głównej  siedziby w Wielkiej Brytanii i centrum obliczeniowego we Włoszech, organizacja ma także biuro w Bonn w Niemczech, gdzie prowadzi działania w partnerstwie z UE, jak np. te w ramach programu Copernicus.

Strona Copernicus Atmosphere Monitoring Service

Strona Copernicus Climate Change Service

Więcej informacji o programie Copernicus

Strona ECMWF