Copernicus CLIMATE DATA STORE

Klient

Europejskie Centrum Prognoz Średnioterminowych (ECMWF) jest zarówno międzynarodowym instytutem badawczym, jak i całodobową służbą operacyjną zapewniającą numeryczne prognozy pogody i zarządzającą jednym z największych zestawów danych klimatycznych na świecie. ECMWF obsługuje dużą infrastrukturę informatyczną, w tym jeden z najszybszych superkomputerów na świecie oraz archiwum dużych zbiorów danych, liczących kilkaset petabajtów.

Wyzwanie

Komisja Europejska powierzyła ECMWF budowę i obsługę Copernicus Climate Data Store (CDS) - systemu rozproszonego, który zapewnia dostęp do podstawowych zmiennych klimatycznych (ECV), analiz klimatu, prognoz i wskaźników w skalach czasowych i przestrzennych, istotnych dla adaptacji i łagodzenia strategi dla różnych sektorowych i społecznych obszarów korzyści. Głównym wyzwaniem technicznym tego projektu było zapewnienie wysokiej wydajności i skalowalnej usługi, która skutecznie pobierałaby dane klimatyczne oparte na szeregach czasowych z archiwum taśm liczących 180 PB i udostępniała je do analizy, agregacji, przetwarzania i dostarczania do szybko rozwijającej się społeczności użytkowników.

Zgodnie z europejską strategią przetwarzania w chmurze przyjętą przez KE i biorąc pod uwagę ogromne ilości danych już przechowywanych w siedzibie ECMWF, Centrum szukało rozwiązania chmury hybrydowej – składającego się z w pełni zarządzanej chmury prywatnej zlokalizowanej na terenie centrum oraz usługi chmury publiczne,j umożliwiając łatwe skalowanie infrastruktury chmury hybrydowej w fazie wraz ze wzrostem wykorzystania CDS.

Rozwiązanie chmurowe miało również obsługiwać CDS-Toolbox, umożliwiając jego niezawodne i elastyczne działanie, rozwój i skalowanie w wielu środowiskach (produkcja, programowanie, testowanie i integracja). CDS-Toolbox jest w ciągłym rozwoju i wymaga, aby podstawowa chmura była wystarczająco elastyczna, aby skalować i dostosowywać się do ewentualnych zmian.

Rozwiązanie

CDS Hybrid Cloud składa się z dwóch komponentów-lokalnej chmury prywatnej, która jest bezpośrednio podłączona do infrastruktury pamięci masowej ECMWF, aby zapewnić szybki dostęp do ogromnych danych Centrum i zdalnej chmury publicznej CloudFerro, której można użyć do obciążeń. Obie infrastruktury zarządzane są przez wspólny system chmurowy oparty na OpenStack-wiodącym oprogramowaniu opensource do budowania systemów chmurowych, dzięki czemu obsługa każdej z chmur jest bezproblemowa.

OpenStack zapewnia bogatą funkcjonalność, wysoką dojrzałość i dynamiczną społeczność programistów. CDS Clouds Hybrid oferuje wszystkie ważne usługi OpenStack, w tym uwierzytelnianie, przetwarzanie, przechowywanie, tworzenie sieci, organizację i katalog aplikacji. Chmurę OpenStack uzupełnia w pełni zintegrowany, zunifikowany i rozproszony system pamięci masowej oparty na Ceph.

System pamięci masowej oferuje usługi przechowywania bloków i obiektów w warstwie normalnej (HDD) i wysokowydajnej (SSD), potrójnej, przejrzystej replikacji danych, o elastycznym udostępnianiu, skalowaniu on-line i wysokiej dostępności. Jego głównym zastosowaniem jest działanie jako warstwa szybkiego dostępu do pamięci podręcznej dla danych pobranych z archiwum taśm. Zastosowanie takiej niedrogiej pamięci podręcznej opartej na dyskach, zapewnia ogromny wzrost wydajności w stosunku do archiwum taśm, które są szczególnie nieskuteczne w przypadku pobierania szeregów czasowych.

Zalety CDS Hybrid Cloud

CDS Hybrid Cloud jest w pełni skonfigurowany ze wstępnie zdefiniowanymi wariantami maszyny wirtualnej, różnymi obrazami systemu operacyjnego, predefiniowaną konfiguracją sieci zewnętrznej, rozliczaniem i monitorowaniem. CDS Hybrid Cloud został podłączony do infrastruktury LAN ECMWF przy użyciu interfejsów 40 Gb / s zgodnie z regułami dostępu określonymi przez klienta.

Chmura hybrydowa CDS zapewnia elastyczne mechanizmy zapewniania zasobów i zarządzania regułami dostępu w różnych środowiskach wirtualnych, które współużytkują infrastrukturę sprzętową. Na poziomie logicznym środowiska te są całkowicie oddzielne, z niezależnymi przestrzeniami adresów IP, sieciami, użytkownikami i innymi przestrzeniami nazw. System zarządzania dostępem pozwala konfigurować elastyczne reguły dostępu do różnych środowisk. Zintegrowane mechanizmy księgowe mogą być wykorzystane do zarządzania wykorzystaniem zasobów.

CDS Hybrid Cloud jest w pełni zarządzany przez pracowników CloudFerro. Administracja systemami, operacje monitorowania i zarządzania są obsługiwane zdalnie z biur CloudFerro przy użyciu bezpiecznej łączności VPN. Zadania wymagające fizycznej interwencji w chmurze lokalnej, takie jak modernizacja sprzętu lub konserwacja, są obsługiwane w trybie "zdalnych rąk", wdrożonych w siedzibie klienta. Podczas projektu CloudFerro zapewniło również szeroką gamę profesjonalnych usług, współpracując z klientem, aby zapewnić płynne i wydajne wdrażanie aplikacji CDS w chmurze.

CDS Hybrid Cloud zapewnia wysoką dostępność usług dzięki wykorzystaniu redundancji i replikacji we wszystkich ważnych komponentach systemu, w tym kontrolerach chmur, sieciach i serwerach pamięci. Wszystkie funkcje chmury są dostępne z portalu internetowego (Horizon Dashboard) i za pośrednictwem standardowych, udokumentowanych interfejsów API, co pozwala na łatwą automatyzację i integrację z innymi systemami.

Zasoby CDS Hybrid Cloud są zorganizowane w dwóch strefach-lokalnej i zdalnej. Obie strefy są administrowane za pomocą jednego interfejsu, dzięki czemu użytkownicy mogą wybrać lokalizację swoich zasobów. Aby odzwierciedlić hybrydowy charakter chmury hybrydowej CDS, zapewniamy osobne metody rozliczeń i skalowania dla obu stref. Strefa lokalna jest rozliczana na podstawie ilości zasobów zainstalowanych lokalnie. Jego zasoby można skalować w ciągu kilku tygodni, instalując dodatkowy sprzęt. Strefa zdalna korzysta z infrastruktury CloudFerro DC i jest rozliczana według wykorzystania zasobów wirtualnych.

Podsumowanie

Chmura CDS zaczęła się od 840 vCores, 6,78 TB pamięci RAM i 1 PB pamięci dyskowej i z powodzeniem powiększyła się do 1680 vCores, 8,51 TB pamięci RAM i 3,89 PB pamięci dyskowej w ciągu kilku lat. Codziennie wytwarza ponad 40 TB danych klimatycznych, bezpośrednio obsługując społeczność ponad 30 000 użytkowników i pomagając poprawić przyszłość 7,8 miliarda osobom.