CloudFerro wspiera europejski projekt Destination Earth

10 czerwca wystartował unijny system Destination Earth, którego celem jest modelowanie i monitorowanie naszej planety oraz symulowanie zjawisk naturalnych z niespotykaną dotąd dokładnością. CloudFerro dostarcza kluczowy element systemu – Data Lake, ogromne repozytorium danych, które jest podstawą Destination Earth, zarządzanego przez EUMETSAT. Data Lake ma stworzyć bazę do federacji różnych przestrzeni danych, zapewniając skalowalność oraz usługi przetwarzania i przechowywania w chmurze w pobliżu danych systemu Destination Earth.   

Destination Earth (DestinE) to sztandarowa inicjatywa Komisji Europejskiej realizowana wraz z jej organizacjami partnerskimi - EUMETSAT, Europejską Organizacją Eksploatacji Satelitów Meteorologicznych, ESA, Europejską Agencją Kosmiczną i ECMWF, Europejskim Centrum Prognoz Średnioterminowych. Jej długofalowym celem jest opracowanie cyfrowej repliki Ziemi, która umożliwi modelowanie wszystkich elementów systemu Ziemi z niespotykaną dotąd dokładnością. Posłuży ona do monitorowania zjawisk naturalnych i skutków działań człowieka, przewidywania zjawisk pogodowych i klimatycznych, a także do testowania scenariuszy dla bardziej zrównoważonego rozwoju naszej planety. System został oficjalnie uruchomiony 10 czerwca podczas wydarzenia Grand Opening w Kajaani w Finlandii.

System DestinE składa się z trzech kluczowych elementów: platformy Core Service Platform obsługiwanej przez ESA, Cyfrowych Bliźniaków Ziemi (Digital Twins) zarządzanych przez ECMWF, oraz repozytorium DestinE Data Lake zarządzanego przez EUMETSAT. To właśnie Data Lake stanowi kluczowy element całego systemu Destination Earth. Oparte na wielochmurowej infrastrukturze repozytorium zostało zaprojektowane w celu zapewnienia płynnego dostępu do wszystkich danych zawartych w portfolio danych Destination Earth.  Będzie ono dostępne z dużej liczby zewnętrznych przestrzeni danych (data spaces), Cyfrowych Bliźniaków i aplikacji znajdujących się na platformie DestinE Core Service Platform, niezależnie od typu i lokalizacji danych. Oprócz danych pochodzących z Cyfrowych Bliźniaków, w Data Lake będą także przechowywane dane z własnych systemów satelitarnych obserwacji Ziemi EUMETSAT, dane pochodzące z misji ESA, europejskich satelitów Copernicus Sentinel, dane ECMWF i inne dane pochodzące od wybranych europejskich dostawców.

Środowisko chmurowe Data Lake, dostarczane i obsługiwane przez polskie CloudFerro, jest przeznaczone do przechowywania ponad kilkudziesięciu PB danych. Będą one przechowywane w prywatnych chmurach obliczeniowych zlokalizowanych w centrach danych w całej Europie: Kajaani w Finlandii, Bolonii we Włoszech, Barcelonie w Hiszpanii, Darmstadt w Niemczech, oraz w lokalizacji centralnej w Warszawie. W tych lokalizacjach znajdują się również potężne superkomputery zbudowane w ramach programu EuroHPC, które biorą udział w modelowaniu cyfrowym, zapewniając ogromną moc obliczeniową niezbędną do tego typu przetworzeń. Superkomputery HPC będą przetwarzać modele  stworzone w ramach komponentu Cyfrowych Bliźniaków, a wyniki tych analiz będą przekazywane do repozytorium Data Lake.  

EUMETSAT zlecił firmie CloudFerro, jako głównemu wykonawcy, koordynację projektu Data Lake i dostarczenie infrastruktury chmurowej (w modelu IaaS Infrastruktura-jako-Usługa i PaaS Platforma-jako-Usługa), która obejmuje ponad 60 petabajtów pamięci masowej i ponad 23 500 procesorów (CPU). W ramach projektu, firma dostarcza również usługi przetwarzania dużych zbiorów danych, w tym przetwarzania rozproszonego i przepływów pracy, a także usługi utrzymania i wsparcia.

CloudFerro współpracuje z dwoma europejskimi partnerami - CS Group, który odpowiada za obszar dostępu do zgromadzonych danych, oraz EODC, który jest odpowiedzialny za przetwarzanie wielkich zbiorów danych. W projekcie Data Lake wdrożono też zharmonizowany dostęp do danych (HDA), aby uprościć wyszukiwanie danych i dostęp Cyfrowych Bliźniaków zarządzanych przez ECMWF (dwa pierwsze bliźniaki to „Extreme Weather” dotyczący nagłych ekstremalnych zjawisk pogodowych i „Climate Change Adaptation” w zakresie adaptacji do zmian klimatu), do zewnętrznych sfederowanych przestrzeni danych umożliwiających wykorzystanie wielu publicznych źródeł danych wspieranych przez UE, oraz do danych generowanych przez użytkowników.

Inicjatywa Destintation Earth jest częścią programu Komisji Europejskiej „Cyfrowa Europa”. Jest również wspierana przez program finansowania nauki „Horyzont Europa” oraz inne europejskie i krajowe inicjatywy w dziedzinie badań naukowych i innowacji. Na chwilę obecną system adresowany jest do użytkowników z sektora publicznego, a w przyszłości, będzie służyć również naukowcom, badaczom, sektorowi prywatnemu i ogółowi społeczeństwa. Pełne wdrożenie systemu ma nastąpić w ciągu 7-10 lat.