CloudFerro w projekcie EMERALD
CloudFerro realizuje horyzontowy projekt EMERALD, który utoruje drogę do stworzenia Certyfikacji jako Usługi (CaaS) dla ciągłej certyfikacji zharmonizowanych systemów cyberbezpieczeństwa.
Innowacyjna platforma testowa dedykowana danym satelitarnym
EO IPT to projekt mający na celu zbadanie możliwości wykorzystania technologii "big data" w chmurze obliczeniowej, dedykowanej przetwarzaniu danych obserwacji Ziemi, oraz analizę odpowiadającego modelu biznesowego.
Europejska Agencja Kosmiczna (ESA - European Space Agency) to międzynarodowa organizacja 22 państw europejskich, której celem jest eksploracja i wykorzystanie przestrzeni kosmicznej. W 2014 roku ESA rozpoznała potrzebę opracowania nowego modelu dystrybucji danych satelitarnych dostarczanych przez liczne inicjatywy programu Copernicus, zwłaszcza satelity z rodziny "Sentinel" oraz ich pochodne. Ówczesna koncepcja przetrzymywania i udostępniania danych przewidywała ściąganie i przetwarzanie potrzebnych danych przy użyciu infrastruktury użytkowników. Rozwiązanie to przestaje być wydajne, gdy ilość pobieranych danych przekracza osiągalną przepustowość łącza oraz zasoby obliczeniowe posiadane przez potencjalnych użytkowników.
W odpowiedzi na wyzwania związane z transferem wielkich ilości danych i ich przetwarzaniem, ESA przygotowała strategię rozwoju naziemnej infrastruktury obsługującej produkty satelitarne (Earth Observation Ground Segment Evolution Strategy). Pierwsze rozwojowe platformy testowe zostały zainicjowane pod nazwą TEP (Thematic Exploitation Platform) i miały na celu przetestowanie dostępnych rozwiązań technologicznych oraz modeli działania pod kątem przetwarzania danych obserwacji Ziemi, w różnych obszarach zastosowań.
Następstwem opisanych powyżej aktywności było rozpisanie konkursu na zaprojektowanie, zbudowanie i obsługę innowacyjnej platformy, pozwalającej na zbadanie zdolności ówcześnie dostępnej technologii chmur obliczeniowych do obsługi procesów produkcyjnych wykorzystujących dane obserwacji ziemi. CloudFerro, jako kluczowy udziałowiec konsorcjum, zostało wybrane do realizacji projektu EO IPT.
Projekt EO IPT stanowił odpowiedź na pytania dotyczące optymalnego modelu funkcjonowania oraz gotowości rynku chmur obliczeniowych do obsługi danych teledetekcyjnych-w szczególności pochodzenia satelitarnego-oraz środowisk do ich przetwarzania. Opracowany został nowy paradygmat wyszukiwania, pobierania i przetwarzania produktów satelitarnych. Środowisko stworzone przez CloudFerro skumulowało ponad 5000 TB (5 PB) danych pochodzących głównie z działalności satelitów z rodzin Sentinel oraz Landsat, oraz produktów pochodnych. Dzięki stworzeniu, w ramach jednego środowiska, infrastruktury składającej się z ponad 1500 rdzeni wirtualnych, 7TB pamięci operacyjnej RAM i 500TB dedykowanej pamięci na dyskach, przetwarzanie zebranych danych stało się możliwe dla wielu podmiotów.
Osiągnięcie założonych przez ESA celów wymagało stworzenia, dalszego rozwoju i utrzymywania wydajnego, elastycznego i zdolnego obsługiwać petabajty danych repozytorium danych z obserwacji Ziemi. Takie repozytorium musiało być skalowalne, niezależnie od okoliczności, aby pomieścić wymagane zestawy danych. W wyniku analizy dostępnych rozwiązań, technologia CEPH (programowo definiowalne przechowywanie, SDS - software defined storage) została wybrana jako podstawowe narzędzie dostępu do danych. Mając na celu zwiększenie możliwości użytkowników, aby tworzyć zaawansowane łańcuchy produkcyjne, zbiór danych został uzupełniony o dedykowaną chmurę obliczeniową (maszyny wirtualne, dyski SSD i HDD, sieci wirtualne, zapory ogniowe). Infrastruktura została podłączona do stabilnego, redundantnego, szerokopasmowego łącza.
Mając na celu zwiększenie wydajności i komfortu działania użytkowników korzystających z danych satelitarnych, przykładowe przetwarzania danych zostały opracowane lub wybrane i włączone do środowiska EO IPT, razem z zestawem dedykowanych narzędzi, np. Sentinel Toolbox.
W procesie projektowania platformy, by zachować maksymalną dostępność i użyteczność platformy, zespół CloudFerro zdecydował się na wykorzystanie oprogramowania OpenStack do wirtualizacji i zarządzania zasobami. OpenStack to oprogramowanie chmurowe "open source", zaprojektowane do zarządzania dużymi zbiorami danych, komponentami obliczeniowymi i sieciowymi.
Infrastruktura stworzona na potrzeby EO IPT składała się z licznych modułów OpenStack'a, w tym następujących:
odpowiadający za autoryzację użytkowników platformy we wszystkich serwisach
za pomocą, którego użytkownicy zarządzają zasobami chmurowymi
moduł zarządzający pamięcią obiektową. Zapewnia skalowalne, redundantne rozwiązanie dla całej chmury
moduł zarządzający pamięcią masową
moduł zarządzający maszynami fizycznymi (tzw. baremetal)
moduł odpowiadający za orkiestracje systemów i wprowadzanie zmian
W wyniku implementacji innowacyjnej platformy testowej danych obserwacji Ziemi EO IPT, osiągnięte zostały następujące efekty:
EO IPT stało się kamieniem milowym w procesie badania i rozwoju strategii utrzymania, obsługi i udostępniania danych obserwacji Ziemi oraz ich pochodnych, w środowisku serwisów chmurowych. Sukces osiągnięty w projekcie znacząco wsparł ESA oraz program Copernicus w działaniach na rzecz przyszłego wykorzystania zdjęć satelitarnych. Działanie platformy pozwoliło wszystkim zaangażowanym stronom zebrać cenne doświadczenie i wiedzę dotyczącą adresowania ówczesnych i przyszłych wyzwań stojących przed branżą.
Odpowiemy na wszystkie pytania tak szybko, jak to możliwe.