Telefon: +48 22 354 65 73
Europejska platforma do przetwarzania danych Obserwacji Ziemi
CREODIAS to publiczna chmura obliczeniowa ze zintegrowanym repozytorium zdjęć satelitarnych, wyposażona w gamę aplikacji pozwalających użytkownikom na wyszukiwanie, przeglądanie i przetwarzanie produktów pochodzenia satelitarnego. Architektura środowiska daje użytkownikom dostęp do zróżnicowanych danych teledetekcyjnych i zasobów obliczeniowych do przetwarzania ich, gwarantując prostotę, skalowalność oraz powtarzalność procesów i łańcuchów produkcji.
W 2017 roku Europejska Agencja Kosmiczna (ESA - European Space Agency) - międzynarodowa organizacja 22 państw europejskich, której celem jest eksploracja i wykorzystanie przestrzeni kosmicznej - na zlecenie Komisji Europejskiej, podpisała kontrakty na budowę platform DIAS, w ramach programu Copernicus.
Copernicus to europejski program na rzecz tworzenia i wykorzystania europejskich danych obserwacji Ziemi. Podstawowym założeniem tej inicjatywy jest powszechna dostępność, otwartość i nieodpłatność tych danych. Dostęp do dużych zbiorów zdjęć satelitarnych otwiera nowe możliwości oraz stawia nieznane wcześniej wyzwania przed potencjalnymi zainteresowanymi. Procesy produkcyjne, tworzone w oparciu o produkty programu Copernicus, nie były dotychczas dostępne dla wielu podmiotów ze względu na wymagania infrastrukturalne, wysokie koszty finansowe oraz osobowe i dużą zasobochłonność procesów przetwarzania danych.
Przewidując i przeciwdziałając wspomnianym wyzwaniom i przeszkodom, Komisja Europejska zleciła budowę środowisk określanych jako C-DIAS - Copernicus Data and Information Access Services, mając na celu ułatwienie dostępu do danych i ich wykorzystania w procesach produkcyjnych zróżnicowanych podmiotów. Tym samym został zmniejszony lub całkowicie wyeliminowany infrastrukturalny i technologiczny próg wejścia dla zainteresowanych jednostek. CloudFerro, jako kluczowy udziałowiec konsorcjum, zostało wybrane by zbudowało oraz obsługiwało jedno z tych środowisk DIAS, które zostało nazwane CREODIAS.
Czym jest CREODIAS
CREODIAS to platforma korzystająca z rozwiązań big data, zaprojektowana pod kątem przechowywania oraz przetwarzania danych obserwacji Ziemi, z wykorzystaniem repozytorium zdjęć satelitarnych i gamy dedykowanych rozwiązań IaaS (Infrastructure as a Service). Dane obserwacji Ziemi przechowywane na platformie są otwarte, publicznie dostępne oraz darmowe, tak jak narzędzia do ich wyszukiwania i przeglądania. Bardziej zaawansowane operacje mogą wymagać rejestracji.
Podstawowym założeniem platformy CREODIAS jest zmniejszenie wymagań, jakie stoją przed wszystkimi podmiotami starającymi się o wykorzystanie danych satelitarnych w swoich produktach i usługach. Wymagania finansowe, sieciowe, infrastrukturalne oraz osobowe stojące przed większością podmiotów, skutecznie odstraszały. Środowisko łączące infrastrukturę obliczeniową, zbiory danych oraz odpowiednie narzędzia, pozwala na włączanie danych teledetekcyjnych lub ich pochodnych w łańcuchy produkcyjne za ułamek wcześniejszych kosztów.
Zakończone sukcesem uruchomienie platformy przez Clouderro zaowocowało:
- Stworzeniem kanału łatwego dostępu do danych satelitarnych
- Stworzeniem zbioru danych, w oparciu o rozwiązania "open source", kolekcjonujące oraz indeksujące zdjęcia satelitarne
- Środowiskiem pozwalającym na tanie, łatwo powtarzalne tworzenie oraz skalowanie procesów produkcyjnych
- Zebraniem doświadczonego i zaangażowanego zespołu, pomagającego użytkownikom poprzez panel obsługi klienta
- Intergacją rosnącej ilości aplikacji i produktów zewnętrznych w środowisku, a tym samym rozszerzeniem funkcjonalności dostępnej dla użytkowników
Architektura
CloudFerro opracowało następujące podstawowe aplikacje, będące kamieniami milowymi w procesie wyszukiwania i doboru produktów obserwacji Ziemi, zmniejszając tym samym nakład pracy wymagany przy włączeniu tych danych do procesu produkcyjnego.
- CREODIAS Portal - strona główna środowiska, łącząca zarządzanie kontem z bazą wiedzy, kanałami komunikacji i wsparciem obsługi klienta
- Horizon Dashboard - serwis graficzny w technologii OpenStack, pozwalający na zarządzanie zasobami użytkownika
- CREODIAS Finder - zaawansowana wyszukiwarka produktów obserwacji Ziemi, oferująca interfejs graficzny oraz API
- CREODIAS Browser - uproszczone narzędzie wizualizujące zdjęcia satelitarne na różnych poziomach przetwarzania, pozwalające na wyszukiwanie przy użyciu SPRAQL oraz wyszukiwanie semantyczne
- CREODIAS Jupyter Notebooks - środowisko obliczeniowe on-line, dostępne z poziomu przeglądarki internetowej, z pełnym dostępem do repozytorium danych satelitarnych. Notebooki stanowią idealne narzędzie do badania i prototypowania nowych rozwiązań. Dostępne dla wszystkich zarejestrowanych użytkowników CREODIASA, bez dodatkowych opłat. Oferuje wsparcie dla wielu języków programowania.
Aplikacje zewnętrzne - tworzone i zarządzane przez podmioty niezwiązane z CloudFerro - stanowią uzupełnienie funkcjonalności środowiska CREODIAS. W przypadku, gdy wymagania użytkownika są wyjątkowo nietypowe i skomplikowane, a nie ma on zasobów by im sprostać własnymi siłami, rozwiązanie może polegać na wykorzystaniu funkcjonalności zapewnianych przez takie serwisy. Oferta platformy CREODIAS w zakresie współpracy z dostawcami danych, usług i produktów jest nieustannie rozwijana. W fazie planowania jest sklep, który stałby się płaszczyzną wymiany usług, zbliżającą do siebie twórców i użytkowników.
Infrastruktura chmurowa, działająca na potrzeby platformy CREODIAS, wykorzystuje oprogramowanie OpenStack, na którego architekturę składa się wiele współdziałających modułów, odpowiadających za kontrolowanie zasobów procesorowych, pamięci oraz infrastruktury sieciowej. Użytkownicy mogą zarządzać swoimi zasobami poprzez portal Horizon ze wsparciem graficznym lub przez interface sieciowy REST. Infrastruktura i serwisy zostały zoptymalizowane pod kątem przetwarzania i pracy z danymi satelitarnymi. Optymalizacja przewiduje również wsparcie działania aplikacji zewnętrznych.
Dostęp do repozytorium danych satelitarnych jest możliwy z wykorzystaniem wielu rozwiązań, między innymi przy użyciu interfejsu obiektowego S3, zgodnego ze standardem Amazon S3, przy użyciu REST API lub technologii dostępu POSIX. Rozwiązania służące przeglądaniu oraz wyszukiwaniu danych są integralną częścią platformy i są dostępne w ramach serwisów CREODIAS Browser oraz Finder.
Kolekcja danych satelitarnych w środowisku CREODIAS zawiera większość dostępnych produktów pochodzących z satelitów z rodziny Sentinel - tworzonych i obsługiwanych przez ESA. Dodatkowo, dostępne są historyczne archiwa LANDSAT 5, 7 i 8 oraz ENVISAT/MERIS. Kolekcje czterech serwisów wyspecjalizowanych programu Copernicus - Atmosfera, Zarządzanie kryzysowe, Oceanologia i Ląd - są również w całości przechowywane w środowisku CREODIAS.