Telefon: +48 22 354 65 73
Zapewnienie łatwego dostępu do danych satelitarnych wraz z infrastrukturą obliczeniową
CREODIAS to publiczna chmura obliczeniowa ze zintegrowanym repozytorium zdjęć satelitarnych, wyposażona w gamę aplikacji pozwalających użytkownikom na wyszukiwanie, przeglądanie i przetwarzanie produktów pochodzenia satelitarnego. Architektura środowiska daje użytkownikom dostęp do zróżnicowanych danych teledetekcyjnych i zasobów obliczeniowych do przetwarzania ich, gwarantując prostotę, skalowalność oraz powtarzalność procesów i łańcuchów produkcji.
W 2017 roku Europejska Agencja Kosmiczna (ESA - European Space Agency) - międzynarodowa organizacja 22 państw europejskich której celem jest eksploracja i wykorzystanie przestrzeni kosmicznej - na zleceni Komisji Europejskiej, podpisała kontrakty na budowę platform DIAS, w ramach programu Copernicus, Copernicus to europejski program na rzecz tworzenia i wykorzystania europejskich danych obserwacji ziemi. Podstawowym założeniem tej inicjatywy jest powszechna dostępność, otwartość i nieodpłatność tych danych. Dostęp do dużych zbiorów zdjęć satelitarnych otwiera nowe możliwości oraz stawia nieznane wcześniej wyzwania przed potencjalnymi zainteresowanymi. Procesy produkcyjne, tworzone w oparciu o produkty programy Copernicus, nie były dotychczas dostępne dla wielu podmiotów ze względu na wymagania infrastrukturalne, wysokie koszty finansowe oraz osobowe i dużą zasobochłonność procesów przetwarzania danych.
Przewidując i przeciwdziałając wspomnianym wyzwaniom i przeszkodom, Komisja Europejska zleciła budowę środowisk określanych jako C-DIAS - Copernicus Data and Information Access Services, mając na celu ułatwienie dostępu do danych i ich wykorzystania w procesach produkcyjnych zróżnicowanych podmiotów. Tym samym zmniejszając lub całkowicie eliminując infrastrukturalny i technologiczny próg wejścia dla zainteresowanych jednostek. CloudFerro, jako kluczowy udziałowiec konsorcjum, zostało wybrane by zbudowało oraz obsługiwało jedno z tych środowisk DIAS, które zostało nazwane CREODIAS.
Czym jest CREODIAS
CREODIAS to platforma korzystająca z rozwiązań big data, zaprojektowana pod kątem przechowywania oraz przetwarzania danych obserwacji ziemi, z wykorzystaniem repozytorium zdjęć satelitarnych i gamy dedykowanych rozwiązań IaaS (Infrastructure as a Service). Dane obserwacji ziemi przechowywane na platformie są otwarte, publicznie dostępne oraz darmowe, tak jak narzędzia do ich wyszukiwania i przeglądania. Bardziej zaawansowane operacje mogą wymagać rejestracji.
Podstawowym założeniem platformy CREODIAS jest zmniejszenie wymagań jakie stoją przed wszystkimi podmiotami starającymi się o wykorzystanie danych satelitarnych w swoich produktach i usługach. Wymagania finansowe, sieciowe, infrastrukturalne oraz osobowe stojące przed większością podmiotów, skutecznie odstraszały. Środowisko łączace infrastrukturę obliczeniową, zbiory danych oraz odpowiednie narzędzia, pozwala włączanie danych teledetekcyjnych lub ich pochodnych w łańuchy produkcyjne za ułamek wcześniejszych kosztów. Zakończone sukcesem uruchomienie platformy przez Clouderro zaowocowało:
- Stworzeniem kanału prostego dostępu do danych satelitarnych.
- Stworzeniem zbioru danych, w oparciu o rozwiązania "open source", kolekcjonujące oraz indeksujące zdjęcia satelitarne.
- Środowiskiem pozwalającym na tanie, łatwo i powtarzalne tworzenie oraz skalowanie procesów produkcyjnych.
- Zebraniem doświadczonego i zaangażowanego zespołu, pomagającego użytkownikom poprzez panel obsługi klienta.
- Intergacją rosnącel ilośći aplikacji i produktów zewnętrznych w środowisku, tym samym rozszerzeniem funkcjonalności dostępnych użytkownikom.
Architektura
CloudFerro opracowało następujące podstawowe aplikacje, będące kamieniami milowymi w procesie wyszukiwania i doboru produktów obserwacji ziemi. Tym samym zmniejszając nakład pracy wymagany przy włączneniu tych danych do procesu produkcyjnego.
- CREODIAS Portal - strona główna środowiska, łącząca zarządzanie kontem z bazą wiedzy, kanałami komunikacji i wsparciem obsługi klienta.
- Horizon Dashboard - erwis graficzny, w technologii OpenStack, pozwalający na zarządzanie zasobami użytkownika.
- CREODIAS Finder - zaawansowana wyszukiwarka produktów obserwacji ziemi, oferująca interface graficzny oraz API.
- CREODIAS Browser - Uproszczone narzędzie wizualizujące zdjęcia satelitarne na różnych poziomach przetwarzania. Pozwala na wyszukiwanie przy użyciu SPRAQL oraz wyszukiwanie semantyczne.
- CREODIAS Jupyter Notebooks - Jupyter Notebook to środowisko obliczeniowe on-line, dostępne z poziomy przeglądarki internetowej, z pełnym dostępem do repozotrium danych satlitarnych. Notebooki stanowią idealne narzędzie do badania i prototypowania nowych rozwiązań. Dostępne dla wszystkich zajerestrowanych użytkowników CREODIASA, bez dodatkowych opłat. Oferuje wsparcie dla wielu języków programowania.
Apliakcje zewnętrzne - tworzone i zarządzane przez podmioty niezwiązane z CloudFerro - stanowią uzupełnieni funkcjonalności środowiska CREODIAS. W przypadku, gdy wymagania użytkownika są wyjątkowo nietypowe i skomplikowane, a nie ma on zasobów by im sprostać własnymi siłami, rozwiązanie może leżeć w wykorzystaniu funkcjonalności zapewnianych przez takie serwisy. Oferta CREODIAS'a w zakresie współpracy z dostarczycielami danych, usług i produktów jest stale rozwijana. W fazie planowania jest sklep usług, który zostałby płaszczyzną wymiany usług, zbliżającą twórców i użytkowników do siebie.
Infrastruktura chmurowa działająca na potrzeby CREODIAS'a wykorzystuje oprogramowanie OpenStack, na którego architekturę składa się wiele współdziałających modułów, opdowiadających za kontrolowanie zasobów procesorowych, pamięci oraz infrastruktury sieciowej. Uzytkownicy mogą zarządzać swoimi zasobami poprzez portal Horizon ze wsparciem graficznym lub przez interface sieciowy REST. Infrastruktura i serwisy zostały zoptymalizowane pod katem pracy z i przetwarzania danych satlitarnych. Optymalizacja przewiduje również wsparcie działania aplikacji zewnętrznych.
Dostęp do repozytorium danych satelitarnych jest możliwy z wykorzystaniem wielu rozwiązań, między innymi przy użyciu inteface'u obiektowego S3 kompatybilnego ze standardem Amazon S3, przy użyciu REST API lub technologii dostępu POSIX. Rozwiązania służaće przeglądaniu oraz wyszukiwaniu danych są integralną częścią platformy, dostępne w ramach serwisów CREODIAS Browser oraz Finder.
Kolekcja danych satelitarnych w środowisku CREODIAS zawiera większość dostępnych produktów pochodzących z satelitów z rodziny sentinel - tworzonych i obłsugiwanych przez ESA. Dodatkowo dostępne są historyczne archiwa LANDSAT 5, 7 i 8 oraz ENVISAT/MERIS. Kolekcje czterech serwisów wyspecjalizowanych programu Copernicus - Atmosfera, Zarządzanie kryzysowe, Oceanologia i Ląd - są również w całości przetrzymywane w środowisku CREODIAS.