Wielkoskalowe przechowywanie i dystrybucja danych

Duże projekty badawcze wymagają gromadzenia, przechowywania, przetwarzania i analizowania ogromnych ilości danych. Teraz dzięki rozwojowi technologii przechowywania i dostępu do dużych ilości danych, możliwa jest szybka dystrybucja wielkich ilości danych. CloudFerro przeprowadziło testy, które dowiodły, że nasza platforma CREODIAS może wydawać ponad 2 PB danych dziennie.

Badania naukowe - nowy paradygmat

Czwarty paradygmat odkryć naukowych to koncepcja, która zakłada, że nauka i procesy eksploracji naukowej zostaną na nowo zdefiniowane poprzez otwarty lub zwiększony dostęp do danych i nowe metody ich udostępniania. 

W dzisiejszym świecie, w którym przytłacza nas ogromna ilość informacji, konieczne jest uzupełnienie klasycznych paradygmatów naukowych: obserwacji, teorii i symulacji, czwartym: eksploracją danych na dużą skalę. Pozwoli to ujednolicić obserwację, teorię i symulację w rozległym systemie. 

Niedawne projekty i inicjatywy badawcze podkreślają znaczenie danych, narzędzi, technologii i platform oraz potrzebę ich większej i łatwiejszej dostępności. Inicjatywy takie jak Digital Twin Earth, Human Brain Project, Digital Twin Manufacturing i wiele innych, stanowią ramy do zrozumienia, modelowania i prognozowania zachowania niezwykle złożonych systemów. Aby takie ramy działały, niezbędne jest przechowywanie i zarządzanie ogromnymi ilościami heterogenicznych danych oraz udostępnianie ich za pośrednictwem ujednoliconych, elastycznych i usprawnionych interfejsów dla wielu społeczności użytkowników. 

Przechowywanie i rozpowszechnianie peta- lub eksabajtów heterogenicznych danych w otwarty i elastyczny sposób stanowi poważne wyzwanie techniczne. Rozwiązanie object storage (pamięć obiektowa) jest ekonomiczne, łatwo skalowalne i łatwo dostępne. Pozwala na przechowywanie nieustrukturyzowanych lub niezwykle zróżnicowanych danych, ponieważ brak jest  hierarchicznej struktury katalogów. Zamiast tego, pamięć obiektowa używa unikalnego identyfikatora dla każdego obiektu. 
Ta konwencja i „płaska” architektura pozwala również na masowe, dynamiczne skalowanie pamięci, gdzie skala jest prawie nieskończona. Chodzi o to, aby zastosować to w prawdziwym, komercyjnie opłacalnym scenariuszu. Coś, co wymaga zaawansowanego katalogowania i usług sieciowych, które w sumie gwarantują zautomatyzowany, szybki i łatwy dostęp do danych przechowywanych online do natychmiastowego wykorzystania. 

Rozwiązanie

Platforma CREODIAS, której  operatorem jest CloudFerro, przechowuje obecnie ponad 85 PB danych obserwacji Ziemi. Średnio dziennie przyjmuje 25 TB danych i przekazuje je do ponad 6 tysięcy zarejestrowanych użytkowników i niezliczonych niezarejestrowanych. 

Korzystając z otwartego oprogramowania CEPH do budowania pamięci masowej - ze względu na możliwość tworzenia obiektowej pamięci masowej dla OpenStack i zarządzania nią - oraz zaawansowanego rozwiązania do katalogowania, platforma CREODIAS może obsługiwać dane w chmurze i poza nią za pośrednictwem aplikacji graficznej (CREODIAS Finder) i różnorodnych interfejsów dostępu. Interfejs machine2machine umożliwia zainteresowanym stronom wykorzystanie danych w ich łańcuchach przetwarzania w sposób zautomatyzowany, zarówno w chmurze CREODIAS, jak iw dowolnej innej wybranej infrastrukturze. 

Dlaczego chmura CloudFerro?

W CloudFerro opieramy się na wiedzy i najlepszych praktykach wypracowanych w naszych projektach dostarczających usługi chmury obliczeniowej dla dużych repozytoriów danych. Dlatego jesteśmy w stanie pozyskiwać, przechowywać, indeksować i rozpowszechniać ogromne ilości danych EO, dziesiątki i setki petabajtów. 
 

• CloudFerro przeprowadziło niedawno testy, które potwierdziły możliwość obsługi 2PB danych dziennie z naszych repozytoriów. Jesteśmy nawet w stanie podwoić ten wynik. 
• Doświadczenie i wysoka jakość technologii CloudFerro została potwierdzona w testach porównawczych. 
• Obecnie przechowujemy w naszej chmurze ponad 85 PB danych EO.
• CloudFerro ma szerokie doświadczenie w budowaniu i obsłudze wielu dużych platform chmurowych – CREODIAS, Climate Data Store, CODE-DE, WEkEO, EO IPT i innych – gdzie łącznie przechowuje ponad 100 PB danych. 

To wszystko pozwala nam działać na skalę wymaganą przez tak złożone projekty jak Destination Earth. Dzięki usługom CloudFerro, klienci mogą otrzymać łatwy, zdalny, szerokopasmowy i skalowalny dostęp online do szczegółowych danych w opłacalny sposób. Odegra to kluczową rolę dla czwartego paradygmatu badań naukowych.