Internet rzeczy generuje gargantuiczne ilości danych. W 2020 roku 21 mld punktów końcowych ma być podłączonych do Sieci. Chociaż tylko niewielka część danych z nich pochodzących będzie zbierana, analizowana i magazynowana, to i tak będzie ich ogromnie dużo. Aby nimi zarządzać, mieć do nich dostęp, bezpiecznie je przechowywać i niezawodnie z nich korzystać – nieodzowne stają się cyfrowe pamięci masowe. Do obsługi operacji realizowanych w ramach ekosystemu IoT potrzebne są szybkie, pojemne, skalowalne i bezpieczne systemy storage’owe. Usprawnienie funkcjonowania IoT wymaga też wsparcia chmury i technologii kontenerów.

Niewątpliwie internet rzeczy stwarza ogromne możliwości biznesowe. W 2022 r. rynek IoT (Internet of Things) ma osiągnąć wartość 14,4 biliona dolarów, szacuje firma Cisco. Ciesząc się z tego ogromnego potencjału, nie wolno zapominać o tym, że trzeba będzie gdzieś przechowywać i zarządzać wszystkimi danymi pochodzącymi z blisko 25 mld urządzeń IoT podłączonych do Sieci do 2020 r. (estymacja firmy Planet Technology), które będą generować ponad 1,6 mld terabajtów danych (szacunki ABI Research).

Szybki rozwój aplikacji IoT powoduje, że przedsiębiorstwa poszukują platform i usług, które umożliwią im zarządzanie i analizowanie w czasie rzeczywistym zdarzeń oraz strumieni danych pochodzących z różnych źródeł (czujniki środowiskowe, medyczne urządzenia monitorujące, urządzenia domowe i przemysłowe itp.).

Jakiego storage’u (i gdzie) potrzebuje internet rzeczy?

Pomimo takich atrybutów chmury, jak elastyczność, bezpieczeństwo i możliwość długoterminowego przechowywania danych, to nie jest to jedyne ważne miejsce do składowania zasobów. Urządzenia brzegowe będą potrzebować lokalnych pamięci masowych zarówno do zbierania ogromnej ilości danych z czujników IoT, jak i do obsługi analiz w czasie rzeczywistym. Jako przykład weźmy wolumen danych generowanych przy zastosowaniu IoT w transporcie. Szacuje się, że każdy autonomiczny samochód jeżdżący po drogach do 2020 roku może generować 2 petabajty danych rocznie, a jeden samolot – 40 TB dziennie!

Nie ma takiej możliwości, żeby wszystkie dane generowane przez samochody i samoloty były przenoszone do chmury w czasie rzeczywistym. Nawet przy pełnej dostępności i wszechobecności sieci 5G, ich przepustowość może okazać się niewystarczająca, aby obsługiwać tego rodzaju natężenie transmisji danych w czasie rzeczywistym. W rezultacie podłączone do Sieci samochody i samoloty muszą wykorzystywać swoje pokładowe, lokalne pamięci masowe do zbierania i zapisywania danych w pamięci podręcznej, aby następnie przenieść je do chmury już za pośrednictwem szerokopasmowych sieci.

źr. Pixabay

Przewiduje się, że fabryki będą średnio „produkować” 1 PB danych dziennie; inteligentne budynki – 250 GB danych dziennie. Inteligentne systemy pomiarowe mogą generować więcej niż 3 eksabajty danych rocznie. Teoretycznie w każdym z tych przypadków możliwe jest przenoszenie danych IoT do chmury w trybie zbliżonym do czasu rzeczywistego, przy założeniu, że systemy te mają połączenia z szybkimi sieciami.

Czy zatem chmura jest najlepszym miejscem do przechowywania wszystkich danych IoT? Odpowiedź na to pytanie nie jest taka prosta: nie zawsze i nie w każdym przypadku. Z jednej strony chmura jest elastyczna i ogólnie dostępna. Zawiera również narzędzia analityczne, które mogą pomóc w odkrywaniu tajemnic ukrytych głęboko w dużych zbiorach danych. Z drugiej strony, w chmurze nie można przeprowadzać analiz danych w czasie rzeczywistym. Czas potrzebny na dotarcie do chmury sprawia, że dane stają „historyczne”. A informacje dostarczane w czasie rzeczywistym mają kluczowe znaczenie dla szybkiego i skutecznego reagowania. Jeśli czujnik wykryje nieprawidłowości w działaniu urządzenia czy podzespołu, konieczne jest natychmiastowe przekazanie informacji o usterce.

Ponieważ istnieje wiele sytuacji (zwłaszcza krytycznych dla zdrowia i życia) wymagających natychmiastowej reakcji, analizy analityczne w czasie rzeczywistym mogą wówczas być przeprowadzane na brzegu chmury lub “mgły” (fog – określenie Cisco). Mogą to być bramy, systemy agregacji i inne. Samochody i samoloty mogą obecnie być wyposażane w systemy do analiz i reagowania w czasie rzeczywistym na mechaniczne, środowiskowe lub sytuacyjne alerty. Niestety, wobec rozwoju platform IoT, nie zawsze łatwo rozstrzygnąć, które dane będą ważne. Jak na przykład w przypadku zapisu kamer umieszczonych na ruchliwych ulicach, robiących setki i tysiące zdjęć. Choć przeważająca większość zarejestrowanych materiałów może nigdy zostać nie wykorzystana, to kilka pojedynczych klatek może być krytyczne dla wyjaśnienia przyczyn wypadku drogowego lub stanowić dowód złamania przepisów.

Coraz bardziej potrzebne stają doskonalsze narzędzia analityczne obsługujące procesy IoT. Mają one zapewnić głębsze zrozumienie wartości tkwiących w zebranych danych – zarówno tych znajdujących się w chmurze, jak i na jej brzegu. Szybkie, niezawodne i bezpieczne pamięci masowe mają krytyczne znaczenie dla urządzeń brzegowych, niezależnie od tego, czy jest to czujnik, smartfon czy brama. Musi je również cechować duża wytrzymałość fizyczna i odporność na zróżnicowane, trudne warunki pogodowe, ponieważ działają one w różnych środowiskach.

IoT Cloud na horyzoncie

źr. Pixabay

Połączenie technologii cloud computing i IoT stwarza wiele nowych możliwości w zakresie dostarczania usług, pozwalając operatorom ICT na budowanie nowych strategii i rozwijanie biznesu. Nowe możliwości biznesowe wynikające z IoT powodują, że dostawcy prywatnych, publicznych i hybrydowych usług chmurowych decydują się na integrowanie swoich systemów z podłączonymi do Sieci urządzeniami (w tym czujnikami), aby móc dostarczać w modelu usługowym nie tylko infrastrukturę, platformy i oprogramowanie (IaaS, PaaS, SaaS), ale również internet rzeczy – nowego rodzaju usługę, określaną jako IoTaaS (IoT as a Service).

W rezultacie pojawiają dostawcy nowego typu, którzy łączą rozwiązania z zakresu cloud computing i IoT. Usługi IoTaaS zapewnia nowy rodzaj systemu rozproszonego, określany jako IoT Cloud, składający się z zestawu urządzeń IoT połączonych za pośrednictwem internetu ze zdalną infrastrukturą cloud, platformą lub oprogramowaniem.

Rekomendacje ekspertów ds. big data dotyczące magazynowania danych IoT

• Przedsiębiorstwa powinny przede wszystkim zbierać i wybierać do przechowywania tylko te dane, które muszą być zachowane. Czas archiwizacji danych pochodzących z czujników zależy wyłącznie od konkretnego przypadku użycia i kosztów składowania. Dane operacyjne i zbierane z czujników w czasie rzeczywistym zwykle przechowuje się od 30 do 90 dni, a w zakładach produkcyjnych przez 12 miesięcy.

• Dane IoT można efektywnie przechowywać na brzegu sieci, czyli miejscu, gdzie urządzenia IoT je generują. Ważną rolę w ekosystemie IoT ma do odegrania analityka.

• Dane IoT uznawane za strategicznie ważne powinny być zachowywane w całości w celu lepszej analizy. Należy wystrzegać się agregacji i uśredniania danych za wszelką cenę. Dane z sensorów warto gromadzić w repozytoriach data lakes.

• Nie wszystkie dane IoT są tak samo ważne. Niektóre muszą być natychmiast analizowane pod kątem informacji zwrotnej w czasie rzeczywistym, podczas gdy inne mają charakter bardziej archiwalny lub są przeznaczone do późniejszego wykorzystania. Jednym ze sposobów na optymalizację magazynowania danych IoT jest hierarchiczny model zarządzania pamięciami masowymi (HSM – hierarchical storage management).

Które dane IoT warto przechowywać?

Wraz z digitalizacją i automatyzacją ilość generowanych danych cyfrowych zwiększa się wykładniczo! Przykładem samochód, który podczas jazdy generuje non-stop dane m.in. dotyczące aktualnej pozycji, kalkuluje czas potrzebny do dotarcia do celu, uwzględniając wybraną trasę, dystans pozostały do pokonania, a także natężenie ruchu, warunki pogodowe itp. Prowadzi to do generowania różnego rodzaju danych: surowych (bieżąca pozycja samochodu, pogoda, ruch itp.), przeanalizowanych danych (wyliczony czas dotarcia do celu) oraz stanowiących wnioski/rekomendacje podjęcia określonych działań („za 15 min dojedziesz do domu, zdalnie włącz ogrzewanie”). I tu pojawia się pytanie, które z tych danych wymagają przechowywania? Najbezpieczniejszą opcją byłoby przechowywanie wszystkich wygenerowanych danych, ponieważ nie ma pewności, w jaki sposób dane mogą być użyte w przyszłości! Ale to wymaga dużej infrastruktury pamięci masowej, a tym samym będzie kosztować!

– Kwestia przechowywania danych generowanych przez aplikacje i urządzenia IoT jest potencjalnie problematyczna z dwóch podstawowych względów. Po pierwsze, takich danych mogą powstawać ogromne ilości i optymalnie jest je przynajmniej przez pewien czas przechowywać i archiwizować. Są one bowiem nie tylko kluczowe dla funkcjonowania systemu IoT i powiązanych z nim usług, ale także stanowią niezwykle cenny materiał do późniejszej analizy, choćby na potrzeby systemów business intelligence. Druga sprawa to ich poufność/bezpieczeństwo – są to bowiem często dane wrażliwe, więc musze być odpowiednio zabezpieczone przed niepowołanym dostępem – zwraca uwagę Grzegorz Bielawski, Country Manager QNAP.

źr. Pixabay

Wielu ekspertów uważa, że nie trzeba przechowywać surowych danych, a mogą być one przekierowywane do analitycznych platform big data, gdzie będą dokładnie analizowane, a następnie już te przeanalizowane dane wyjściowe mogą być przechowywane razem z wnioskami z analiz. Jeszcze inni uważają, że do audytu wystarczy zachowywać tylko wnioski z analiz. Dlatego też należy dokładnie rozważyć wszystkie aspekty i zdecydować, które dane są warte przechowywania. Następnym krokiem jest planowanie zasobów pamięci masowych – uwzględniając przy tym zarówno posiadane zasoby, jak i planując dodanie nowych.

Dane IoT zwykle mają małe rozmiary, ale ich ilość wymaga ogromnych pojemności, jak w przykładzie z jadącym samochodem. Dane mogą być generowane z różnych czujników zainstalowanych w samochodzie. Aby przechowywać tego rodzaju dane, pamięci masowe muszą być skalowalne w czasie. Obiektowe pamięci masowe są uznawane za dobry wybór do przechowywania tego rodzaju danych, głównie ze względu na skalowalny i rozproszony charakter. Jednakże z pamięciami obiektowymi wiążą się też pewne wyzwania dotyczące przechowywania dużej liczby małych plików oraz zapewnienia odpowiedniej gwarancji (IoT wymaga szybkiego dostępu do danych, żeby możliwe było podejmowanie decyzji w czasie rzeczywistym).

Więcej o:

• trójwarstwowej architekturze dla platform IoT,
• dlaczego systemy IoT potrzebują wsparcia nie tylko chmury ale i kontenerów,
• usługowym modelu IoT, czyli IoTaaS (IoT as a Service),
• właściwościach systemu pamięci masowej dedykowanej danym IoT,
• rekomendacji ekspertów ds. big data dotyczących magazynowania danych IoT,

– w całym artykule “Gdzie i jak przechowywać dane z internetu rzeczy?” opublikowanym w magazynie “Reseller News” 5-6/2015 (s. 45).