Strefa wolna od botów!
Piszemy my, nie maszyny.

Jak wykorzystać AWS Snowball do przenoszenia dużych wolumenów danych?


W tym artykule dowiesz się:

  • Czym jest AWS Snowball i kiedy warto go użyć
  • Jak powinna wyglądać konfiguracja AWS Snowball przy migracji danych
  • Jak działa Snowball w praktyce
  • Czy migracja danych ze Snowball jest bezpiecznia

Migracja danych między różnymi środowiskami może być wyzwaniem, ale żeby go uniknąć, można stosować AWS Snowball. To opracowane przez Amazon rozwiązanie może uprościć proces migracji dużych ilości danych, szczególnie w obszarach, w których stały dostęp do sieci może być trudny.

 

 

Kiedy warto użyć AWS Snowball: przykłady zastosowania

 

AWS Snowball jest jednym z wielu narzędzi do zarządzania chmurą – jest to usługa Amazon Web Services, która pozwala przenosić duże ilości danych między lokalną infrastrukturą a chmurą, co ułatwia zarządzanie zasobami chmurowymi. Jest ono szczególnie przydatne, gdy trzeba przenieść terabajty lub nawet petabajty danych – w przypadku tak dużych ilości danych zwykły transfer sieciowy może być niewystarczający.

Inną sytuacją, w której AWS Snowball świetnie się sprawdzi, będą problemy z przepustowością sieci. Ponieważ Snowball pozwala przenosić dane w sposób fizyczny, można je przetransferować szybciej, co ma też znaczenie w przypadku odzyskiwania danych po awarii – przykładowo, gdy trzeba wykonać duże ilości kopii zapasowych, zamiast robić to „ręcznie” lepiej będzie zastosować AWS Snowball.

Snowball sprawdza się też w analizie dużej ilości danych pochodzących z urządzeń Internetu Rzeczy, które można przesyłać bezpośrednio do wbudowanych w AWS narzędzi analitycznych w rodzaju Amazon EMR. Przykładem zastosowania może być zbieranie danych z ruchu ulicznego, co można wykorzystać do jego optymalizacji.

Innym, ale bardzo ciekawym przykładem zastosowania AWS Snowball jest wykorzystanie tego narzędzia do przetwarzania danych w miejscach o utrudnionym dostępie – rozszerzenie AWS Snowball Edge pozwala także lokalnie przetwarzać dane przed przesłaniem do AWS, co przydaje się w w miejscach, w których przetwarzanie danych w chmurze jest niemożliwe, np. na platformach wiertniczych, w bazach wojskowych lub na statkach.

 

 

Jak skonfigurować i wdrożyć AWS Snowball w procesie migracji danych

 

Wdrożenie AWS Snowball zaczyna się od zalogowania się do AWS Management Console. Następnie należy wybrać usługę Snow Family i zamówić Snowball. W tym celu trzeba wybrać opcję Create Job, określić typ urządzenia, podać lokalizację, z której dane będą przenoszone, a potem wybrać cel migracji oraz określić rodzaj i szacowaną ilość danych do przeniesienia.

Kolejnym krokiem jest przygotowanie danych do migracji – trzeba je nie tylko zidentyfikować, ale również oczyścić i sprawdzić, czy są odpowiednio zabezpieczone. AWS Snowball szyfruje dane przy użyciu 256-bitowego szyfrowania AES, ale przed migracją można dodać inne zabezpieczenia. Po tym można przejść do skonfigurowania zasad migracji – określić foldery i pliki do przeniesienia, wybrać zasady, ustalić metadane i tagi oraz utworzyć reguły dla transferu.

Gdy AWS dostarczy fizyczne urządzenie Snowball do wskazanej w zamówieniu lokalizacji, należy je podłączyć do sieci lokalnej i zainstalować Snowball Client na komputerze, który będzie komunikować się z urządzeniem Snowball. Kolejnym etapem jest podłączenie Snowball do sieci LAN za pomocą połączenia Ethernet i uruchomienie urządzenia.

Pozostaje jeszcze przesłać dane za pomocą Snowball Client. Postęp można śledzić za pomocą narzędzia Snowball Client lub AWS Management Console. Po przeniesieniu danych wystarczy jeszcze zamknąć urządzenie, użyć dołączonych etykiet zwrotnych i skontaktować się z kurierem, aby odesłał je do AWS.

Po otrzymaniu urządzenia, AWS weryfikuje integralność danych i importuje je do chmury. Po zakończeniu procesu wysyła powiadomienie w konsoli AWS lub poprzez e-mail. Ostatnim etapem jest weryfikacja, czy wszystkie dane zostały poprawnie zaimportowane. AWS usuwa dane ze Snowball – dane są zaszyfrowane, a klucze szyfrowania są przechowywane tylko na danym koncie AWS.

 

 

Przykłady z branży: efektywne zastosowanie AWS Snowball w praktyce

 

Poza wymienionymi wyżej przykładami zastosowania AWS Snowball istnieje wiele innych zastosowań tego rozwiązania. Świetnie sprawdzi się ono np. w branży medialnej do przetwarzania wideo w dużych rozdzielczościach – studia filmowe mogą korzystać ze Snowball do przenoszenia terabajtów materiałów filmowych 4K z fizycznych lokalizacji produkcyjnych do chmury AWS w celu edycji i postprodukcji.

W przypadku surowych materiałów filmowych przenoszenie ich za pomocą zwykłego łącza może być zbyt czasochłonne, szczególnie gdy filmy nagrywane są w odległych lokalizacjach (np. na pustyni). Dzięki Snowball można szybko przenieść materiały do chmury AWS, gdzie można je renderować i montować przy użyciu Amazon S3 i AWS Lambda.

Innym przykładem jest migracja danych archiwalnych w banku. AWS Snowball można w tym kontekście wykorzystać do migracji petabajtów danych historycznych z archiwów lokalnych serwerów do chmury AWS w celu np. przyspieszenia analiz finansowych. Ich przesyłanie przez Internet zajęłoby mnóstwo czasu i mogłoby naruszać wymogi RODO. Dzięki Snowball można szybko migrować dane do Amazon S3, gdzie od razu można używać narzędzi analitycznych wbudowanych w AWS.

Snowball może też przydać się w przetwarzaniu danych geofizycznych, które zbierają np. firmy wydobywcze. Z pomocą tej technologii można przenosić i analizować dane pozyskane z trudno dostępnych rejonach świata.

 

 

Jak zapewnić bezpieczeństwo danych podczas migracji przy użyciu Snowball

 

Jednym z powodów stosowania cloud computingu, a w szczególności AWS, jest bezpieczeństwo danych podczas migracji, czego dobitnym przykładem jest AWS Snowball. Rozwiązanie to automatycznie szyfruje dane za pomocą szyfrowania AES-256, zarówno podczas przesyłania danych na urządzenie, jak i w trakcie ich transportu do AWS. Klucze szyfrowania są zarządzane przez AWS Key Management Service, ale dostęp do nich ma tylko właściciel konta.

AWS Key Management Service pozwala bezpiecznie zarządzać kluczami szyfrowania. Nie są one przechowywane w Snowball, więc nawet w przypadku fizycznej utraty urządzenia, dane pozostają nieczytelne bez klucza, który nigdy nie opuszcza Key Management Service.

AWS Snowball jest też odporny na uszkodzenia fizyczne, wstrząsy i trudne warunki atmosferyczne. Posiada też funkcje wykrywania manipulacji, które informują AWS, jeśli urządzenie było naruszane podczas transportu.

Kontrola dostępu do danych i zarządzania Snowball odbywa się poprzez AWS Identity and Access Management – z jej pomocą można tworzyć role i polityki, aby ograniczyć, kto może inicjować, monitorować i zarządzać zadaniami Snowball, więc tylko użytkownicy z odpowiednimi uprawnieniami mogą uzyskać dostęp do kluczy szyfrowania zarządzanych przez KMS.

Wszystkie zadania migracji danych przy użyciu Snowball są zarządzane za pomocą AWS Management Console. Po ukończeniu migracji AWS automatycznie usuwa dane z urządzenia zgodnie ze standardami, takimi jak NIST 800-88. Snowball używa też sum kontrolnych do weryfikacji, że dane zostały poprawnie przesłane na urządzenie.

Wszystkie operacje związane z użyciem Snowball rejestruje się w AWS CloudTrail, dzięki czemu można było monitorować, kto miał dostęp do danych, kiedy były kopiowane i jakie operacje były wykonywane.

Porozmawiajmy!

    Wypełnij formularz,
    a my pomożemy Ci wdrożyć najnowsze rozwiązania!