Tomasz Mazurek
Dyrektor Sprzedaży na Europę Wschodnią
Snowflake

Dane powinny być dla ludzi

Data mesh to nowe, ewolucyjne podejście do danych, w ramach którego eliminując silosy technologiczne, wprowadzamy silosy biznesowe, dzięki którym organizacjom łatwiej zapanować nad ogromnymi zbiorami danych. Dane stają się łatwiej dostępne dla wszystkich użytkowników, są zarazem bardziej bezpieczne i łatwiej je wykorzystywać do rozwoju biznesu - rozmowa z Tomaszem Mazurkiem, Sales Director for Eastern Europe w Snowflake.

Co to jest data mesh?

Tomasz Mazurek: To nowa nowe podejście do danych, kolejny krok na drodze trwającej od lat ewolucji. Żeby dobrze ją zrozumieć, cofnijmy się do czasu, w którym popularne były hurtownie danych. Stanowiły one odpowiedź na wyzwania związane z obsługa danych nieustrukturyzowanych. Oczywiście miały swoje ograniczenia. Jednym z nich była konieczność podziału danych na obszary, która pojawiała się kiedy firma rosła, a wraz z nią eksplodowały dane. Tak powstawały silosy, które nazywano data martami. Problemem była przede wszystkim niespójność w skali całej organizacji. Spotykali się menedżerowe, dyskutowali o marży i okazywało się, że dane na których opiera się jeden z nich, są różne od tych, na których opiera się drugi.

Dzięki chmurze obliczeniowej problem można było jakoś rozwiązać. Powstały bardziej skalowalne rozwiązanie, które mogły nie tylko udźwignąć większe ilości danych, ale także łączyć różne rodzaje danych – ustrukturyzowane i nieustrukturyzowane. Powstała koncepcja data lakehouse, będącego w pewnym sensie jednym, wielkim workiem na dane. To likwidowało wprawdzie niespójność, w skali całej organizacji można było pracować na tych samych danych. Problemem stało się jednak zapanowanie nad danymi przez człowieka. System był w stanie obsłużyć wszystkie dane, ale nikt w organizacji nie był w stanie ogarnąć całości.

I w tym momencie pojawiło się data mesh, koncepcja, w której stawiamy na domeny danych a same dane stają się produktem.

Na czym to dokładnie polega? Czy to nie jest powrót do silosów?

Tomasz Mazurek: Mówimy o domenach, silosach biznesowych, to nie to samo, co silosy technologiczne. W data mesh wszystkie dane są spójne, połączone w technicznym sensie, ale podzielone – w sensie biznesowym. Tworzymy domeny, żeby jeden człowiek, grupa ludzi czy zespół byli w stanie nimi zarządzać, zarówno od strony technicznej, jak i biznesowej. Zatem ktoś musi z jednej strony zadbać o ETL, a ktoś inny dba o to, żeby dane zostały odpowiednio wykorzystane. W organizacji powstaje klarowny podział obowiązków, który pozwala zapanować nad ogromnym środowiskiem.
W tym miejscu warto zauważyć, że data mesh, to koncepcja, która adresuje wyzwania, z jakim zmagają się duże organizacje, niezależnie od branży, jednak w większości dotyczy to banków i ubezpieczycieli, firm farmaceutycznych, korporacji handlowych czy operatorów telekomunikacyjnych. W przypadku mniejszych firm, albo raczej firm, które mają węższy strumień danych, data mesh może stanowić przerost formy nad treścią.

Dlaczego koncepcja data mesh jest interesująca dla CDO?

Tomasz Mazurek: Przede wszystkim ze względu na domenocentryczność i dystrybucję odpowiedzialności za dane dostarczane do organizacji z różnych źródeł a zarazem jakość tych danych – każda domena to jeden spójny biznesowe obszar danych do zarządzania. Dane stają się produktem, który wykorzystujemy. Wybierając data mesh, CDO może mieć pewność, że każdy obszar danych w organizacji jest dobrze zaadresowany.

Jaką rolę odgrywa w tym wszystkim technologia?

Tomasz Mazurek: Technologia jest kluczowa. Pod spodem musi działać infrastruktura, która będzie w stanie wspierać nowe podejście. Przy tym nie uda się zbudować architektury data mesh przy użyciu kilkunastu różnych rozwiązań. Potrzebna jest spójność na poziomie governance. Technologia i governance to kluczowe parametry wejściowe. Bez tego nie będzie holistycznego zarządzania, a bez holistycznego zarządzania nie ma data mesh.

Co zatem trzeba zrobić, żeby zacząć myśleć o data mesh w organizacji?

Tomasz Mazurek: Kiedy mamy technologię i warstwę governance, pozostaje już tylko zarzadzanie ludźmi w ramach domenocentryczności i budowanie świadomości, że dane są produktem.

Czy w Polsce są organizacje, które zbudowały architekturę data mesh?

Tomasz Mazurek: Mamy za to sporo przedsiębiorstw, które wykorzystują fragmenty tej koncepcji. Istnieje także pewna grupa firm, która korzysta z data mesh zupełnie nieświadomie. Nie powinno to nikogo zaskoczyć, jeśli weźmiemy pod uwagę, że po pierwsze, to stosunkowo nowa koncepcja, a po drugie, nie mamy aż tak wielu naprawdę dużych organizacji.

Nie znam organizacji w Polsce, które od początku do końca zbudowałyby architekturę data mesh. Niemniej prawda jest taka, że duże organizacje na całym świecie nie realizują projektów typu greenfield, zatem nie mogą sobie pozwolić na coś takiego.

Data mesh wprowadzają organizacje, które chcą odejść od silosów technologicznych, albo są już w chmurze, ale nie radzą sobie za zarządzaniem całością i próbują rozczłonkować dane na domeny tematyczne.

Znam jednak pewien ciekawy przykład, w którym koncepcja data mesh budowana jest od zera. To firma z branży farmaceutycznej, która powstała w wyniku reorganizacji globalnej korporacji. Po podziale miała rok czasu na zbudowanie wszystkiego od nowa. Wykorzystuje ona elementy, które odziedziczyła po starej organizacji, jednak buduje wszystko na „zielonym polu” i wybrała właśnie koncepcję data mesh. To oczywiście nie jest częsty scenariusz, niemniej jeśli ktoś miałby taki komfort, że może zaczynać od zera, to warto zainteresować się data mesh. Dla większości pozostaje jednak ewolucja.

Co Snowflake oferuje, żeby ułatwić wdrożenie data mesh?

Tomasz Mazurek: Technologia Snowflake doskonale wpisuje się w koncepcję data mesh. Dostarczamy rozwiązanie, które umożliwia holistyczne podejście do danych w organizacji.

Po pierwsze znacznie ułatwia współdzielenia danych. Jednym z wyzwań data mesh jest właśnie to, w jaki sposób dane, które są tworzone jako produkty przez odrębne zespoły, mogą być dystrybuowane w wielu domenach - w sposób terminowy i przy utrzymaniu racjonalnych kosztów. Snowflake oferuje unikalną metodę współdzielenia danych, dzięki multi-klastrowej architekturze danych - to Snowflake Data Marketplace, na którym nasi partnerzy udostępniają kompletne data sety, które pozwalają dodatkowo wzbogacać dane. Przykładowo, kiedy firma handlowa ma dane o klientach, może wzbogacić je danymi pogodowymi czy geolokalizacyjnymi, dzięki czemu będzie w stanie wywnioskować o wiele więcej.

Po drugie Snowflake upraszcza i przyspiesza dostarczanie nowych rozwiązań. Udostępnianie danych odbywa się zazwyczaj za pośrednictwem API, FTP czy repozytoriów w chmurze - to zwykle złożony i kosztowny proces. Dzięki Snowflake można znacznie obniżyć koszty i skrócić tzw. time to market.

Kolejną ważną cechą Snowflake, która jest bardzo istotna dla architektury data mesh jest to, że Snowflake Cloud Data Platform jest agnostyczna względem dostawców chmury. Warto także zwrócić uwagę na jedną z warstw naszego rozwiązania - Snowgrid, które pozwala zachować ciągłość biznesową w skali globalnej, współdzielić dane bez ETL czy silosowości oraz zapewnia mechanizmy z zakresu governance.
Snowflake to zarazem w autonomiczna i samoobsługowa infrastruktura w postaci platformy. Dzięki temu możemy zapewnić realnie niski koszt posiadania i dużą a zarazem prostą skalowalność.

Nasze rozwiązanie oferujemy w chmurze, a co za tym idzie w modelu rozliczeniowym pay as you go. W Snowflake klient płaci tylko za dane. Nie trzeba, tak jak w przypadku rozwiązań tradycyjnych, inwestować milionów, żeby w ogóle zacząć działać.

CDO Forum

22-23 września, 2021
www.cdoforum.pl

Organizator konferencji

Evention sp. z o.o
Rondo ONZ 1
Warszawa, Polska
www.evention.pl

Kontakt

Weronika Warpas
m. +48 570 611 811
e: weronika.warpas@evention.pl

© 2021 | Strona korzysta z plików cookies. Przeglądanie strony oznacza akceptację.