Dane w naszym otoczeniu - Big Data

Żyjemy w czasach, w których podejmowanie praktycznie każdej decyzji odbywa się na podstawie danych. Wszyscy odczuwamy postępującą cyfryzację rzeczywistości i – użyjmy coraz częściej wykorzystywanego teraz terminu - danetyzację świata. Jesteśmy świadkami i równocześnie w wielu aspektach – osobistym, zawodowym, biznesowym, społecznym – kreujemy i wykorzystujemy współczesną przestrzeń Big Data. Jak pisze Gorelik z Waterline Data „świat zachłysnął się danymi”.

Metody przechowywania danych - bazy, hurtownie, jeziora danych...

Różnorodność danych, sposobów ich akwizycji i przechowywania jest ogromna. Są to zbiory o różnej objętości, różnym logicznym sposobie przechowywania, różnym sposobie dostępu. Hurtownie, farmy, składnice, różnego rodzaju bazy danych (SQL, NoSQL) to tylko te najczęściej wykorzystywane techniki. W kontekście korporacyjnym i biznesowym na szczególną uwagę zasługują teraz tzw. jeziora danych (data lake), które „dojrzewają” z kałuży danych (data pudle), z nich wyłaniają się stawy danych (data pond), żeby ostatecznie po osiągnięciu statusu jeziora danych przeobrazić się jeszcze dalej w ocean danych (data ocean).

Wykorzystanie danych

   Na podstawie danych pozyskiwana jest informacja. W podejściu czysto praktycznym, szczególnie w skali firmowo-biznesowej kolejne etapy wykorzystania danych wyglądają najczęściej następująco:

• „Czyszczenie” danych,
• Integracja danych pochodzących z wielu źródeł,
• Selekcja, wybór danych do analizy,
• Wykorzystanie narzędzi do wydobywania informacji z danych: wizualizacja, statystyka – klasyczne metody statystyczne, analizy wielowymiarowe takie jak analiza wariancji (ANOVA), regresja i korelacja, analiza składowych głównych, analiza czynnikowa, eksploracja danych, w najszerszym możliwym znaczeniu Data Mining.

   W ciągu działań od danych, aż do pozyskania informacji pojawia się w początkowym etapie – pomijając techniki i narzędzia zdecydowanie bardziej złożone – wizualizacja danych. Wydaje się, że szeroko pojęta (o tym napiszemy później) wizualizacja danych może stanowić w wielu przypadkach pierwszy i ostatni, zupełnie wystarczający, krok w obróbce danych i wydobyciu z nich użytecznej informacji, to jest informacji będącej podstawą skutecznego efektywnego działania i podejmowania decyzji. Wizualizacja, o ile nie jest to końcowy etap analizy, to także – użyjmy takie określenia – „oswajanie” danych, wstępne szacowanie, przygotowanie do pełniejszej, ostatecznej i znaczeniowo prawidłowej interpretacji wyniku analizy w postaci liczbowej.

Business Intelligence (BI)

Przechodząc teraz na grunt firmowo-biznesowy zacznijmy od wyjaśnienia. Użycie w tytule rozdziału terminu angielskiego (zamiast np. jednego z polskich odpowiedników np. „analityka biznesowa”) zostało tu podyktowane zarówno trudnością w polskojęzycznym odtworzeniu złożoności tego znaczenia, jak też praktyką i powszechnością używania tego terminu w firmowo-biznesowych zastosowaniach technologii informatycznych. Business Intelligence (BI) to według definicji Gartnera (który również sformułował jedną z pierwszych definicji Big Data!) “Zorientowany na użytkownika proces zbierania, eksploracji, interpretacji i analizy danych, który prowadzi do usprawnienia i zracjonalizowania procesu podejmowania decyzji. Systemy te wspierają kadrę menadżerską w podejmowaniu decyzji biznesowych w celu kreowania wzrostu wartości przedsiębiorstwa”. Krótko biorąc BI to przed wszystkim wspieranie procesu decyzyjnego poprzez dostarczane informacji na podstawie danych. W raportowaniu i analizie danych wykorzystywane są wspomniane już w poprzednim rozdziale narzędzia do wydobywania informacji z danych w tym – a może wręcz przede wszystkim - wizualizacja danych.
   Na poziomie narzędziowym BI, takie firmy jak Microsoft, IBM, Oracle, Minitab, SAS oferują bogate oprogramowanie w postaci systemów zarządzania bazami danych (głównie hurtowniami danych), systemów raportujących i środowisk do analizy danych. Z punktu widzenia wizualizacji danych na szczególną uwagę zasługuje Power BI.

Wizualizacja danych

   Wizualizacja danych to wiedza, nauka, sztuka i praktyka i – przede wszystkim – merytoryczna, procesowa świadomość odnośnie tego jaką informację poprzez szeroko rozumiany wykres, obraz chcemy przekazać. Efekt wizualizacji tj. wspomniany wykres czy obraz powinien być nie tylko jasny, czytelny, szybko zrozumiały, niosący informację, ale także – wydaje się, że trudno byłoby się z tym nie zgodzić – ładny, estetyczny. W odbiorze zarówno merytorycznym jak i estetycznym liczy się kształt, kolor, rozmiary, proporcje. Jeden wykres to więcej niż wiele słów, to najszybszy sposób, żeby: zobaczyć, wyciągnąć wnioski i działać, czyli podejmować decyzje.
   Wizualizacja to – jak już wspomniano – ogromna wiedza i nauka, wiele zasad, możliwości i technik graficznych. To także procesowa, merytoryczna dojrzałość i intuicja – co chcemy zobaczyć, co chcemy komuś pokazać, do czego kogoś staramy się przekonać.

Schematy

Istnieją schematy i scenariusze wizualizacji danych w odniesieniu do określonego typu zmiennych i skali wartości (parametry mierzalne zmieniające się w sposób ciągły lub dyskretny, dane nieuporządkowane, dane typu data/czas, dane tekstowe). Istnieje wiele zasad, np. zasada – co do tworzenia wykresów – proporcjonalnego atramentu.

Skala

Ważne jest wykorzystanie odpowiedniej skali, kolorów, jednostek. Najczęściej wykorzystuje się układ współrzędnych kartezjańskich, ale niekoniecznie na osiach muszą być przedstawiane przyrosty liniowe. Oczywiście – i należy, jeśli trzeba – wykorzystywać układy krzywolinowe.

Kolor

Oczywiście, jak najbardziej, ale z umiarem. Kolor może być wykorzystany zarówno do reprezentacji wartości, jak i do wyróżnienia, do podkreślenia czegoś, co ważne, czegoś, na co koniecznie trzeba zwrócić uwagę. Uwaga – nie nadużywajmy kolorów, bo to w odczycie treści raczej rozprasza i przeszkadza, a nie pomaga!

Rodzaje wykresów

Paleta możliwości jest tutaj bardzo szeroka. Wykresy słupkowe i histogramy (w przedstawieniu dwuwymiarowym - 2D, w przedstawieniu trójwymiarowym - 3D), wykresy pudełkowe, wykresy paskowe, kropkowe, wykresy gęstości i dystrybuanty, wykresy Q-Q (kwantylowo-kwantylowe), wykresy proporcji, np. w postaci diagramów kołowych (do przedstawienia proporcji niezagnieżdżonych/zagnieżdżonych), wizualizacja powiązań pomiędzy zmiennymi ilościowymi – wykres punkowy. korelogram, wizualizacja zależności funkcyjnych
i regresyjnych (prosta regresji, powierzchnia regresji, wykresy warstwowe, wykresy interakcji, wykresy skuteczności optymalizacji, wykresy ilustrujące zachowanie parametru ze względu na zmienność (multi-vari chart), wizualizacja szeregów czasowych – przedstawienie trendów, wahań sezonowych, wygładzanie danych, graficzna prezentacja autokorelacji.

Opis wykresu

Tytuł, podpis, objaśnienia, pomocnicze tabele i etykiety – należy uważać, żeby nie przesadzić z informacją, podać to co najistotniejsze i nie „zaciemnić” podstawowego przekazu, który idzie za wizualizacją.

Na szczególną uwagę – oprócz wspomnianych już wcześniej rodzajów wykresów - zasługują metody wizualizacji wręcz dedykowane narzędziom jakości. Diagramy (Pareto, przyczynowo-skutkowy), karty przebiegu procesu (run chart), karty kontrolne (control charts), szeroka gama narzędzi ilustrujących i wspomagających interpretację w analizie wariancji (ANOVA), planowaniu eksperymentu (DOE), kwalifikacji systemów pomiarowych (MSA)… , to tylko niektóre z wielu możliwości.

Przedstawiony, bardzo krótki, przegląd technicznych możliwości wizualizacji może sprawiać wrażenie, że wizualizacja to zadanie przekraczające możliwości niejednej osoby zajmującej się analizą danych. Jest to wniosek dość pochopny, ponieważ możemy wykorzystać narzędzia, które pozwalają na szybką, łatwą i efektywną analizę i prezentację (wizualizację) danych.

Narzędzia Microsoft BI w przetwarzaniu, analizie i wizualizacji danych

   Narzędzia Microsoft BI należą do grupy Power. Zalicza się do nich Power Query, Power Pivot, Power View i Power BI. Power Query do rdzeń Microsoft BI, od wersji Excela 2016 jest to dodatek domyślnie zainstalowany w Excelu, jest to także część PowerBI. Power Query to narzędzie pozwalające na pobieranie i przetwarzanie danych z wielu źródeł, wyposażone w intuicyjny interfejs. Power Pivot od wersji Excela 2013 to stały składnik tej aplikacji, umożliwia budowanie modelu danych (jest to – krótko biorąc - łączenie informacji z wielu tabel, definiowanie relacji pomiędzy tabelami), jest szybki, pozwala na kompresję danych. Power View – podobnie jak Power Pivot – funkcjonuje jako dodatek od wersji Excela 2013, służy do wizualizacji i prezentacji danych (tworzenie analitycznych dashboardów). Usługa Power BI została udostępniona przez Microsoft w roku 2015 i pozwala na szerokie przetwarzanie danych i ich wizualizację. Wymienione narzędzia wykorzystują język DAX (Data Analysis Expressions) pozwalający na przetwarzanie informacji na podstawie zdefiniowanych modeli danych.

Zakończenie

   BI to przekształcanie danych w wiedzę. Jest to kapitał firmy na teraz, na projektowanie przyszłości, na poprawę konkurencyjności, na ciągłe przydawani e wartości dodanej. Jest to pewnego rodzaju filozofia, do której realizacji potrzebne są określone formy analizy treści wynikających z posiadanych zasobów danych i informatyczna technika.

   Formą często wykorzystywaną, stosunkową prostą i łatwą, jest wizualizacja danych. Znajomość zasad wizualizacji jest potrzebna i pomocna, ale najważniejsza jest szeroko pojęta procesowa, merytoryczna znajomość przedmiotu – jakiej informacji szukamy, jaki problem rozwiązujemy, co chcemy pokazać, na co chcemy zwrócić uwagę.

   Wizualizacja danych wymaga wsparcia komputerowego – warto zwrócić w tym kontekście uwagę na możliwości Power BI.

   Wizualizacja informacji towarzyszy nam na co dzień, w życiu osobistym i zawodowym. Brian Tracy, specjalista od psychologii sukcesu użył m.in. sformułowań: „Nie możesz trafić w cel, którego nie widzisz”, „Ludzie, którzy osiągają niezwykle rzeczy nieustannie wizualizują swoje dążenia”. Trudno się z tym nie zgodzić – postrzegamy rzeczywistość poprzez obrazy, wykorzystujemy wizualizację w przekazie bieżących informacji, korzystamy z graficznych interfejsów wykorzystywanych aplikacji… Wizualizacja wspomaga naszą własną potęgę wyobraźni, pomaga mam w rozumieniu i wnioskowaniu o rzeczywistości, w podejmowaniu decyzji i bieżących działaniach – dlatego jest tak ważna!