Małe dane, duże możliwości
Opublikowany: 2022-03-11Podsumowanie wykonawcze
Czym są duże zbiory danych?
- „Big data” to subiektywna miara opisująca zbiory danych tak duże, że nie można nimi zarządzać i analizować za pomocą typowych narzędzi oprogramowania bazodanowego.
- Zestawy te są zamiast tego analizowane obliczeniowo w celu ujawnienia wzorców, trendów i skojarzeń, zwłaszcza związanych z ludzkimi zachowaniami i interakcjami.
- Big data i analityka stały się głównym nurtem wraz z nadejściem Internetu, handlu elektronicznego, mediów społecznościowych i wzajemnych powiązań urządzeń — wszystko to przyczyniło się do istotnego wzrostu ilości danych, które można analizować, niezbędnych do urzeczywistnienia dużych zbiorów danych.
- Gartner i IBM rozkładają big data na cztery V: objętość , prędkość , różnorodność i prawdziwość — każdy z nich jest elementem niezbędnym do przekształcenia big data w przynoszącą zysk wartość.
Czym są małe dane?
- Małe dane, również miara subiektywna, są definiowane jako zbiory danych wystarczająco małe pod względem objętości i formatu, aby były dostępne, informacyjne, wykonalne i zrozumiałe dla ludzi bez użycia złożonych systemów i maszyn do analizy.
- Małe dane nie stały się samodzielną kategorią aż do pojawienia się big data, a zatem stanowią pochodną tych ostatnich.
- Małe firmy rozważające strategię analityczną powinny początkowo skoncentrować się na wykorzystaniu małych danych do generowania praktycznych informacji o swoich klientach, zanim dojrzeją do aplikacji Big Data w celu przeprowadzenia bardziej nakazowych i predykcyjnych analiz.
Zdefiniuj analizę danych.
- Analityka danych to od dawna dyscyplina, w której wysoko wykwalifikowani statystycy i naukowcy zajmujący się danymi analizują statystycznie istotne (tj. duże) zestawy próbek przy użyciu zaawansowanych programów komputerowych w celu identyfikacji wzorców i trendów. Ta analiza dostarcza informacji przydatnych do podejmowania lepszych decyzji, przede wszystkim dotyczących interakcji z klientami.
- W ostatnich latach oprogramowanie umożliwiające tę pracę stało się bardziej dostępne, wydajne i łatwe w użyciu, umożliwiając tym samym pojawienie się i rozpoczęcie realizacji projektów, które wcześniej były domeną wysoko wykwalifikowanych specjalistów technicznych.
Wstęp
Dane i analityka szybko stały się modnymi hasłami w świecie biznesu. Trudno byłoby złamać dziennik bez odniesienia do firm myślących przyszłościowo, „inteligentnie wykorzystujących dane”, aby uzyskać wgląd w zachowanie klientów, przeprowadzić analizy ryzyka lub wydajniej zarządzać swoją infrastrukturą. Duże, bogate w dane firmy, zwłaszcza te z branży regulowanej, od lat angażują się w podejmowanie decyzji opartych na danych, czego najlepszym przykładem jest pionierska analiza danych w Capital One w celu lepszego zrozumienia swoich klientów — spostrzeżenia wykorzystywane następnie do uruchamiania hipertargetowanych i ogromnych skuteczne kampanie marketingowe, które doprowadziły do jej nieustannego sukcesu.
Jednak pomimo niszowych początków wykorzystanie danych szybko stało się głównym nurtem. Obecnie istnieje kilka wiarygodnych powodów, dla których dana firma, niezależnie od wielkości i siły roboczej, nie ma analityki jako podstawowego procesu/możliwości biznesowej. Tradycyjne zastrzeżenia, takie jak koszty, zasoby i doświadczenie, nie ograniczają już musztardy. Wręcz przeciwnie, dane generowane wewnętrznie szybko stają się wszechobecnym zasobem strategicznym, wykorzystywanym przez konkurencyjne firmy, które chcą pozostać konkurencyjne.
Ten artykuł ma na celu pobieżne wprowadzenie czytelników do świata danych i analityki, prowadząc Cię przez dynamikę rynku, narzędzia, graczy i rozwiązania unikalne dla obu, a następnie poświęcimy tę drugą połowę na praktyczny przewodnik po implementacji i ramy dla małych firm.
Przewodnik dla laika po dużych i małych danych
Wraz z nadejściem Internetu, a wraz z nim eCommerce, mediów społecznościowych i wzajemnych powiązań urządzeń, nastąpiła eksplozja ilości globalnie dostępnych i możliwych do analizy danych dla tych, którzy posiadają narzędzia do ich wykorzystania. Każdy tweet, post, polubienie, przesunięcie w lewo, przesunięcie w prawo, dwukrotne dotknięcie, recenzja, tekst i transakcja — każdy z nich to dane, które można wykorzystać do mapowania naszych cyfrowych śladów, które mówią wszystko o tym, kim jesteśmy, jak podejmujemy decyzje, gdzie i dlaczego. Te dane, odpowiednio nazywane „dużymi danymi” ze względu na ogrom, głębię i złożoność ich formy, otworzyły morze możliwości w analityce preskryptywnej i predykcyjnej, umożliwiając hiperpersonalizację tak wielu produktów, które spożywamy codziennie.
Formalnie big data opisuje duże zbiory danych, które można analizować obliczeniowo w celu ujawnienia wzorców, trendów i powiązań, najczęściej związanych z ludzkimi zachowaniami i interakcjami. Aby dane można było nazwać „dużymi”, zbiór/bank musi być tak duży, że wymaga zaawansowanych metod przetwarzania danych i złożonych systemów do wydobycia z nich wartości.
W raporcie badawczym z 2001 r. META Group (obecnie Gartner) ujęła duże zbiory danych w trzech wymiarach, zwanych trzema V danych. Są to: Głośność (ilość), Prędkość (szybkość generowania/przesyłania) i Różnorodność (zakres typu i źródła). Te trzy „V” zostały następnie rozszerzone przez IBM do czterech „V”, aby uwzględnić Veracity (jakość/integralność) danych jako ostateczny wymiar wymagany do uchwycenia wartości.
…ale prawdopodobnie słyszałeś już o big data. Z drugiej strony, małe dane to podklasa danych uznanych za wystarczająco skromne, aby były dostępne, informacyjne i przydatne dla ludzi, bez potrzeby stosowania nadmiernie skomplikowanych narzędzi analitycznych. Najlepiej zredagował to były konsultant McKinsey, Allen Bonde, „Wielkie dane dotyczą maszyn, podczas gdy małe dane dotyczą ludzi” — w szczególności istotne spostrzeżenia zorganizowane i zapakowane w celu ustalenia przyczyn, wzorców i powodów „dlaczego” dotyczących ludzi.
Analityka oparta na SaaS
Wraz ze wzrostem dostępności i użyteczności danych pojawiła się samodzielna branża analityczna. Analityka, niegdyś skupiająca wyłącznie statystyków, badaczy danych i analityków na poziomie magisterskim i doktoranckim, przekształciła się w branżę funkcjonalnych, ale tanich, samoobsługowych platform oprogramowania jako usługi (SaaS), które umożliwiają nawet najbardziej nowicjuszy użytkowników w celu wydobycia wartości ze swoich danych. Mniejsze firmy, którym wcześniej brakowało wiedzy specjalistycznej lub budżetów wymaganych do przeprowadzenia tego rodzaju analizy, obecnie konkurują na równych zasadach ze swoimi lepiej wyposażonymi odpowiednikami i ustanawiają możliwe do obrony punkty na swoich rynkach.
Oprócz korzyści kosztowych modelu SaaS, badania przeprowadzone przez Aberdeen Group, firmę badającą technologie i usługi, pokazują, że organizacje stosujące narzędzia SaaS mają dwa razy więcej pracowników, którzy instynktownie wykorzystują dane do podejmowania decyzji i osiągania celów ROI 40% szybciej niż te, które tego nie robią. W przypadku większości firm raporty e-mail marketingowe, Google Analytics i inne internetowe narzędzia analityczne stron trzecich są już aktywnie używane, oprócz wewnętrznie generowanych raportów z systemów księgowych, marketingowych, ERP i CRM i są używane jako główny mechanizm zarabiać na swoich niewielkich danych.
Co więcej, i chociaż jest to duży i rozwijający się rynek, którego precyzyjny pomiar może być trudny, IDC szacuje światowy rynek narzędzi do wywiadu biznesowego i analityki na prawie 14 miliardów dolarów w 2017 r., co oznacza wzrost w tempie 11,7% rok do roku, dzięki firmie Forrester Research , globalna firma zajmująca się badaniem rynku, prognozująca CAGR na poziomie 15% do 2021 r.
Dane dotyczące udziału w rynku
Nic dziwnego, że rynek narzędzi i rozwiązań analitycznych jest zdominowany przez starą gwardię firm programistycznych — takich jak SAP, IBM, Oracle i Microsoft. W 2015 r. firma SAP była liderem rynku z 10% udziałem w rynku i przychodami z produktów analitycznych i analityki biznesowej (BI) w wysokości 1,2 miliarda USD; SAS Institute zajął drugie miejsce z 9% udziałem; IBM na trzecim miejscu z 8% oraz Oracle i Microsoft na odpowiednio czwartym i piątym miejscu z 7% i 5%. Co ciekawe, udział w rynku pięciu największych dostawców spada ze względu na ponadrynkowy wzrost start-upów wspieranych kapitałem wysokiego ryzyka, takich jak Sentiment Strategies, Tableau i Teradata, co sugeruje, że duża część przyszłego wzrostu branży będzie generowana przez mniejsze, szybsze, sprawniejsze firmy.
Przewodnik wdrażania analizy danych dla małych firm
Na najwyższym możliwym poziomie kultura zorientowana na dane daje kierownictwu większą pewność, że jest w stanie podejmować najlepsze możliwe decyzje, często i konsekwentnie, pracując w oparciu o tę samą wersję prawdy — przejrzystą, wymierną. W końcu większość z nas siedziała na sesjach, podczas których walczący ze sobą dyrektorzy przedstawiali/bronili różne argumenty, opierając się na różnych źródłach anegdotycznych, wzorcach faktów i interpretacjach, szybko poddając w wątpliwość integralność danych wejściowych, a tym samym wyników. Tak więc pierwszą decyzją, którą musi podjąć dana mała firma, która chce podążać ścieżką analizy danych, jest to, czy ta firma naprawdę chce stać się organizacją opartą na danych.
Po podjęciu tej odgórnej decyzji należy ustanowić ramy w celu optymalizacji potencjału i użyteczności nowego priorytetu strategicznego. Na początek należy zadać kilka pytań. Po pierwsze, jakie są krótko- i długoterminowe cele danej firmy, projektu, inicjatywy lub działu? Po drugie, kto powinien być odpowiedzialny za wysiłek i jego rezultaty? Po trzecie, jakie konkretne problemy firma, projekt, inicjatywa lub dział stara się rozwiązać za pomocą danych? I po czwarte, jakich narzędzi należy użyć do kierowania inicjatywą?
Po uzyskaniu odpowiedzi na te pytania, następnym krokiem jest sformułowanie namacalnego planu realizacji, który przy odrobinie planowania, struktury organizacyjnej, kierunku odgórnego i oddolnego entuzjazmu, postawi organizację pod ręką, aby wygenerować realne i mierzalne wyniki bardziej konsekwentnie niż w przeszłości. Poniższy diagram ma na celu zapewnienie ram do rozważenia różnych elementów prostego podejścia do analizy danych.
Na pytanie o cele
To pierwsze ważne pytanie, na które należy odpowiedzieć. Na wysokim poziomie nadrzędnym celem każdej firmy, która chce wykorzystać swoje dane, jest opracowanie systematycznego procesu podejmowania rozsądnych decyzji biznesowych — procesu, który jest spójny i powtarzalny oraz daje wymiernie lepsze wyniki. W tym momencie należy zauważyć, że stanie się solidną organizacją zorientowaną na dane jest podróżą, a nie celem, i jako takie „wkupienie” od góry i konsensus od dołu są ważnymi krokami podstawowymi, które okażą się krytyczne. do masowego przyjęcia i w pełni wykorzystanych zasobów analitycznych. Po osiągnięciu wpisowego, wypróbowanym i przetestowanym następnym krokiem jest strategiczne zaaranżowanie kilku „szybkich wygranych”, aby podnieść poziom emocji i zaangażowania potrzebnego do doprowadzenia tego procesu do skutku. Budowanie konsensusu, wpisowe i szybkie wygrane, zarówno badania, jak i moje doświadczenia dyktują podejście wdrożeniowe, które zakłada następującą strukturę, kolejność i rozważania:

Zacznij od analizy opisowej — prostego wizualnego pulpitu nawigacyjnego, który podkreśla wydajność firmy przy użyciu istniejących danych transakcyjnych, aby wyciągnąć wnioski, które wcześniej okazywały się niejednoznaczne bez wymiernych danych. Następnie opracuj możliwości drążenia w swoim pulpicie nawigacyjnym, udostępniając spostrzeżenia, wnioski dotyczące wydajności i instrukcje samopomocy w sposób strategiczny i z odpowiednimi współpracownikami/osobami wpływającymi na organizację. Rozpocznie to zarówno proces rozpowszechniania wśród podwładnych, jak i kulturę polegania na danych, którą chcesz kultywować.
Etap drugi: Przejdź do bardziej zaawansowanych funkcji analizy predykcyjnej, korzystając z wewnętrznych zasobów technicznych lub z pomocą dostawców zewnętrznych. Te możliwości predykcyjne łączą zarówno wewnętrzne, jak i zewnętrzne źródła danych, aby lepiej odpowiadać na konkretne pytania biznesowe, takie jak „Jakie jest prawdopodobieństwo wystąpienia błędu klienta?” lub „Klienci, którzy kupują x, zazwyczaj kupują również y” i zapewniają rzeczywiste czasowy wgląd w wydajność działu lub danej inicjatywy. „Zewnętrzne źródła danych” w tym przypadku obejmują dane z mediów społecznościowych, dane dotyczące sił sprzedaży lub dane dotyczące doświadczenia użytkownika, z których wszystkie zapewniają bogate i statystycznie istotne źródła wglądu, przy czym dane wewnętrzne są nadal zbyt ograniczone, aby można je było wykorzystać samodzielnie.
Trzecim etapem jest przejście do zaawansowanej, nakazowej analizy, która pomaga określić odpowiednie działania mające na celu ukierunkowanie/zapobieganie zachowaniu konsumentów, korporacji, konkurentów, pracowników lub dostawców na tle danych historycznych. Należy jednak zauważyć, że ten etap zwykle zaczyna oznaczać przejście od małych danych do dużych; a jednak jest to niezbędny krok, który należy włączyć do procesu decyzyjnego w całej firmie, aby zapewnić najwyższy poziom integralności wejścia-wyjścia i spójności w podejmowaniu decyzji.
Szczegółowy wgląd w różne etapy analizy
Analityka opisowa – pulpity nawigacyjne
Truizmem jest, że zarządza się tym, co jest mierzone, a zatem dzięki opracowaniu jednej prawdy deterministycznej danych liderzy w organizacji są w stanie podejmować rozsądniejsze, bardziej ujednolicone decyzje. Pulpity nawigacyjne są punktem wyjścia takich podróży analitycznych i wizualną ilustracją deterministycznej prawdy firmy. Oczywiście to, co jest istotne dla jednej grupy, może być bez znaczenia dla innej, dlatego należy zwrócić należytą uwagę na cel lub temat danego pulpitu nawigacyjnego, jakie informacje powinny być zawarte, kim jest odpowiedni odbiorca dla jego treści i jakie pytanie/problem polega na tym, że wspomniana grupa poszukuje odpowiedzi/rozwiązania.
Dobrze zaprojektowane kokpity menedżerskie napędzają podejmowanie decyzji, a nie po prostu prezentują historyczne informacje, a najlepsze z nich skutecznie skupiają uwagę na trendach i powtarzających się wzorcach (zarówno pozytywnych, jak i negatywnych), jednocześnie dokładnie ilustrując istotę biznesu. Bardziej wyrafinowane pulpity nawigacyjne zapewniają możliwości drążenia, które umożliwiają liderom dotarcie do głównych przyczyn zdiagnozowanego problemu za pomocą funkcji adnotacji i udostępniania, które umożliwiają bardziej dynamiczne przeglądanie w czasie rzeczywistym.
Analityka predykcyjna — łączenie danych, eksploracja i zapytania
Gdy proces dashboardu zostanie zakończony, aspirująca organizacja oparta na danych może zacząć stawać się bardziej ambitna. W tym celu typowym następnym krokiem jest „wykorzystanie obszernych i zróżnicowanych danych w celu przeprowadzenia bardziej zaawansowanej analizy i zapewnienia dalszego wymiaru sferze decyzyjnej”. Łącząc dane specyficzne dla firmy, dodatkowo wzbogacone z danymi stron trzecich, od sprzedawców branżowych, takich jak Experian, Acxiom i D&B po media społecznościowe lub dostawców danych sprzedażowych, takich jak Facebook, Twitter i Salesforce, dana firma może badać większe, szersze, bardziej zróżnicowane i statystycznie istotne zestawy zapewniające nowy i lepszy wgląd w wyniki firmy i zachowania klientów.
Analityka nakazowa — wdrażanie analiz w procesach biznesowych
Firmy na poziomie korporacyjnym, które mają różne potrzeby w zakresie danych, klientów, przepisów i określonych problemów/problemów biznesowych oraz mają różne budżety i wewnętrzne umiejętności, prawdopodobnie będą miały dostawców technologii, którzy zaspokoją ich bardziej unikalne potrzeby. Działają na skalę, w której zdolność do operacjonalizacji analiz w ich procesach biznesowych i przepływach pracy staje się ważniejsza i bardziej ekonomiczna. Często firmy te działają w branżach regulowanych, w których muszą być w stanie wykazać, że stosują uczciwe i powtarzalne metody leczenia.
Pożyczkodawcy nie wykazują żadnych uprzedzeń w swojej polityce kredytowej, czy to ze względu na płeć, dochód czy rasę.
Na pytanie o odpowiedzialność
Czym innym jest określenie konkretnego działania, a czym innym jego realizacja. Musi istnieć związek między diagnozą, receptą i decyzją a osobą/grupą odpowiedzialną za pożądany wynik. To tutaj ważna staje się rola sponsora wykonawczego.
Zarówno w małych, jak i dużych firmach wspomniany sponsor wykonawczy — nominowany orędownik wzbogacania danych i de facto główny specjalista ds. danych — jest osobą, zwykle dyrektorem generalnym, dyrektorem finansowym lub dyrektorem ds. marketingu na początku, już przesiąkniętym danymi i analizami, dostrojonym do rodzaj problemów, które najlepiej rozwiązywać za pomocą danych, a przynajmniej wierzy w transformacyjny potencjał analityki danych.
Oprócz tego protagonisty proces zazwyczaj wymaga również drugorzędnego, bardziej praktycznego bohatera, zwłaszcza gdy firma zacznie przechodzić od analizy opisowej do predykcyjnej. Tradycyjnie osoba ta była technicznie wyszkolonym, wewnętrznym analitykiem danych, ale ostatnio przybrała postać entuzjasty technologii, często określanego jako analityk danych obywatelskich. Ta osoba zazwyczaj dokonuje samo-selekcji — samozwańczy dżokej z arkuszami kalkulacyjnymi z odpowiednią równowagą intelektualnej ciekawości i zręczności, ale chętny do życia w chwastach wdrażania. W wielu przypadkach osoba ta wyprzedza kierownictwo w rozpoznawaniu potencjalnego wpływu, jaki formalny proces analizy danych może wywrzeć na ich firmę, ale po prostu brakuje jej statusu lub wiarygodności wymaganej do sprzedania swojej wizji.
Do pytania o problem biznesowy
Każda odnosząca sukcesy i upadająca firma ma swój unikalny zestaw wyzwań, które można rozwiązać tylko poprzez odpowiednią kombinację zasobów, procesów i specyficznych dla niej możliwości. To powiedziawszy, rodzaje wyzwań biznesowych, które najlepiej nadają się do rozwiązania za pomocą danych, można najczęściej redukować, kategoryzować i rozwiązywać za pomocą struktury przedstawionej na wykresie 7.
Ponadto na przestrzeni lat opracowano kilka niepotwierdzonych wytycznych/parametrów, które dodatkowo optymalizują nie tylko szanse na zidentyfikowanie właściwych rodzajów problemów, które należy rozwiązać za pomocą danych, ale także ich szanse na pomyślne rozwiązanie. Te wytyczne/parametry są następujące: Najpierw wybierz proste, jasne pytania, których implikacje mają ogromne znaczenie; po drugie, szukając odpowiedzi na podstawie danych, kieruj się raczej praktycznością rozwiązania niż doskonałością akademickiej odpowiedzi; po trzecie, podczas przedstawiania diagnozy i rozwiązania należy mieć na uwadze charakter i bazę wiedzy odbiorców odbiorców; i wreszcie, wybieraj tylko problemy, które są mierzalne i policzalne przy użyciu już istniejących danych i rozwiązań, które w równym stopniu mogą być śledzone.
Na pytanie o właściwe narzędzia i metody
Ostatnie z naszych czterech podstawowych pytań ramowych, dotyczących budowania zrównoważonej organizacji zorientowanej na dane, dotyczy wyboru narzędzi, metod lub platform. W tym celu najpierw powiem, że narzędzia do analizy danych znacznie ewoluowały w ostatnich latach, z różnymi zaletami i wadami dla użytkownika biznesowego. Zalety to znaczny spadek kosztów związanych z dzierżawą takich narzędzi oraz wzrost listy funkcji i złożoność dostępnych opcji, ponieważ przeszły one z narzędzi specyficznych dla funkcji na platformy o pokrywającej się funkcjonalności. Co więcej, dostawcy SaaS oferują bezpłatne wersje próbne, aczkolwiek z ograniczeniami dotyczącymi ilości i typu danych; nowi klienci mają możliwość podjęcia świadomej decyzji o zakupie po przetestowaniu wielu platform.
Główną wadą tych platform jest to, że w dążeniu do zachowania konkurencyjności dostawcy tak agresywnie wprowadzali innowacje w kierunku złożoności, że ich oferty zbliżają się teraz do nasycenia funkcjami ofertami, które przekraczają użyteczność przeciętnego użytkownika biznesowego. Niefortunnym skutkiem jest przytłoczenie początkującego użytkownika, co utrudnia osiągnięcie omówionych wcześniej „szybkich wygranych”, a tym samym zmniejsza prawdopodobieństwo, że kultura danych zapanuje w danej firmie.
Na szczęście dostępnych jest wiele zasobów, które mogą pomóc potencjalnym użytkownikom, oceniać i porównywać konkurencyjne rozwiązania Business Intelligence, chociaż pewna wiedza na temat podstawowych wspólnych funkcji jest przydatna w ocenie ich pod kątem konkretnych potrzeb i priorytetów firmy. Niektóre z takich możliwości to: liczba i zakres połączeń danych, dostępność gotowych pulpitów nawigacyjnych, drążenie, możliwości publikowania i udostępniania, integracja z oprogramowaniem do mieszania i eksploracji danych, potencjał skalowania (zarówno w zakresie parametrów wolumenu, jak i różnorodności), liczba i dokładność podejść do modelowania oraz bazy referencyjne klientów w poszczególnych branżach. Chociaż w podsumowaniu trzeba przyznać, że jest to proste, wykres 7 powyżej przedstawia kilku kluczowych dostawców, którzy grają w różnych kategoriach (opisowe, predykcyjne, nakazowe).
Małe dane, duże możliwości
Pomimo niszowych początków, jasne jest, że analityka danych i rynek narzędzi analitycznych opartych na SaaS znacznie ewoluowały w ostatnich latach, z dużą korzyścią dla naukowców zajmujących się danymi obywatelskimi i ich firmy. Big data, small data, narzędzia samoobsługowe — każde z nich jest obecnie na tyle popularne, że zasługuje na rozważenie ich jako podstawowej kompetencji nawet najmniej technicznej firmy. Innymi słowy, przy tak dużej liczbie generowanych użytecznych, użytecznych danych i kosztach narzędzi samoobsługowych, które są odwrotnie proporcjonalne do oferowanych funkcji, niewiele będzie powodów, dla których nawet małe firmy nie zaczną wykorzystywać danych w jakimś stopniu.
Ten artykuł powinien zilustrować, że przy odrobinie planowania, ustalenia celów i wyboru patronów, nawet Twój startup może zacząć wyrównywać konkurencyjne szanse z tytanami branży, których zamierzasz zmienić, w procesie odblokowującym dla Ciebie ogromną wartość ekonomiczną i Twoich interesariuszy. Musisz tylko zacząć; więc śmiało — zacznij!