Poznawanie historii Business Intelligence

Co to jest analiza biznesowa?

Business Intelligence (BI), termin nieodłącznie związany obecnie z informatyką, ewoluuje od ponad 150 lat. Chociaż jego początki poprzedzają wynalezienie komputerów, dopiero po ich rozpowszechnieniu znaczenie BI zyskało na znaczeniu, a jego rozwój został odtąd połączony z ewolucją komputerów i baz danych.

BI za pomocą pióra i papieru

Pierwsze użycie terminu „wywiad gospodarczy” jest powszechnie przypisywane panu Richardowi Millerowi Devensowi w jego książce Cyclopadia of Commercial and Business Anegdotes, opublikowanej po raz pierwszy w 1865 roku. z informacji, aktywnie zbierając je i działając na ich podstawie przed konkurencją. Wskazało to na fakt, że bardziej wiarygodne było wykorzystanie danych i dowodów empirycznych niż instynktu przy opracowywaniu strategii biznesowej. Pomysł został dodatkowo rozwinięty przez innych, którzy dostrzegli wartość w informacji.

W ostatniej dekadzie XIX wieku Frederick Taylor wprowadził pierwszy sformalizowany system analityki biznesowej w Stanach Zjednoczonych. Jego system zarządzania naukowego rozpoczął się od studiów nad czasem, które analizowały techniki produkcji i ruchy ciała pracowników, aby znaleźć większą wydajność, która pobudziła produkcję przemysłową.

Taylor został konsultantem Henry'ego Forda, który na początku XX wieku zaczął mierzyć czas ukończenia każdego elementu jego Forda Model T na swojej linii montażowej. Jego praca i sukces zrewolucjonizowały przemysł wytwórczy na całym świecie. Jednak nadal używał do tego pióra i papieru.

Business Intelligence zyskuje dzięki komputerom

Komputery elektroniczne były embrionalne w latach 30. XX wieku, ale zostały szybko opracowane podczas II wojny światowej, w ramach wysiłków aliantów mających na celu złamanie niemieckich kodów.

Aż do lat pięćdziesiątych komputery do przechowywania danych wykorzystywały głównie karty perforowane lub taśmy perforowane. Były to ogromne stosy kart z małymi otworami, w których przechowywano informacje do przetworzenia przez komputery. Jednak w 1956 roku IBM wynalazł pierwszy dysk twardy, umożliwiający przechowywanie dużych ilości informacji przy większej elastyczności dostępu.

Niedługo potem, w 1958 roku, badacz IBM Hans Peter Luhn opublikował historyczny artykuł zatytułowany A Business Intelligence System. Teoretyzował na temat potencjału systemu „selektywnego rozpowszechniania” dokumentów do „punktów działania” w oparciu o „profile zainteresowań”. Jego praca ma niezwykłe znaczenie nawet do dnia dzisiejszego, ponieważ przewidział kilka trendów Business Intelligence, które są obecnie przełomowe, jako zdolność systemów informatycznych do uczenia się i przewidywania w oparciu o zainteresowania użytkowników. Dziś nazywamy to uczeniem maszynowym. Luhn jest powszechnie uznawany za ojca wywiadu gospodarczego.

Mimo że koncepcja zaproponowana przez Luhna przyciągnęła uwagę kilku zainteresowanych stron, pomysł ten był wówczas uważany za zbyt kosztowny, aby mógł mieć jakiekolwiek praktyczne zastosowanie. Potrzebny był większy postęp technologiczny, aby było to ekonomicznie opłacalne rozwiązanie.

W następnej dekadzie wykorzystanie komputerów eksplodowało, nawet biorąc pod uwagę, że każdy komputer był gigantyczną maszyną, która zajmowała całe piętro budynku i musiała być zarządzana przez kilku wysoko wykwalifikowanych inżynierów, aby działała prawidłowo. Eksperci ponownie zajęli się pomysłem wykorzystania komputerów do wyciągania wniosków z danych, ale głównym problemem był brak dostępnej scentralizowanej metody zgromadzenia wszystkich danych w jednym miejscu. Dane same w sobie nie mogą generować żadnych spostrzeżeń. Aby sprostać temu wyzwaniu, zaprojektowano pierwsze systemy zarządzania bazami danych. Później nazwano by je po prostu bazami danych. Ta pierwsza generacja pozwoliła na pierwsze przeszukanie bazy danych przy użyciu strategii drzew binarnych. Ta strategia, mimo że rozwiązała wówczas kilka problemów, jest obecnie uważana za zbyt ciężką i nieefektywną. Mimo to dla firm, które mogły sobie na to pozwolić, to nowe narzędzie zapewniło swoją wartość, służąc do ostatecznego wyciągania wniosków z dostępnych danych.

Ulepszenie technologii BI: duzi gracze wkraczają na boisko

W 1970 roku Edgar Codd z IBM opublikował artykuł zatytułowany A Relational Model of Data for Large Shared Data Banks. Utorowało drogę dla relacyjnych baz danych nowej generacji, umożliwiając znacznie większą pojemność przechowywania i manipulowania danymi. Jednak w dziwnym posunięciu IBM powstrzymał się od wdrożenia projektu Codda, aby zachować przychody ze swoich obecnych systemów baz danych. Dopiero gdy konkurenci zaczęli je wdrażać, IBM poszedł w ich ślady.

Do tego czasu istniało wystarczająco dużo rynku, aby mogli pojawić się pierwsi dostawcy analityki biznesowej. Wśród nich były SAP, Siebel i JD Edwards. W tamtym czasie nazywano je systemami wspomagania decyzji (DSS).

Dużym problemem w tym momencie było to, że te bazy danych miały problemy z „silosem”. Ze względu na to, że są bardzo jednowymiarowe, elastyczność ich zastosowania była bardzo ograniczona. Nawet proste problemy, takie jak jedna baza danych kodująca miasta jako „OH, NJ i NY”, podczas gdy inna używająca „Ohio, New Jersey i Nowy Jork” sprawiały, że porównywanie było trudnym zadaniem.

Pojawiały się jednak coraz bardziej udane przypadki opłacalnego wykorzystania danych. Jeden z najsłynniejszych w tym czasie pochodził z Nielsen. Używany do pomiarów oglądalności, narzędzie marketingowe znane jako ocena Nielsena służyło do mierzenia, ile osób oglądało dany program telewizyjny w dowolnym momencie, za pomocą urządzenia o nazwie Audimeter, które było podłączone do telewizora i nagrywało, który kanał był obserwowany.

Rankingi Nielsena zostały uznane za najczęściej oglądany krajowy raport ratingowy w branży telewizyjnej. Jednak cztery razy w roku miały miejsce „czarne tygodnie” – tygodnie, w których nie ogłaszano ocen Nielsena. Ponieważ nie było pewnego sposobu mierzenia oglądalności w tych „czarnych tygodniach”, sieci telewizyjne wypełniały swoje harmonogramy powtórkami.

Zarówno branża, jak i publiczność byli już przyzwyczajeni do „czarnych tygodni”, ale zakończyły się one we wrześniu 1973 roku. Nielsen wprowadził swój Storage Instantaneous Audimeter (SIA), łączący 1200 gospodarstw domowych bezpośrednio z komputerem Business Intelligence firmy na Florydzie. Mogło stworzyć krajowe oceny w zaledwie 36 godzin, znacznie mniej niż jeden do dwóch tygodni, jakie zajmował starszy system firmy. Oceny krajowe byłyby dostępne w każdy dzień tygodnia, w każdym tygodniu roku. Nie było już potrzeby „czarnych tygodni”, a dane były znacznie bardziej dostępne.

Pod koniec lat 70. Larry Ellison i dwóch przyjaciół wydali pierwszą komercyjną wersję bazy danych Oracle. Był to pierwszy na rynku prawdziwy system zarządzania relacyjnymi bazami danych, który zastąpił dotychczas stosowane idee hierarchicznych i sieciowych baz danych bardziej odporną strukturą, umożliwiającą znacznie bardziej elastyczne wyszukiwanie. Ta technologia będzie dyktować historię i trendy BI w nadchodzących dekadach.

Znaczenie BI rośnie: potrzebujemy więcej miejsca!

Niższe ceny przestrzeni dyskowej i lepsze bazy danych pozwoliły na stworzenie nowej generacji rozwiązań Business Intelligence. Ralph Kimball i Bill Inmon zaproponowali dwie różne, ale podobne strategie problemu posiadania wszystkich danych firmy w tym samym miejscu, aby móc je analizować. Były to hurtownie danych (DW). Inmon jest przez wielu uznawany za ojca hurtowni danych.

Hurtownie danych to bazy danych przeznaczone do agregowania dużej ilości danych z innych źródeł danych (głównie innych baz danych), co pozwala na znacznie głębszą analizę z możliwością odwoływania się do tych różnych źródeł. Wciąż jednak był zbyt techniczny i drogi. Raporty musiały być sporządzane i utrzymywane przez wielu kosztownych pracowników technicznych IT.

Najwyższe kierownictwo w tym czasie żyło dzięki wynikom rozwiązań BI, takich jak Crystal Reports i Microstrategy. I oczywiście był Microsoft Excel (wydany w 1985 roku). Business Intelligence stał się teraz integralną częścią narzędzi dostępnych w procesie podejmowania decyzji.

W 1989 roku Howard Dresdner z Grupy Gartner przyczynił się do spopularyzowania terminu „business intelligence”, używając go jako terminu parasolowego do opisania „koncepcji i metod usprawniania podejmowania decyzji biznesowych przy użyciu opartych na faktach systemów wsparcia”.

Analiza biznesowa 1.0

W latach 90. koszty hurtowni danych spadły wraz z wejściem na rynek większej liczby konkurentów i zapoznaniem się z technologią większej liczby specjalistów IT. To był okres „Business Intelligence 1.0”.

Dane były teraz powszechnie dostępne dla całego personelu korporacyjnego, a nie tylko dla kadry kierowniczej. Problem w tym momencie polegał jednak na tym, że zadawanie nowych pytań nadal było bardzo drogie. Po „zaprojektowaniu” pytania odpowiedź byłaby szybko dostępna, ale tylko na to pytanie.

Aby zmniejszyć ten wysiłek, opracowano kilka nowych narzędzi i „bloków konstrukcyjnych”, które przyspieszają proces różnych zapytań:

• ETL (wyodrębnianie, przekształcanie i ładowanie) to zestaw narzędzi, podobny do języka programowania, który ułatwia projektowanie przepływu danych w hurtowni danych.
• OLAP (przetwarzanie analityczne online) pomogło stworzyć różne opcje wizualizacji dla zapytanych danych, umożliwiając analitykom wyciąganie lepszych wniosków z dostępnych informacji.

Do dziś zarówno narzędzia ETL, jak i OLAP są nadal kluczowym elementem rozwiązań business intelligence.

Był to również okres, w którym popularne stały się systemy planowania zasobów przedsiębiorstwa (ERP). Są to ogromne platformy oprogramowania do zarządzania, które integrują aplikacje w celu zarządzania i automatyzacji aspektów działalności biznesowej. Dostarczały również ustrukturyzowane dane do hurtowni danych iw kolejnych latach miały stać się sercem każdej liczącej się firmy na świecie.

W 1995 roku Microsoft wypuścił Windows 95, pierwszy „przyjazny dla użytkownika” system operacyjny — a komputery stały się powszechnymi przedmiotami gospodarstwa domowego. Miałoby to ogromny wpływ na to, jak ludzie wytwarzali i konsumowali dane w kolejnych dekadach.

Zakłócenie BI: eksplozja danych w nowym tysiącleciu

Do roku 2000 rozwiązania Business Intelligence stały się już „must have” dla wszystkich średnich i dużych firm. Obecnie powszechnie uważano, że należy zachować konkurencyjność.

Z punktu widzenia dostawców rozwiązań, bogactwo rozwiązań zaczęło zrastać się w rękach kilku dużych konkurentów, takich jak IBM, Microsoft, SAP i Oracle.

W tym okresie pojawiło się kilka nowych koncepcji. Trudność w utrzymaniu aktualności hurtowni danych sprawiła, że ​​niektóre firmy ponownie przemyśliły swoje podejście, przekształcając DW w „jedyne źródło prawdy”. W przypadku już istniejących danych inne programy korzystałyby z informacji dostarczonych przez DW zamiast z własnych, eliminując w ten sposób większość problemów związanych z niekompatybilnością danych. Łatwiej było powiedzieć niż zrobić, dostarczając wielu wyzwań technicznych. Koncepcja była jednak na tyle użyteczna, że ​​w kolejnych latach dostępne na rynku rozwiązania dostosowywały się do tej strategii.

W miarę jak dane stawały się coraz liczniejsze, a narzędzia BI udowadniały swoją przydatność, prace rozwojowe zostały skierowane na zwiększenie szybkości, z jaką informacje będą udostępniane, oraz na zmniejszenie złożoności dostępu do nich. Narzędzia stały się łatwiejsze w użyciu, a osoby nietechniczne mogły już samodzielnie gromadzić dane i uzyskiwać informacje, bez pomocy wsparcia technicznego.

Na początku XXI wieku boom platform społecznościowych utorował drogę opinii publicznej do swobodnego dostępu do Internetu, a zainteresowane strony mogły gromadzić (lub „wydobywać”) dane i je analizować. Do 2005 r. rosnąca łączność świata biznesu oznaczała, że ​​firmy potrzebowały informacji w czasie rzeczywistym, dzięki którym dane ze zdarzeń mogą być włączane do hurtowni danych tak, jak miały miejsce w czasie rzeczywistym.

W tym roku wprowadzono Google Analytics, zapewniając użytkownikom bezpłatny sposób na analizę danych ich witryn. Jest to również rok, w którym po raz pierwszy użyto terminu big data . Roger Magoulas z O'Reilly Media użył go w odniesieniu do „dużego zestawu danych, których zarządzanie i przetwarzanie przy użyciu tradycyjnych narzędzi analizy biznesowej jest prawie niemożliwe”.

Aby poradzić sobie z dodatkową przestrzenią dyskową i mocą obliczeniową wymaganą do zarządzania tą wykładniczo rosnącą ilością danych, firmy zaczęły szukać innych rozwiązań. Budowanie większych i szybszych komputerów nie wchodziło w rachubę, więc używanie kilku maszyn jednocześnie stało się lepszą opcją. To były nasiona przetwarzania w chmurze .

Współczesne zastosowania BI

W ciągu ostatnich 10 lat big data, cloud computing i data science stały się słowami znanymi prawie każdemu. W tej chwili trudno jest stwierdzić, które z nowych osiągnięć miały największy wpływ w ostatnich latach. Istnieje jednak kilka interesujących przypadków, które pokazały rosnącą moc nowoczesnych narzędzi analitycznych.

Reklamy, pliki cookie i AdTech

W 2012 roku The New York Times opublikował artykuł opisujący, jak Target przypadkowo odkrył ciążę nastolatki w liceum przed jej rodzicami. Poprzez analizy zidentyfikowali 25 produktów, które kupowane razem wskazują, że kobieta prawdopodobnie jest w ciąży. Wartość tych informacji polegała na tym, że Target mógł wysyłać kobiecie w ciąży kupony w okresie, w którym nawyki zakupowe kobiety mogą ulec zmianie.

Rozwścieczony ojciec wszedł do Targetu pod Minneapolis i zażądał spotkania z kierownikiem. Narzekał, że jej córka otrzymywała kupony na ubranka dla dzieci, mimo że była jeszcze w liceum. Kierownik przeprosił głęboko w imieniu firmy, ale kilka dni później ojciec oddzwonił z przeprosinami: „Okazuje się, że w moim domu były jakieś czynności, o których nie miałem pojęcia. Ma urodzić się w sierpniu. Jestem ci winien przeprosiny.

Ten anegdotyczny przykład pokazuje współczesną moc analizy danych.

Polityka

Strategia kampanii reelekcji Obamy była mocno zbudowana na analizach. Wielu specjalistów wskazuje go jako jeden z głównych powodów jego sukcesu. Strategia, zaprojektowana przez kierownika kampanii Jima Messinę, koncentrowała się na zbieraniu danych o wyborcach i wykorzystywaniu ich do zapewnienia, że ​​1) zarejestrują się do głosowania, 2) zostaną przekonani do głosowania na Obamę i 3) pojawią się, aby głosować w dniu wyborów. Część wysiłku wzięło około 100 analityków danych, korzystając ze środowiska działającego na HP Vertica i kodowanego w językach R i Stata.

Aby osiągnąć te cele, zastosowano kilka inicjatyw, z których jedną był Airwolf. Zbudowany w celu zintegrowania wysiłków zespołów terenowych i cyfrowych, zapewniał, że po skontaktowaniu się z wyborcą przez zespół terenowy w kampanii „od drzwi do drzwi” ich zainteresowania byłyby rejestrowane, dzięki czemu często otrzymywali e-maile od lokalnych organizatorów, specjalnie dostosowane do ulubionych tematów kampanii.

Dzięki odpowiednim narzędziom i danym analitycy mogą szybko i łatwo odpowiedzieć na niemal każde pytanie, bez względu na to, skąd pierwotnie pochodziły dane. Sukces kampanii Obamy sprawił, że środowiska analizy big data stały się standardem dla każdej kampanii od tamtego czasu.

Nauki ścisłe

Projekt ludzkiego genomu został ukończony w 2003 roku, ale pozostawił wiele pytań bez odpowiedzi. Pomimo mapowania całej sekwencji par zasad nukleotydów, które tworzą ludzkie DNA, prawdziwe zrozumienie działania genetyki człowieka wymagało bardziej intensywnych badań — i było to idealne zastosowanie do dużych zbiorów danych. Typowy ludzki genom zawiera ponad 20 000 genów, z których każdy składa się z milionów par zasad. Samo mapowanie genomu wymaga stu gigabajtów danych, a sekwencjonowanie wielu genomów i śledzenie interakcji genów mnoży tę liczbę wielokrotnie — w niektórych przypadkach setki petabajtów.

Wykorzystując analitykę w badaniu opublikowanym w 2016 roku, naukowcy z Uniwersytetu w Hajfie byli w stanie zaobserwować tak zwany „społeczny charakter” genów. Naukowcy od dawna chcieli dowiedzieć się, jak działają złożone efekty genetyczne, które biorą udział w powstawaniu złożonych chorób. Cel ten jest szczególnie trudny, ponieważ ekspresja genetyczna niektórych chorób zwykle pochodzi z kombinacji kilku oddziałujących ze sobą markerów genetycznych. Więc naukowcy nie tylko musieliby przeczesać całą sekwencję genetyczną, ale także musieliby śledzić interakcje między wieloma różnymi genami.

Mimo że wciąż istnieje wiele danych do przeanalizowania, toruje się droga do zrozumienia i wyleczenia ogromnej liczby defektów genetycznych, dużych i małych.

Droga przed nami

Doszliśmy teraz do czasu, w którym Facebook może rozpoznać Twoją twarz na zdjęciach, w którym Google może przewidzieć, jaki rodzaj reklamy najlepiej pasuje do Twojego profilu, a Netflix może podpowiedzieć Ci, które programy warto obejrzeć. To czas, kiedy możesz rozmawiać przez telefon, a nie tylko z kimś po drugiej stronie linii telefonicznej. Możliwość obsługi i przetwarzania ogromnych ilości danych była podstawowym krokiem do zrozumienia, jak powstały te cuda.

Big data to wciąż rosnący trend. Około 90% dostępnych danych powstało w ciągu ostatnich dwóch lat. Na konferencji Techonomy w 2010 r. Eric Schmidt stwierdził, że „od zarania cywilizacji do 2003 r. cały świat stworzył 5 eksabajtów informacji. Teraz ta sama ilość jest tworzona co dwa dni”.

Obsługa tak dużej ilości danych wciąż stanowi wiele wyzwań. Jakość danych, jeden z pierwszych i najstarszych problemów związanych z analizą biznesową, nadal jest wymagającą dziedziną. Analityka, zestaw umiejętności niezbędnych do zrozumienia ogromnego stosu danych gromadzonych przez firmy, jest również bardzo poszukiwany. Obecnie istnieje wiele odmian analityki: analityka opisowa, analityka predykcyjna, analityka nakazowa, analityka strumieniowa, analityka automatyczna itp. Analytics wykorzystuje kilka najnowocześniejszych technologii do wydobywania spostrzeżeń z danych, takich jak sztuczna inteligencja, uczenie maszynowe i wiele danych statystycznych modele. Wreszcie nadszedł czas, kiedy fajnie jest być matematykiem.

Narzędzia BI są obecnie często projektowane z myślą o konkretnej branży, czy to w służbie zdrowia, organach ścigania itp. Obecnie działają na wielu urządzeniach i korzystają z kilku narzędzi do wizualizacji, umożliwiając każdemu zastosowanie wnioskowania do danych za pomocą interaktywnych interfejsów wizualnych. Mobilne BI jest teraz rzeczywistością.

Łącząc mocne strony Big Data, uczenia maszynowego i analityki, Twoje życie może wyglądać zupełnie inaczej w przyszłości. Być może nie będziesz już musiał chodzić do sklepu spożywczego — Twoja lodówka zamówi to, czego najprawdopodobniej będziesz potrzebować, na podstawie Twoich nawyków żywieniowych. Możliwe, że nie zadzwonisz do swojego lekarza, aby powiedzieć, że jesteś chory, ponieważ zadzwonią do Ciebie, zanim zaczniesz odczuwać pierwsze objawy.

Ludzkość żyje obecnie w epoce informacji, a wywiad biznesowy jest kluczową cechą naszych czasów, pomagając nam zrozumieć to wszystko. Analityka biznesowa jest teraz nawet kierunkiem studiów na wielu uniwersytetach. Historia wywiadu biznesowego jest dość niedawna, ale z dnia na dzień przyspiesza i staje się coraz gęstsza. Najlepsze dni BI jeszcze przed nami.