Explorarea istoriei Business Intelligence

Ce este Business Intelligence?

Business intelligence (BI), un termen intrinsec asociat în prezent cu tehnologia informației, evoluează de peste 150 de ani. Deși originile sale sunt anterioare inventării computerelor, abia după ce au fost răspândite pe scară largă BI a crescut în relevanță și dezvoltarea sa a devenit de acum încolo asociată cu evoluția computerelor și bazelor de date.

BI folosind creion și hârtie

Prima utilizare a termenului „informații în afaceri” este atribuită pe scară largă domnului Richard Miller Devens, în cartea sa Cyclopadia of Commercial and Business Anecdotes, publicată pentru prima dată în 1865. El l-a folosit pentru a descrie modul în care Sir Henry Furnese, un bancher de succes, a profitat. din informații prin adunarea activă și acționarea asupra acestora înaintea concurenței sale. Acest lucru a subliniat faptul că a fost mai de încredere să se utilizeze date și dovezi empirice, mai degrabă decât instinctul instinctiv, pentru a dezvolta o strategie de afaceri. Ideea a fost îmbunătățită și mai mult de alții care au văzut valoare în informații.

În ultimul deceniu al anilor 1800, Frederick Taylor a introdus primul sistem oficial de analiză a afacerilor din Statele Unite. Sistemul său de management științific a început cu studii de timp care analizau tehnicile de producție și mișcările corpului muncitorilor pentru a găsi eficiențe mai mari care să stimuleze producția industrială.

Taylor a ajuns să devină consultant al lui Henry Ford, care la începutul anilor 1900 a început să măsoare timpul necesar fiecărei componente a modelului său Ford T pentru a fi finalizat pe linia sa de asamblare. Munca și succesul său au revoluționat industria de producție din întreaga lume. Cu toate acestea, a folosit în continuare pix și hârtie pentru asta.

Business Intelligence primește un impuls de la computere

Calculatoarele electronice au fost embrionare în anii 1930, dar au fost dezvoltate rapid în timpul celui de-al Doilea Război Mondial, ca parte a efortului aliaților de a sparge codurile germane.

Până în anii 1950, computerele se bazau mai ales pe carduri perforate sau benzi perforate pentru a stoca date. Acestea erau grămezi uriașe de carduri cu găuri mici în ele, care ar stoca informațiile pentru a fi procesate de computere. În 1956, totuși, IBM a inventat prima unitate de disc, făcând posibilă stocarea unor cantități mari de informații cu o mai mare flexibilitate de acces.

Nu după mult timp, în 1958, cercetătorul IBM Hans Peter Luhn a publicat o lucrare istorică numită A Business Intelligence System. El a teoretizat despre potențialul unui sistem de „diseminare selectivă” a documentelor către „puncte de acțiune” bazate pe „profiluri de interese”. Munca sa are o semnificație remarcabilă chiar și astăzi, deoarece a prezis mai multe tendințe de business intelligence care sunt de ultimă oră în zilele noastre, cum ar fi capacitatea sistemelor informaționale de a învăța și de a prezice pe baza intereselor utilizatorilor. Astăzi o numim învățare automată. Luhn este recunoscut popular ca părintele business intelligence.

Chiar dacă conceptul propus de Luhn a atras atenția mai multor părți interesate, ideea a fost considerată la acea vreme prea scumpă pentru a avea vreo utilizare practică. Era nevoie de mai mult progres tehnologic pentru a face din aceasta o soluție viabilă din punct de vedere economic.

În următorul deceniu, utilizarea computerelor a explodat, chiar și având în vedere că fiecare computer era o mașină gigantică care ocupa întreg etajul unei clădiri și trebuia condusă de mai mulți ingineri cu înaltă calificare pentru a funcționa corect. Experții au abordat din nou ideea utilizării computerelor pentru a extrage concluzii din date, dar principala problemă a fost că nu exista o metodă centralizată disponibilă pentru a reuni toate datele într-un singur loc. Datele, prin ele însele, nu au putut genera informații. Pentru a rezolva această provocare, au fost concepute primele sisteme de gestionare a bazelor de date. Mai târziu, ele s-ar numi pur și simplu baze de date. Această primă generație a permis primele căutări în baze de date, folosind o strategie de arbori binari. Această strategie, deși a rezolvat mai multe probleme la momentul respectiv, este considerată prea grea și ineficientă în zilele noastre. Chiar și așa, pentru companiile care și-o permiteau, acest nou instrument și-a oferit valoare, fiind folosit pentru a trage în final concluzii din datele disponibile.

Tehnologiile BI se îmbunătățesc: jucătorii mari intră pe teren

În 1970, Edgar Codd de la IBM a publicat o lucrare numită A Relational Model of Data for Large Shared Data Banks. A deschis drumul pentru bazele de date relaționale de generație următoare, permițând o capacitate mult mai largă de stocare și manipulare a datelor. Într-o mișcare ciudată, totuși, IBM s-a abținut de la implementarea designului Codd pentru a păstra veniturile pentru sistemele sale de baze de date actuale. Abia după ce concurenții au început să le implementeze IBM a urmat exemplul.

Până în acel moment, exista o piață suficientă pentru a permite să apară primii furnizori de informații de afaceri. Printre aceștia, au fost SAP, Siebel și JD Edwards. La acea vreme, ele erau numite sisteme de sprijinire a deciziilor (DSS).

Marea problemă în acest moment a fost că aceste baze de date sufereau de probleme „silo”. Datorită faptului că sunt foarte unidimensionale, flexibilitatea utilizării lor a fost foarte limitată. Chiar și probleme simple, cum ar fi o bază de date care codifică orașe ca „OH, NJ și NY”, în timp ce alta folosind „Ohio, New Jersey și New York” a făcut ca referințele încrucișate să fie o sarcină descurajantă.

Cu toate acestea, au apărut tot mai multe cazuri de succes de utilizare profitabilă a datelor. Unul dintre cei mai faimoși la acea vreme a venit de la Nielsen. Folosit pentru măsurarea audienței, instrumentul de marketing cunoscut sub numele de rating Nielsen a fost folosit pentru a măsura câți oameni urmăreau o anumită emisiune TV în orice moment, folosind un dispozitiv numit Audimeter, care era conectat la un televizor și înregistra ce canal. era urmărit.

Evaluările Nielsen au fost considerate cel mai căutat raport național de rating din industria TV. Cu toate acestea, de patru ori pe an, ar exista „săptămâni negre” – săptămâni în care evaluările Nielsen nu au fost raportate. Deoarece nu a existat o modalitate sigură de a măsura ratingurile în aceste „săptămâni negre”, rețelele TV și-au umplut programele cu reluări.

Atât industria, cât și publicul erau deja obișnuiți cu „săptămânile negre”, dar s-au încheiat în septembrie 1973. Nielsen a introdus Storage Instantaneous Audimeter (SIA), conectând 1.200 de gospodării direct la computerul de business intelligence al companiei din Florida. Ar putea produce evaluări naționale în doar 36 de ore, cu mult mai puțin decât a durat una sau două săptămâni pentru sistemul mai vechi al companiei. Evaluările naționale ar fi disponibile în fiecare zi a săptămânii, în fiecare săptămână a anului. Nu mai era nevoie de „săptămânile negre”, iar datele erau mult mai disponibile.

Aproape de sfârșitul anilor '70, Larry Ellison și doi prieteni au lansat prima versiune comercială a bazei de date Oracle. A fost primul adevărat sistem de management al bazelor de date relaționale de pe piață, înlocuind ideile folosite până atunci de baze de date ierarhice și baze de date de rețea pentru o structură mai robustă, care a permis căutări mult mai flexibile. Această tehnologie ar dicta istoria și tendințele BI în deceniile următoare.

Importanța BI crește: avem nevoie de mai mult spațiu!

Prețuri mai mici pentru spațiul de stocare și baze de date mai bune au permis următoarea generație de soluții de business intelligence. Ralph Kimball și Bill Inmon au propus două strategii diferite, dar similare problemei de a avea toate datele afacerii în același loc pentru a putea analiza. Acestea erau depozite de date (DW). Inmon este recunoscut de mulți drept părintele depozitului de date.

Depozitele de date sunt baze de date concepute pentru a agrega o mulțime de date din alte surse de date (mai ales alte baze de date), permițând o analiză mult mai profundă cu posibilitatea de a face referințe încrucișate la aceste surse diferite. Totuși, era încă prea tehnic și scump. Rapoartele trebuiau executate și întreținute de o mulțime de personal tehnic IT costisitor.

Managementul de vârf din acea vreme ar trăi pe baza rezultatelor soluțiilor BI precum Crystal Reports și Microstrategy. Și, desigur, a existat Microsoft Excel (lansat în 1985). Business intelligence a fost acum o parte integrantă a instrumentelor disponibile pentru procesul de luare a deciziilor.

În 1989, Howard Dresdner, de la Gartner Group, a contribuit la popularizarea termenului „business intelligence”, folosindu-l ca termen umbrelă pentru a descrie „conceptele și metodele de îmbunătățire a procesului de luare a deciziilor în afaceri prin utilizarea sistemelor de suport bazate pe fapte”.

Business Intelligence 1.0

În anii 90, costurile depozitelor de date au scăzut pe măsură ce mai mulți concurenți au intrat pe piață și mai mulți profesioniști IT s-au familiarizat cu tehnologia. Aceasta a fost perioada „Business Intelligence 1.0”.

Datele erau acum accesibile personalului corporativ în general, nu doar managementului de vârf. Cu toate acestea, problema în acest moment era că a pune întrebări noi era încă foarte costisitor. Odată ce o întrebare a fost „proiectată”, răspunsul va fi disponibil rapid, dar numai pentru acea întrebare.

Pentru a reduce acest efort, au fost dezvoltate câteva instrumente noi și „blocuri de bază” pentru a accelera procesul diferitelor interogări:

• ETL (extragere, transformare și încărcare) a fost un set de instrumente, asemănător unui limbaj de programare, care a facilitat proiectarea fluxului de date într-un depozit de date.
• OLAP (prelucrare analitică online) a ajutat la crearea diferitelor opțiuni de vizualizare pentru datele interogate, dând putere analiștilor să extragă concluzii mai bune din informațiile disponibile.

Până în prezent, atât instrumentele ETL, cât și OLAP sunt încă o parte crucială a soluțiilor de business intelligence.

Aceasta a fost și perioada în care sistemele de planificare a resurselor întreprinderii (ERP) au devenit populare. Acestea sunt platforme uriașe de software de management care integrează aplicații pentru a gestiona și automatiza aspecte ale unei afaceri. De asemenea, au furnizat date structurate pentru depozitele de date, iar în următorii ani aveau să devină inima fiecărei companii importante din lume.

În 1995, Microsoft a lansat Windows 95, primul sistem operațional „foarte ușor de utilizat”, iar computerele au devenit articole de uz casnic obișnuite. Acest lucru ar avea un impact profund asupra modului în care oamenii au produs și consumat date în următoarele decenii.

BI perturbat: explozia de date în noul mileniu

Până în anul 2000, soluțiile de business intelligence erau deja stabilite ca un „must have” pentru toate întreprinderile medii și mari. Acum era considerată pe scară largă o cerință pentru a rămâne competitiv.

Din perspectiva furnizorilor de soluții, abundența de soluții a început să se unească în mâinile câtorva concurenți mari, precum IBM, Microsoft, SAP și Oracle.

Câteva concepte noi au apărut în această perioadă. Dificultatea de a-și menține depozitele de date la zi le-a făcut pe unele companii să-și regândească abordarea, transformându-și DW-ul în „sursa unică de adevăr”. Pentru datele deja existente, alte programe ar folosi informațiile furnizate de DW în loc să le folosească pe ale lor, eliminând astfel majoritatea problemelor de incompatibilitate a datelor. A fost mai ușor de spus decât de făcut, oferind o mulțime de provocări tehnice. Conceptul, însă, a fost atât de util încât în ​​anii următori soluțiile disponibile pe piață s-au adaptat pentru a folosi această strategie.

Pe măsură ce datele au devenit din ce în ce mai abundente, iar instrumentele BI și-au dovedit utilitatea, efortul de dezvoltare a fost îndreptat spre creșterea vitezei cu care informațiile vor deveni disponibile și spre reducerea complexității accesării acestora. Instrumentele au devenit mai ușor de utilizat, iar persoanele netehnice puteau acum să adune date și să obțină informații singure, fără ajutorul suportului tehnic.

La începutul anilor 2000, boom-ul platformelor de rețele sociale a deschis calea pentru ca opinia publicului larg să fie disponibilă gratuit pe internet, iar părțile interesate puteau colecta (sau „a mea”) datele și le analiza. Până în 2005, interconectivitatea din ce în ce mai mare a lumii afacerilor a însemnat că companiile aveau nevoie de informații în timp real, unde datele de la evenimente să poată fi încorporate în depozitele de date așa cum se întâmplau în timp real.

Acesta este anul în care Google Analytics a fost introdus, oferind utilizatorilor o modalitate gratuită de a-și analiza datele site-ului. Acesta este și anul în care termenul de date mari a fost folosit pentru prima dată. Roger Magoulas, de la O'Reilly Media, l-a folosit pentru a se referi la „un set mare de date care este aproape imposibil de gestionat și procesat folosind instrumente tradiționale de business intelligence”.

Pentru a face față spațiului suplimentar de stocare și puterii de calcul necesare pentru a gestiona această cantitate de date în creștere exponențială, companiile au început să caute alte soluții. Construirea de computere mai mari și mai rapide a fost exclusă, așa că utilizarea mai multor mașini deodată a devenit o opțiune mai bună. Acestea au fost semințele cloud computing -ului.

Utilizări contemporane ale BI

În ultimii 10 ani, big data, cloud computing și știința datelor au devenit cuvinte cunoscute aproape de oricine. Este greu în acest moment să recunoaștem care progrese noi au avut cel mai mare impact în ultimii ani. Cu toate acestea, există câteva cazuri interesante care au arătat puterea în creștere a instrumentelor analitice moderne.

Publicitate, cookie-uri și AdTech

În 2012, The New York Times a publicat un articol care descrie modul în care Target a descoperit accidental sarcina unui adolescent de liceu înaintea părinților lor. Prin analize, ei au identificat 25 de produse care, atunci când sunt cumpărate împreună, indică că o femeie este probabil însărcinată. Valoarea acestor informații era că Target putea trimite cupoane femeii însărcinate într-o perioadă în care obiceiurile de cumpărături ale unei femei s-ar putea schimba.

Un tată furios a intrat într-o țintă din afara Minneapolis și a cerut să-l vadă pe manager. El s-a plâns că fiica ei a primit cupoane pentru haine pentru bebeluși, deși era încă în liceu. Managerul și-a cerut scuze profund în numele companiei, dar câteva zile mai târziu tatăl a sunat înapoi pentru a-și cere scuze: „Se pare că au fost niște activități în casa mea de care nu am fost pe deplin la curent. Urmează să apară în august. Iti datorez o scuza."

Acest exemplu anecdotic arată puterea contemporană a analizei datelor.

Politică

Strategia campaniei de realegere a lui Obama a fost construită în mare măsură pe analize. Mulți specialiști îl indică drept unul dintre principalele motive pentru succesul său. Strategia, concepută de managerul de campanie Jim Messina, s-a concentrat pe colectarea de date despre alegători și utilizarea acestora pentru a se asigura că 1) se vor înregistra pentru a vota, 2) vor fi convinși să voteze pentru Obama și 3) se vor prezenta la vot în ziua alegerilor. Aproximativ 100 de analiști de date au făcut parte din efort, folosind un mediu care rulează pe HP Vertica și codificat în R și Stata.

Au fost aplicate mai multe inițiative pentru atingerea acestor obiective, dintre care unul a fost Airwolf. Creat pentru a integra eforturile echipelor de teren și digitale, a asigurat că, odată ce un alegător a fost contactat de echipa de teren într-o campanie din ușă în ușă, interesele lor vor fi înregistrate, astfel încât să primească e-mailuri frecvente de la organizatorii locali, adaptate special. la problemele preferate ale campaniei fiecăruia.

Cu instrumentele și datele potrivite, analiștii puteau răspunde la aproape orice întrebare rapid și ușor, indiferent de unde provin inițial datele. Succesul campaniei Obama a făcut ca mediile de analiză a datelor mari să fie o cerință standard pentru fiecare campanie de atunci.

Ştiinţă

Proiectul genomului uman a fost finalizat în 2003, dar a lăsat multe întrebări fără răspuns. În ciuda cartografierii întregii secvențe de perechi de baze de nucleotide care alcătuiesc ADN-ul uman, înțelegerea cu adevărat a modului în care funcționează genetica umană a necesitat un studiu mai intens – și a fost o aplicație perfectă pentru big data. Un genom uman tipic conține mai mult de 20.000 de gene, fiecare fiind formată din milioane de perechi de baze. Simpla cartografiere a unui genom necesită o sută de gigaocteți de date, iar secvențierea mai multor genomuri și urmărirea interacțiunilor genelor multiplică acest număr de multe ori - sute de petabytes, în unele cazuri.

Aplicând analitice în studiul lor publicat în 2016, oamenii de știință de la Universitatea din Haifa au putut observa ceea ce se numește „caracterul social” al genelor. Ceea ce oamenii de știință și-au dorit de mult să descopere este funcționarea interioară a efectelor genetice complexe care participă la crearea unor boli complexe. Acest obiectiv a fost deosebit de dificil, deoarece expresiile genetice ale anumitor boli provin de obicei din combinația mai multor markeri genetici care interacționează între ei. Deci, nu numai că cercetătorii ar trebui să parcurgă o întreagă secvență genetică, dar ar trebui să urmărească și interacțiunile dintre mai multe gene diferite.

Chiar dacă există încă o mulțime de date de analizat, calea este deschisă pentru înțelegerea și vindecarea unui număr imens de defecte genetice, mari și mici.

Drumul Înainte

Ajungem acum la un moment în care Facebook vă poate recunoaște fața în imagini, în care Google poate prezice ce tip de reclamă s-ar potrivi cel mai bine profilului dvs., în care Netflix vă poate oferi sugestii despre ce emisiuni să vizionați. Este un moment în care poți vorbi cu telefonul tău, nu doar cu cineva de cealaltă parte a liniei telefonice. A fi capabil să manipuleze și să proceseze cantități uriașe de date a fost un pas primordial pentru a înțelege cum au apărut aceste minuni.

Big data este încă o tendință în creștere. Aproximativ 90% din datele disponibile au fost create în ultimii doi ani. La conferința Techonomy, din 2010, Eric Schmidt a afirmat că „au fost 5 exaocteți de informații creați de întreaga lume între zorii civilizației și 2003. Acum aceeași cantitate este creată la fiecare două zile”.

Gestionarea unei cantități atât de mari de date prezintă încă multe provocări. Calitatea datelor, una dintre primele și cele mai vechi dureri de cap ale business intelligence, este încă un domeniu solicitant. Analytics, setul de abilități necesare pentru a înțelege grămada de date pe care companiile le adună, este, de asemenea, la mare căutare. Acum există multe variante de analiză: analiză descriptivă, analiză predictivă, analiză prescriptivă, analiză în flux, analiză automată etc. Analytics utilizează mai multe tehnologii de ultimă oră pentru a extrage informații din date, cum ar fi inteligența artificială, învățarea automată și multe statistici. modele. Este, în sfârșit, un moment în care este cool să fii matematician.

Instrumentele BI sunt acum adesea concepute având în vedere o anumită industrie, fie că este vorba de asistență medicală, de aplicare a legii etc. Acum funcționează pe mai multe dispozitive și utilizează mai multe instrumente de vizualizare, permițând oricui să aplice raționamentul datelor prin interfețe vizuale interactive. Mobile BI este acum o realitate.

Combinând punctele forte ale datelor mari, ale învățării automate și ale analizei, viața ta ar putea fi foarte diferită în viitor. Poate că s-ar putea să nu mai fie nevoie să mergi la magazinul alimentar – frigiderul tău va comanda ceea ce vei avea cel mai probabil nevoie, în funcție de obiceiurile tale alimentare. Probabil, nu-ți vei suna medicul pentru a-ți spune că ești bolnav, pentru că te va suna chiar înainte de a începe să simți primele simptome.

Omenirea trăiește acum în era informației, iar business intelligence este o caracteristică crucială a timpului nostru, ajutându-ne să înțelegem totul. Analiza afacerilor este acum chiar un program de studii la multe universități. Istoria business intelligence este destul de recentă, dar se accelerează și devine din ce în ce mai densă pe zi ce trece. Cele mai bune zile ale BI sunt încă în fața noastră.