Date mici, oportunitati mari

Publicat: 2022-03-11

Rezumat

Ce este big data?
  • „Big data” este o măsură subiectivă care descrie seturi de date atât de mari încât nu pot fi gestionate și analizate de instrumentele software tipice pentru baze de date.
  • Aceste seturi sunt, în schimb, analizate computațional pentru a dezvălui modele, tendințe și asocieri, în special în ceea ce privește comportamentul uman și interacțiunile.
  • Datele mari și analiza au devenit curente principale odată cu apariția internetului, comerțului electronic, a rețelelor sociale și a interconectării dispozitivelor - toate acestea au contribuit la creșterea materială a volumului de date analizabile necesare pentru ca datele mari să devină o realitate.
  • Gartner și IBM deconstruiesc datele mari în cele patru vs: volum , viteză , varietate și veridicitate — fiecare parte constitutivă necesară pentru a transforma datele mari în valoare monetizabilă.
Ce sunt datele mici?
  • Datele mici, de asemenea o măsură subiectivă, sunt definite ca seturi de date suficient de mici ca volum și format pentru a le face accesibile, informative, acționabile și inteligibile de către oameni, fără a utiliza sisteme și mașini complexe pentru analiză.
  • Datele mici nu s-au stabilit ca categorie de sine stătătoare până la apariția datelor mari și, prin urmare, reprezintă un derivat al acestora din urmă.
  • Întreprinderile mici care iau în considerare o strategie de analiză ar trebui să se concentreze inițial pe utilizarea datelor mici pentru a genera informații utile asupra clienților lor înainte de a se maturiza la aplicații de date mari pentru analize mai prescriptive și predictive.
Definiți analiza datelor.
  • Analiza datelor este disciplina de lungă durată în care statisticienii cu înaltă pregătire și oamenii de știință în date analizează seturi de eșantioane semnificative statistic (adică mari) folosind programe software sofisticate pentru a identifica modele și tendințe. Această analiză permite informații utile pentru a lua decizii mai bune, în primul rând în ceea ce privește interacțiunile cu clienții.
  • În ultimii ani, software-ul care permite această activitate a devenit mai accesibil, mai puternic și mai ușor de utilizat, permițând astfel cetățeanului de știință de date să apară și să înceapă să întreprindă proiecte care erau anterior domeniului specialiștilor tehnici cu înaltă pregătire.

Introducere

Datele și analiza au devenit rapid cuvintele la modă ale zilei în lumea afacerilor. Ar fi greu să scrieți un jurnal fără vreo referire la companiile cu gândire de viitor „folosesc inteligent datele” pentru a culege informații despre comportamentul clienților, pentru a efectua analize de risc sau pentru a gestiona mai eficient infrastructura. Companiile mari, bogate în date, în special cele din varietatea reglementată, s-au angajat în luarea deciziilor bazate pe date de ani de zile, cel mai bine exemplificat de pionieratul Capital One în analiza datelor pentru a-și înțelege mai bine clienții — informații utilizate ulterior pentru a lansa un sistem hiper-direcționat și enorm. campanii de marketing de impact care au dus la succesul său fulgerător.

Dar, în ciuda începuturilor de nișă, utilizarea datelor a devenit rapid mainstream. Există astăzi puține motive credibile pentru ca o anumită companie, indiferent de dimensiune și forță de muncă, să nu aibă analiza ca proces/capacitate de bază. Obiecțiile tradiționale, cum ar fi costul, resursele și expertiza, nu mai taie muștarul. Dimpotrivă, datele generate intern devin rapid un activ strategic omniprezent, exploatat la fel ca oricare altul, de către companiile competitive care doresc să rămână competitive.

Acest articol urmărește să-și introducă în scurt timp cititorii în lumea datelor și a analizei, prezentându-vă prin dinamica pieței, instrumentele, jucătorii și soluțiile unice pentru ambele, înainte de a dedica a doua jumătate unui ghid de implementare practic și unui cadru pentru întreprinderile mici.

Un ghid pentru profane atât pentru datele mari, cât și pentru cele mici

Odată cu apariția internetului și odată cu el comerțul electronic, rețelele sociale și interconectarea dispozitivelor a avut loc o explozie a volumului de date disponibile și analizabile la nivel global pentru cei care dețin instrumentele necesare pentru a le valorifica. Fiecare tweet, postare, apreciere, glisare la stânga, glisare la dreapta, atingere dublă, revizuire, text și tranzacție - fiecare este date utilizabile pentru a mapa amprentele noastre digitale care spun totul despre cine suntem, cum luăm decizii, unde și de ce. Aceste date, numite în mod corespunzător „date mari” pentru vastitatea, profunzimea și complexitatea formei sale, au deschis o mare de posibilități în analiza prescriptivă și predictivă, făcând posibilă hiperpersonalizarea atât de multe dintre produsele pe care le consumăm zilnic.

Formal, big data descrie seturi mari de date care pot fi analizate computațional pentru a dezvălui modele, tendințe și asocieri, cel mai adesea legate de comportamentul și interacțiunile umane. Pentru ca datele să fie numite „mare”, setul/banca trebuie să fie atât de mare încât să necesite metode avansate de date și sisteme complexe pentru a extrage valoare din el.

Într-un raport de cercetare din 2001, Grupul META (acum Gartner) a încadrat big data în trei dimensiuni, numite Trei Vs ale datelor. Acestea sunt după cum urmează: Volumul (cantitatea), Viteza (viteza de generare/transmisie) și Varietate (gama de tip și sursă). Aceste trei V-uri au fost ulterior extinse în Four V-uri de către IBM, pentru a include Verabilitatea (calitate/integritate) a datelor ca dimensiune finală necesară pentru a capta valoare.

Graficul 1: Cele patru contra ale datelor mari

…dar probabil ați auzit deja de big data. Datele mici, pe de altă parte, sunt o subclasă de date considerată suficient de modestă pentru a le face accesibile, informative și acționabile de către oameni, fără a fi nevoie de instrumente analitice prea complexe. Cel mai bine redus de fostul consultant McKinsey Allen Bonde, „Datele mari sunt despre mașini, în timp ce datele mici sunt despre oameni” – în special, informații semnificative organizate și împachetate pentru derivarea cauzelor, modelelor și motivelor „de ce” despre oameni.

Analytics bazat pe SaaS

Odată cu creșterea atât a disponibilității, cât și a utilității datelor, a apărut apariția unei industrii de analiză de sine stătătoare. Odată bântuie exclusivă a statisticienilor de nivel de masterat și doctorat, cercetători de date și analiști, analitica a evoluat într-o industrie de platforme software-as-a-service (SaaS) cu autoservire, robuste din punct de vedere funcțional, dar cu costuri reduse, care permit chiar și cele mai multe începători ai utilizatorilor pentru a extrage valoare din datele lor. Companiile mai mici, cărora le lipseau anterior expertiza sau bugetele necesare pentru a executa acest tip de analiză, concurează acum pe picior de egalitate cu omologii lor cu resurse mai bune și stabilesc modalități de apărare pe piețele lor.

În plus față de beneficiile de cost ale modelului SaaS, cercetarea Aberdeen Group, o companie de cercetare în domeniul tehnologiei și serviciilor, ilustrează faptul că organizațiile care adoptă instrumente SaaS au de două ori mai mulți angajați care folosesc instinctiv datele pentru a lua decizii și pentru a-și atinge obiectivele de rentabilitate a investiției cu 40% mai repede decât cei care nu o fac. Pentru majoritatea companiilor, rapoartele de marketing prin e-mail, Google Analytics și alte instrumente de analiză web de la terțe părți sunt deja în uz activ, pe lângă rapoartele generate intern din sistemele de contabilitate, marketing, ERP și CRM și sunt utilizate ca mecanism principal pentru monetizarea datelor lor mici.

Mai mult decât atât, și deși este o piață mare și în creștere, a cărei măsurare precisă poate fi dificilă, IDC estimează piața mondială a instrumentelor de business intelligence și analiză la aproape 14 miliarde USD începând cu 2017, în creștere cu o rată de 11,7% față de anul trecut, cu Forrester Research. , o companie globală de cercetare a pieței, care estimează un CAGR de 15% până în 2021.

Date despre cota de piață

Deloc surprinzător, piața instrumentelor și soluțiilor de analiză este dominată de vechea gardă a companiilor de software - companii precum SAP, IBM, Oracle și Microsoft. Începând cu 2015, SAP a condus piața cu 10% cotă de piață și 1,2 miliarde USD în venituri din produse de analiză și business intelligence (BI); Institutul SAS a fost pe locul doi, cu o cotă de 9%; IBM, al treilea cu 8%, iar Oracle și Microsoft pe locurile patru și, respectiv, cinci, cu 7% și 5%. Interesant este că cota de piață a celor mai mari cinci furnizori a scăzut din cauza creșterii peste piață a startup-urilor susținute de capital de risc, cum ar fi Sentiment Strategies, Tableau și Teradata, ceea ce sugerează că o mare parte din creșterea viitoare a industriei va fi generată de mai mici, companii mai rapide, mai agile.

Graficul 2: Principalii furnizori de analize de date din SUA, cota de piață în funcție de companie

Un ghid de implementare a analizei datelor pentru companiile mici

La cel mai înalt nivel posibil, o cultură centrată pe date oferă managementului o mai mare încredere că este capabil să ia cele mai bune decizii posibile, adesea și în mod consecvent, în timp ce lucrează din aceeași versiune a adevărului – una transparentă, cuantificabilă. La urma urmei, cei mai mulți dintre noi au participat la sesiuni în care directori în conflict au prezentat/apărat diferite argumente, bazându-se pe diferite surse anecdotice, modele de fapte și interpretări, punând rapid sub semnul întrebării integritatea intrărilor și, prin urmare, a rezultatelor. Astfel, prima decizie care trebuie luată de o anumită întreprindere mică care încearcă să meargă pe drumul analizei datelor este dacă respectiva afacere caută cu adevărat să devină o organizație bazată pe date.

Odată luată această decizie de sus în jos, trebuie stabilit un cadru pentru a optimiza potențialul și utilitatea noii priorități strategice. Pentru început, trebuie puse câteva întrebări. Primul, care sunt obiectivele pe termen scurt și lung ale firmei, proiectului, inițiativei sau departamentului dat? În al doilea rând, cine ar trebui să fie responsabil pentru efort și rezultatele acestuia? În al treilea rând, ce probleme specifice încearcă să rezolve firma, proiectul, inițiativa sau departamentul cu date? Și în al patrulea rând, ce instrumente ar trebui folosite pentru a conduce inițiativa?

Odată ce s-a răspuns la aceste întrebări, următorul pas este formularea unui plan de execuție tangibil care, cu puțină planificare, structură organizațională, direcție de sus în jos și entuziasm de jos în sus, va poziționa organizația în cauză pentru a genera real și măsurabil. rezultate mai consistent decât a făcut-o în trecut. Diagrama de mai jos este concepută pentru a oferi un cadru pentru a lua în considerare diferitele elemente ale unei abordări simple de analiză a datelor.

Diagrama 3: Elemente rezumate, dimensiuni și considerații pentru o abordare a analizei datelor

La chestiunea obiectivelor

Aceasta este prima întrebare importantă pe care trebuie să o îndreptăm. La un nivel înalt, obiectivul superior pentru orice companie care dorește să-și folosească datele este să dezvolte un proces sistematic de luare a deciziilor de afaceri solide - un proces care este consecvent și repetabil și care dă rezultate mult mai bune. În acest moment, este important de remarcat că a deveni o organizație solidă, orientată spre date, este o călătorie și nu o destinație și, ca atare, „buy-in” din partea de sus și consensul din partea de jos sunt pași de bază importanți care se vor dovedi critici. la adoptarea în masă și activele analitice utilizate pe deplin. După ce s-a obținut un buy-in, următorul pas încercat și testat este aranjarea strategică a câtorva „câștiguri rapide” pentru a crește pragul de entuziasm și implicare necesare pentru a duce acest proces până la bun sfârșit. Construirea consensului, acceptarea și câștigurile rapide obținute, atât cercetarea, cât și experiențele mele dictează o abordare de implementare care presupune următoarea structură, succesiune și considerații:

Începeți cu analiza descriptivă — un tablou de bord vizual simplu care evidențiază performanța corporativă folosind datele tranzacționale existente pentru a trage concluzii care anterior s-au dovedit neconcludente fără date cuantificabile. Apoi, dezvoltați capabilități de detaliere în tabloul de bord, împărtășind informații, informații despre performanță și instrucțiuni de auto-ajutor în mod strategic și cu colegii/influenții organizaționali potriviți. Acest lucru va demara atât procesul de diseminare către subalternii lor, cât și cultura de dependență de date pe care doriți să o cultivați.

Etapa a doua: treceți la capabilități mai sofisticate de analiză predictivă, fie folosind resurse tehnice interne, fie cu ajutorul unor furnizori terți. Aceste capabilități de predicție combină atât surse de date interne, cât și surse externe pentru a răspunde mai bine la întrebări specifice de afaceri, cum ar fi „Care este probabilitatea ca un client să defecteze?” sau „Clienții care cumpără x, de obicei cumpără și y” și oferă informații reale. perspectivă în timp asupra performanței departamentului sau a unei anumite inițiative. „Surse de date externe” în acest caz includ date despre rețelele de socializare, datele forței de vânzări sau date despre experiența utilizatorului, toate acestea oferind surse bogate și semnificative statistic de informații, în care datele interne sunt încă prea limitate pentru a putea fi utilizate singure.

A treia etapă este trecerea la analize avansate, prescriptive, care ajută la determinarea acțiunii adecvate pentru a ghida/preempționa comportamentul consumatorilor, companiilor, concurenților, angajaților sau furnizorilor pe fundalul datelor istorice. Trebuie remarcat totuși că această etapă începe de obicei să marcheze tranziția de la date mici la date mari; și totuși, este un pas necesar care ar trebui încorporat în procesul decizional la nivel de companie pentru a asigura cele mai înalte niveluri de integritate și coerență în luarea deciziilor.

Graficul 4: Cadrul pentru identificarea scopurilor și obiectivelor de către o organizație capabilă de analiză

Vedere detaliată a diferitelor etape ale analizei

Analiză descriptivă – Tablouri de bord

Este un truism că ceea ce este măsurat este gestionat și astfel, prin dezvoltarea unui singur adevăr determinist al datelor, liderii din cadrul unei organizații sunt mai capabili să ia decizii mai sănătoase și mai unificate. Tablourile de bord sunt punctul de plecare al unor astfel de călătorii de analiză și ilustrarea vizuală a adevărului determinist al datelor unei companii. Desigur, ceea ce este relevant pentru un grup poate fi lipsit de sens pentru altul, așa că ar trebui să se acorde atenția cuvenită scopului sau temei unui anumit tablou de bord, ce informații ar trebui incluse, cine este publicul receptor relevant pentru conținutul său și care este întrebarea/problema este că respectivul grup încearcă să răspundă/rezolvarea.

Graficul 5: Exemplu de tablou de bord pentru analiza vânzărilor

Diagrama 6: Eșantion de tablou de bord Analytics pentru comerțul electronic

Tablourile de bord bine concepute stimulează luarea deciziilor, mai degrabă decât să prezinte pur și simplu informații istorice, iar cele mai bune concentrează în mod eficient atenția asupra tendințelor și modelelor recurente (atât pozitive, cât și negative), ilustrând în același timp cu acuratețe elementele vitale ale unei afaceri. Tablourile de bord mai sofisticate oferă capabilități de detaliere care le permit liderilor să ajungă la cauzele fundamentale ale unei probleme diagnosticate cu capabilități de adnotare și partajare care permit o vizualizare mai dinamică, în timp real.

Analiza predictivă – Combinarea datelor, explorare și interogare

Odată ce procesul tabloului de bord este finalizat, organizația care aspiră bazată pe date poate începe să devină mai ambițioasă. În acest sens, un următor pas tipic este „utilizarea datelor voluminoase și variate pentru a efectua analize mai avansate și pentru a oferi o dimensiune suplimentară domeniului decizional”. Prin combinarea datelor specifice companiei, îmbogățite și mai mult cu cele ale terților, de la furnizori specifici verticali, cum ar fi Experian, Acxiom și D&B, până la furnizori de rețele sociale sau de date despre vânzări, cum ar fi Facebook, Twitter și Salesforce, firma respectivă poate explora mai multe, seturi mai largi, mai variate și semnificative din punct de vedere statistic pentru perspective noi și mai bune asupra performanței companiei și a comportamentului clienților.

Analiza prescriptivă – Implementarea analizei în procesele de afaceri

Companiile la nivel de întreprindere cu nevoi diferite în ceea ce privește datele, clienții, reglementările și problemele/problemele specifice de afaceri și cu bugete și aptitudini interne diferite vor avea probabil furnizori de tehnologie care să le răspundă nevoilor mai unice. Aceștia operează la o scară în care capacitatea de a opera analitice în procesele și fluxurile lor de lucru devine mai importantă și mai economică. Adesea, aceste companii vor fi în industrii reglementate în care trebuie să poată demonstra că au tratamente corecte și repetabile.

Creditorii nu manifestă nicio părtinire în politicile lor de creditare, fie pentru sex, venit sau rasă.

La chestiunea responsabilității

Una este să determinați o anumită acțiune și alta să o implementați. Trebuie să existe o legătură între diagnostic, prescripție și decizie și un individ/grup responsabil pentru rezultatul dorit. Aici devine important rolul sponsorului executiv.

Atât la companiile mici, cât și la cele mari, sponsorul executiv – campionul nominalizat al îmbogățirii datelor și directorul de date de facto – este un individ, de obicei CEO, CFO sau CMO la început, deja pătruns în date și analize, adaptat la un fel de probleme rezolvate cel mai bine prin date, sau cel puțin un credincios în potențialul de transformare al analizei datelor.

Pe lângă acest protagonist, procesul necesită, de obicei, un campion secundar, mai practic, mai ales odată ce firma începe să treacă de la analiza descriptivă la cea predictivă. În mod tradițional, această persoană a fost un cercetător de date intern cu pregătire tehnică, dar mai recent a luat forma unui entuziast cunoscător de tehnologie, deseori denumit cercetător de date cetățean. În mod obișnuit, acest individ se auto-selectează - un jockey auto-proclamat de foi de calcul cu echilibrul potrivit de curiozitate intelectuală și dexteritate, dar unul dispus să trăiască în buruienile implementării. În multe cazuri, această persoană este înaintea managementului în recunoașterea potențialului de impact pe care un proces formal de analiză a datelor îl poate crea la firma lor, dar pur și simplu nu avea statutul sau credibilitatea necesare pentru a-și vinde viziunea.

La întrebarea problemei afacerii

Fiecare companie de succes și eșec are un set unic de provocări, care pot fi abordate numai prin combinația adecvată de resurse, procese și capabilități specifice acesteia. Acestea fiind spuse, tipurile de provocări de afaceri care se potrivesc cel mai bine pentru a fi abordate de date pot, de cele mai multe ori, să fie reduse, clasificate și abordate folosind cadrul stabilit în Graficul 7.

În plus, de-a lungul anilor au fost concepuți câteva linii directoare/parametri anecdotici, care optimizează și mai mult șansele de a identifica nu doar tipurile potrivite de probleme de abordat cu date, ci și șansele acestora de a fi rezolvate cu succes. Aceste linii directoare/parametri sunt după cum urmează: În primul rând, alegeți întrebări simple, clare ale căror implicații contează foarte mult; în al doilea rând, în căutarea răspunsurilor din date, urmărește mai degrabă caracterul practic al soluției decât perfecțiunea unui răspuns academic; în al treilea rând, ține cont de natura și baza de cunoștințe a audienței destinatare în furnizarea diagnosticului și a soluției; și, în sfârșit, selectați doar problemele care sunt măsurabile și cuantificabile cu date și soluții deja existente care pot fi, în egală măsură, urmărite.

Graficul 7: Cadrul de identificare a problemei de afaceri care trebuie rezolvată

La întrebarea instrumentelor și metodelor potrivite

Finala dintre cele patru întrebări-cadru inițiale, în ceea ce privește construirea unei organizații sustenabile orientate pe date, este una referitoare la selecția instrumentelor, metodelor sau platformelor. Pentru aceasta, voi afirma mai întâi că instrumentele de analiză a datelor au evoluat considerabil în ultimii ani, cu diverse avantaje și dezavantaje pentru utilizatorul de afaceri. Avantajele includ o scădere substanțială a costurilor asociate cu închirierea unor astfel de instrumente și o creștere a listei de caracteristici și a complexității opțiunilor disponibile, deoarece au trecut de la instrumente specifice funcției la platforme de funcționalități suprapuse. În plus, furnizorii de SaaS oferă teste gratuite, deși cu restricții privind volumul și tipul de date; noilor patroni li se oferă oportunitatea de a lua o decizie de cumpărare în cunoștință de cauză după testarea mai multor platforme.

Principalul dezavantaj al acestor platforme este că, în încercarea de a rămâne competitivi unii cu alții, furnizorii au inovat atât de agresiv în ceea ce privește complexitatea, încât ofertele lor se apropie acum de saturația de caracteristici cu oferte care depășesc utilitatea utilizatorilor medii de afaceri. Rezultatul nefericit este copleșirea utilizatorului începător, ceea ce face mai dificilă obținerea „câștigurilor rapide” discutate mai devreme și reducând astfel probabilitatea ca cultura datelor să se instaleze într-o anumită firmă.

Din fericire, există multe resurse disponibile pentru a ajuta utilizatorii potențiali, a evalua și a compara soluțiile de business intelligence concurente, deși unele cunoștințe despre capacitățile comune de bază sunt utile în evaluarea lor în raport cu nevoile și prioritățile specifice ale unei companii. Câteva astfel de capabilități includ: numărul și aria de conexiuni de date, disponibilitatea tablourilor de bord pre-asamblate, capacitățile de detaliere, de publicare și partajare, integrarea cu capacitatea software-ului de combinare și explorare a datelor, potențialul de scalare (atat pentru parametrii de volum, cat și de varietate), numărul și acuratețea abordărilor de modelare și bazele de referință ale clienților pentru o anumită industrie. Deși este simplu în rezumatul său, Graficul 7 de mai sus prezintă câțiva furnizori cheie care joacă în diferite categorii (descriptive, predictive, prescriptive).

Date mici, oportunitati mari

În ciuda începuturilor sale de nișă, este clar că analiza datelor și piața instrumentelor de analiză bazate pe SaaS au evoluat considerabil în ultimii ani, în beneficiul cercetătorului de date și al companiei lor. Date mari, date mici, instrumente de autoservire – fiecare sunt suficient de populare acum pentru a justifica considerarea lor ca o competență de bază chiar și a celor mai puțin tehnice dintre afaceri. Spus altfel, având în vedere atât de multe date utile și acționabile care sunt generate și costurile instrumentelor de autoservire se deplasează invers față de caracteristicile și capabilitățile oferite, puține motive vor continua să existe pentru ca chiar și întreprinderile mici să nu înceapă să folosească datele într-o anumită capacitate.

Acest articol ar fi trebuit să ilustreze că, cu puțină planificare, stabilire a obiectivelor și selectare a patronilor, chiar și startup-ul dvs. poate începe să egaleze condițiile competitive cu titanii din industrie pe care v-ați propus să-i perturbați, deblocând în acest proces o valoare economică extraordinară pentru dvs. și părțile interesate dvs. Trebuie doar să începi; așa că mergeți mai departe - începeți!