Expedierea produsului în iterații: un ghid pentru testarea ipotezelor

O privire la Play Store/App Store de pe orice telefon va dezvălui că majoritatea aplicațiilor instalate au avut actualizări lansate în ultima săptămână. O vizită a site-ului web după câteva săptămâni poate arăta unele modificări ale aspectului, experienței utilizatorului sau copiei.

Produsele software de astăzi sunt livrate în iterații pentru a valida ipotezele și ipotezele despre ceea ce face ca experiența produsului să fie mai bună pentru utilizatori. În orice moment, companii precum booking.com (unde am lucrat înainte) rulează sute de teste A/B pe site-urile lor tocmai în acest scop.

Pentru aplicațiile livrate prin internet, nu este nevoie să decideți asupra aspectului unui produs cu 12-18 luni în avans, apoi să construiți și, eventual, să-l expediați. În schimb, este perfect practic să lansați mici modificări care oferă valoare utilizatorilor pe măsură ce sunt implementate, eliminând nevoia de a face ipoteze despre preferințele utilizatorului și soluțiile ideale - pentru fiecare ipoteză și ipoteză poate fi validată prin proiectarea unui test pentru a izola efectul. a fiecărei modificări.

Pe lângă furnizarea de valoare continuă prin îmbunătățiri, această abordare permite unei echipe de produs să adune feedback continuu de la utilizatori și apoi să corecteze cursul după cum este necesar. Crearea și testarea ipotezelor la fiecare două săptămâni este o modalitate mai ieftină și mai ușoară de a construi o abordare iterativă de corectare a cursului pentru crearea valorii produsului.

Ce este testarea ipotezelor?

În timp ce trimiteți o caracteristică utilizatorilor, este imperativ să validați ipotezele despre design și caracteristici pentru a înțelege impactul acestora în lumea reală.

Această validare se face în mod tradițional prin testarea ipotezei produsului, în timpul căreia experimentatorul conturează o ipoteză pentru o schimbare și apoi definește succesul. De exemplu, dacă un manager de produs de date de la Amazon are o ipoteză că afișarea unor imagini mai mari de produs va crește ratele de conversie, atunci succesul este definit de rate de conversie mai mari.

Unul dintre aspectele cheie ale testării ipotezelor este izolarea diferitelor variabile din experiența produsului pentru a putea atribui succesul (sau eșecul) modificărilor efectuate. Așadar, dacă managerul nostru de produse Amazon ar avea o altă ipoteză că afișarea recenziilor clienților chiar lângă imaginile produselor ar îmbunătăți conversia, nu ar fi posibilă testarea ambelor ipoteze în același timp. Acest lucru ar duce la eșecul de a atribui în mod corespunzător cauzele și efectele; prin urmare, cele două modificări trebuie izolate și testate individual.

Astfel, deciziile de produs cu privire la caracteristici ar trebui să fie susținute de testarea ipotezelor pentru a valida performanța caracteristicilor.

Diferite tipuri de testare a ipotezelor

Testare A/B

Cele mai frecvente cazuri de utilizare pot fi validate prin testarea A/B randomizată, în care o modificare sau o caracteristică este lansată aleatoriu pentru jumătate dintre utilizatori (A) și reținută din cealaltă jumătate (B). Revenind la ipoteza că imaginile mai mari ale produselor vor îmbunătăți conversia pe Amazon, unei jumătăți dintre utilizatori li se va arăta schimbarea, în timp ce cealaltă jumătate va vedea site-ul așa cum era înainte. Conversia va fi apoi măsurată pentru fiecare grup (A și B) și comparată. În cazul unei creșteri semnificative a conversiei pentru grupul care a afișat imagini de produse mai mari, concluzia ar fi că ipoteza inițială a fost corectă, iar modificarea poate fi implementată tuturor utilizatorilor.

Testare multivariată

În mod ideal, fiecare variabilă ar trebui să fie izolată și testată separat pentru a atribui în mod concludent modificările. Cu toate acestea, o astfel de abordare secvențială a testării poate fi foarte lentă, mai ales când există mai multe versiuni de testat. Pentru a continua cu exemplul, în ipoteza că imaginile mai mari ale produselor duc la rate de conversie mai mari pe Amazon, „mai mare” este subiectiv și mai multe versiuni de „mare” (de exemplu, 1.1x, 1.3x și 1.5x) ar putea fi nevoite să fi testat.

În loc de a testa astfel de cazuri secvenţial, poate fi adoptat un test multivariat, în care utilizatorii nu sunt împărţiţi în jumătate, ci în mai multe variante. De exemplu, patru grupuri (A, B, C, D) sunt formate din 25% din utilizatori fiecare, unde utilizatorii din grupul A nu vor vedea nicio modificare, în timp ce cei din variantele B, C și D vor vedea imagini mai mari cu 1,1x, 1,3x și, respectiv, 1,5x. În acest test, mai multe variante sunt testate simultan față de versiunea curentă a produsului pentru a identifica cea mai bună variantă.

Înainte/După testare

Uneori, nu este posibil să împărțiți utilizatorii în jumătate (sau în mai multe variante), deoarece ar putea exista efecte de rețea. De exemplu, dacă testul implică stabilirea dacă o logică de formulare a prețurilor în creștere pe Uber este mai bună decât alta, driverele nu pot fi împărțite în diferite variante, deoarece logica ține cont de nepotrivirea cererii și ofertei întregului oraș. În astfel de cazuri, un test va trebui să compare efectele înainte de schimbare și după modificare pentru a ajunge la o concluzie.

Cu toate acestea, constrângerea aici este incapacitatea de a izola efectele sezonalității și externalității care pot afecta în mod diferit perioadele de testare și de control. Să presupunem că la momentul t se face o modificare a logicii care determină creșterea prețului pe Uber, astfel încât logica A este utilizată înainte și logica B este utilizată după. În timp ce efectele înainte și după timpul t pot fi comparate, nu există nicio garanție că efectele se datorează exclusiv schimbării logicii. Ar fi putut exista o diferență de cerere sau alți factori între cele două perioade de timp care au dus la o diferență între cele două.

Testare On/Off bazată pe timp

Dezavantajele testării înainte/după pot fi depășite în mare măsură prin implementarea testării pornit/oprit bazate pe timp, în care modificarea este introdusă tuturor utilizatorilor pentru o anumită perioadă de timp, oprită pentru o perioadă egală de timp și apoi repetat pentru o durată mai lungă.

De exemplu, în cazul de utilizare Uber, modificarea poate fi afișată șoferilor luni, retrasă marți, afișată din nou miercuri și așa mai departe.

Deși această metodă nu înlătură pe deplin efectele sezonului și externalității, le reduce în mod semnificativ, făcând astfel de teste mai robuste.

Design de testare

Alegerea testului potrivit pentru cazul de utilizare în cauză este un pas esențial în validarea unei ipoteze în cel mai rapid și mai robust mod. Odată ce alegerea este făcută, detaliile designului testului pot fi conturate.

Designul testului este pur și simplu o schiță coerentă a:

• Ipoteza de testat: Afișarea utilizatorilor cu imagini mai mari de produse îi va determina să cumpere mai multe produse.
• Valori de succes pentru test: conversia clienților
• Criterii de luare a deciziei pentru test: Testul validează ipoteza că utilizatorii din variantă prezintă o rată de conversie mai mare decât cei din grupul de control.
• Valori care trebuie instrumentate pentru a învăța din test: conversia clienților, clicuri pe imaginile produselor

În cazul ipotezei că imaginile mai mari ale produselor vor duce la o conversie îmbunătățită pe Amazon, metrica succesului este conversia, iar criteriul de decizie este o îmbunătățire a conversiei.

După ce testul potrivit este ales și proiectat, iar criteriile și metricile de succes sunt identificate, rezultatele trebuie analizate. Pentru a face acest lucru, sunt necesare câteva concepte statistice.

Prelevarea de probe

Când rulați teste, este important să vă asigurați că cele două variante alese pentru test (A și B) nu au o părtinire în ceea ce privește metrica de succes. De exemplu, dacă varianta care vede imaginile mai mari are deja o conversie mai mare decât varianta care nu vede schimbarea, atunci testul este părtinitor și poate duce la concluzii greșite.

Pentru a asigura nicio prejudecată în eșantionare, se pot observa media și varianța pentru metrica succesului înainte de introducerea modificării.

Semnificație și putere

Odată observată o diferență între cele două variante, este important să concluzionăm că modificarea observată este un efect real și nu unul aleatoriu. Acest lucru se poate face calculând semnificația modificării valorii succesului.

În termeni simpli, semnificația măsoară frecvența cu care testul arată că imaginile mai mari duc la o conversie mai mare atunci când de fapt nu o fac. Puterea măsoară frecvența cu care testul ne spune că imaginile mai mari duc la o conversie mai mare atunci când o fac de fapt.

Deci, testele trebuie să aibă o valoare mare a puterii și o valoare scăzută a semnificației pentru rezultate mai precise.

Deși o explorare aprofundată a conceptelor statistice implicate în testarea ipotezelor de produs este în afara domeniului de aplicare aici, se recomandă următoarele acțiuni pentru a îmbunătăți cunoștințele pe acest front:

• Analiștii de date și inginerii de date sunt de obicei abili în identificarea modelelor de testare potrivite și pot ghida managerii de produs, așa că asigurați-vă că le utilizați expertiza la începutul procesului.
• Există numeroase cursuri online despre testarea ipotezelor, testarea A/B și concepte statistice aferente, cum ar fi Udemy, Udacity și Coursera.
• Utilizarea unor instrumente precum Firebase și Optimizely de la Google poate face procesul mai ușor datorită unei cantități mari de capabilități gata de fabricație pentru rularea testelor potrivite.

Utilizarea testării ipotezelor pentru un management de succes al produsului

Pentru a oferi în mod continuu valoare utilizatorilor, este imperativ să se testeze diverse ipoteze, în scopul cărora pot fi utilizate mai multe tipuri de testare a ipotezelor de produs. Fiecare ipoteză trebuie să aibă un design de test însoțitor, așa cum este descris mai sus, pentru a o valida sau invalida în mod concludent.

Această abordare ajută la cuantificarea valorii oferite de noile modificări și caracteristici, să se concentreze asupra celor mai valoroase caracteristici și să furnizeze iterații incrementale.