Ürününüzü Yinelemeler halinde Gönderme: Hipotez Testi için Bir Kılavuz

Herhangi bir telefondaki Play Store/App Store'a bir bakış, yüklü uygulamaların çoğunun geçen hafta içinde güncellemeler yayınladığını ortaya çıkaracaktır. Birkaç hafta sonra bir web sitesi ziyareti düzende, kullanıcı deneyiminde veya kopyada bazı değişiklikler gösterebilir.

Günümüzde yazılım ürünleri, ürün deneyimini kullanıcılar için neyin daha iyi hale getirdiğine ilişkin varsayımları ve hipotezleri doğrulamak için yinelemeler halinde gönderilir. Herhangi bir zamanda, booking.com gibi şirketler (daha önce çalıştığım yer) bu amaçla sitelerinde yüzlerce A/B testi çalıştırıyor.

İnternet üzerinden teslim edilen uygulamalar için, bir ürünün görünümüne 12-18 ay önceden karar verilmesine ve daha sonra oluşturulup sonunda gönderilmesine gerek yoktur. Bunun yerine, kullanıcı tercihleri ​​ve ideal çözümler hakkında varsayımlar yapma gereğini ortadan kaldırarak, uygulandıkları sırada kullanıcılara değer sağlayan küçük değişiklikleri yayınlamak tamamen pratiktir - çünkü her varsayım ve hipotez, etkiyi izole etmek için bir test tasarlayarak doğrulanabilir. her değişikliğin.

Bu yaklaşım, iyileştirmeler yoluyla sürekli değer sağlamanın yanı sıra, bir ürün ekibinin kullanıcılardan sürekli geri bildirim toplamasına ve ardından gerektiğinde rotayı düzeltmesine olanak tanır. Birkaç haftada bir hipotezler oluşturmak ve test etmek, ürün değeri yaratmak için rota düzeltici ve yinelemeli bir yaklaşım oluşturmanın daha ucuz ve daha kolay bir yoludur.

Hipotez Testi Nedir?

Kullanıcılara bir özellik gönderirken, gerçek dünyadaki etkilerini anlamak için tasarım ve özelliklerle ilgili varsayımları doğrulamak zorunludur.

Bu doğrulama, geleneksel olarak, deneycinin bir değişiklik için bir hipotez oluşturduğu ve ardından başarıyı tanımladığı ürün hipotez testi yoluyla yapılır. Örneğin, Amazon'daki bir veri ürünü yöneticisinin daha büyük ürün görsellerinin dönüşüm oranlarını artıracağına dair bir hipotezi varsa, başarı daha yüksek dönüşüm oranlarıyla tanımlanır.

Hipotez testinin kilit yönlerinden biri, başarıyı (veya başarısızlığı) yapılan değişikliklere bağlayabilmek için ürün deneyimindeki farklı değişkenlerin yalıtılmasıdır. Bu nedenle, Amazon ürün yöneticimizin, ürün görsellerinin hemen yanında müşteri incelemelerinin gösterilmesinin dönüşümü iyileştireceğine dair başka bir hipotezi olsaydı, her iki hipotezi aynı anda test etmek mümkün olmazdı. Bunu yapmak, sebepleri ve sonuçları uygun şekilde ilişkilendirmede başarısızlıkla sonuçlanacaktır; bu nedenle, iki değişiklik izole edilmeli ve ayrı ayrı test edilmelidir.

Bu nedenle, özelliklerle ilgili ürün kararları, özelliklerin performansını doğrulamak için hipotez testleri ile desteklenmelidir.

Farklı Hipotez Testi Türleri

A/B Testi

En yaygın kullanım durumları, bir değişikliğin veya özelliğin rastgele olarak kullanıcıların yarısına (A) verildiği ve diğer yarısından (B) saklandığı rastgele A/B testi ile doğrulanabilir. Amazon'da dönüşümü iyileştiren daha büyük ürün resimleri hipotezine dönersek, kullanıcıların yarısı değişiklik gösterilirken diğer yarısı web sitesini eskisi gibi görecek. Dönüşüm daha sonra her grup (A ve B) için ölçülecek ve karşılaştırılacaktır. Daha büyük ürün resimleri gösterilen grup için dönüşümde önemli bir artış olması durumunda, orijinal hipotezin doğru olduğu ve değişikliğin tüm kullanıcılara sunulabileceği sonucuna varılır.

Çok Değişkenli Test

İdeal olarak, değişiklikleri kesin olarak ilişkilendirmek için her değişken izole edilmeli ve ayrı ayrı test edilmelidir. Bununla birlikte, teste yönelik bu tür sıralı bir yaklaşım, özellikle test edilecek birkaç sürüm olduğunda çok yavaş olabilir. Örneğe devam etmek gerekirse, daha büyük ürün görsellerinin Amazon'da daha yüksek dönüşüm oranlarına yol açtığı hipotezinde, "daha büyük" özneldir ve "daha büyük"ün birkaç sürümünün (ör. 1.1x, 1.3x ve 1.5x) sınanmak.

Bu gibi durumları sıralı olarak test etmek yerine, kullanıcıların ikiye bölünmeyip birden çok değişkene ayrıldığı çok değişkenli bir test benimsenebilir. Örneğin, dört grup (A, B, C, D) her biri kullanıcıların %25'inden oluşur; burada A grubu kullanıcılar herhangi bir değişiklik görmezken, B, C ve D varyantlarındakiler resimleri daha büyük göreceklerdir. Sırasıyla 1.1x, 1.3x ve 1.5x. Bu testte, en iyi varyantı belirlemek için birden fazla varyant, ürünün mevcut versiyonuna karşı aynı anda test edilir.

Testten Önce/Sonra

Bazen, yerinde ağ etkileri olabileceğinden, kullanıcıları yarıya (veya birden fazla varyanta) bölmek mümkün değildir. Örneğin, test, Uber'deki dalgalanma fiyatlarını formüle etmek için bir mantığın diğerinden daha iyi olup olmadığını belirlemeyi içeriyorsa, mantık tüm şehrin talep ve arz uyumsuzluğunu hesaba kattığı için sürücüler farklı değişkenlere bölünemez. Bu gibi durumlarda, bir testin bir sonuca varabilmesi için değişiklikten önceki ve değişiklikten sonraki etkileri karşılaştırması gerekecektir.

Ancak buradaki kısıtlama, test ve kontrol dönemlerini farklı şekilde etkileyebilecek mevsimsellik ve dışsallık etkilerinin izole edilememesidir. Uber'de dalgalanma fiyatlandırmasını belirleyen mantıkta bir değişikliğin t zamanında yapıldığını, öyle ki A mantığının önce ve B mantığının sonra kullanıldığını varsayalım. t zamanından önceki ve sonraki etkiler karşılaştırılabilirken, etkilerin yalnızca mantıktaki değişiklikten kaynaklandığının garantisi yoktur. İki zaman periyodu arasında talepte veya diğer faktörlerde fark yaratmış olabilir ve bu da ikisi arasında bir farka neden olabilir.

Zamana Dayalı Açma/Kapama Testi

Önce/sonra testin dezavantajları, değişikliğin belirli bir süre için tüm kullanıcılara tanıtıldığı, eşit bir süre boyunca kapatıldığı ve zamana dayalı açma/kapama testinin uygulanmasıyla büyük ölçüde aşılabilir. sonra daha uzun bir süre tekrarlanır.

Örneğin, Uber kullanım durumunda, değişiklik sürücülere Pazartesi günü gösterilebilir, Salı günü geri çekilebilir, Çarşamba günü tekrar gösterilebilir ve bu şekilde devam edebilir.

Bu yöntem mevsimsellik ve dışsallık etkilerini tam olarak ortadan kaldırmasa da, onları önemli ölçüde azaltarak bu tür testleri daha sağlam hale getirir.

Test Tasarımı

Eldeki kullanım durumu için doğru testi seçmek, bir hipotezi en hızlı ve en sağlam şekilde doğrulamak için önemli bir adımdır. Seçim yapıldıktan sonra, test tasarımının detayları özetlenebilir.

Test tasarımı basitçe aşağıdakilerin tutarlı bir taslağıdır:

• Test edilecek hipotez: Kullanıcılara daha büyük ürün resimleri göstermek, onları daha fazla ürün satın almaya yönlendirecektir.
• Test için başarı metrikleri: Müşteri dönüşümü
• Test için karar verme kriterleri: Test, varyanttaki kullanıcıların kontrol grubundakilerden daha yüksek bir dönüşüm oranı gösterdiği hipotezini doğrular.
• Testten öğrenmek için kullanılması gereken metrikler: Müşteri dönüşümü, ürün resimlerine tıklamalar

Daha büyük ürün görsellerinin Amazon'da daha iyi dönüşüme yol açacağı hipotezi söz konusu olduğunda, başarı ölçütü dönüşümdür ve karar ölçütü dönüşümde bir gelişmedir.

Doğru test seçilip tasarlandıktan ve başarı kriterleri ve metrikleri belirlendikten sonra sonuçların analiz edilmesi gerekir. Bunu yapmak için bazı istatistiksel kavramlar gereklidir.

Örnekleme

Testleri çalıştırırken, test için seçilen iki değişkenin (A ve B) başarı metriğine göre bir önyargıya sahip olmadığından emin olmak önemlidir. Örneğin, daha büyük resimleri gören varyant, değişikliği görmeyen varyanttan zaten daha yüksek bir dönüşüme sahipse, test önyargılıdır ve yanlış sonuçlara yol açabilir.

Örneklemede yanlılık olmamasını sağlamak için, değişiklik yapılmadan önce başarı metriğinin ortalaması ve varyansı gözlemlenebilir.

Önem ve Güç

İki değişken arasında bir fark gözlemlendiğinde, gözlemlenen değişikliğin rastgele değil gerçek bir etki olduğu sonucuna varmak önemlidir. Bu, başarı metriğindeki değişimin önemini hesaplayarak yapılabilir.

Layman'ın terimleriyle, anlamlılık , testin daha büyük görüntülerin gerçekte olmadığında daha yüksek dönüşüme yol açtığını gösterme sıklığını ölçer. Güç , testin bize daha büyük görüntülerin gerçekte yaptıklarında daha yüksek dönüşüm sağladığını söyleme sıklığını ölçer.

Bu nedenle, daha doğru sonuçlar için testlerin yüksek bir güç değerine ve düşük bir önem değerine sahip olması gerekir.

Ürün hipotezi testinde yer alan istatistiksel kavramların derinlemesine araştırılması burada kapsam dışında olsa da, bu cephedeki bilgileri geliştirmek için aşağıdaki eylemler önerilir:

• Veri analistleri ve veri mühendisleri genellikle doğru test tasarımlarını belirleme konusunda beceriklidir ve ürün yöneticilerine rehberlik edebilir, bu nedenle uzmanlıklarını sürecin başlarında kullandığınızdan emin olun.
• Hipotez testi, A/B testi ve Udemy, Udacity ve Coursera gibi ilgili istatistiksel kavramlar hakkında çok sayıda çevrimiçi kurs vardır.
• Google'ın Firebase ve Optimizely gibi araçları kullanmak, doğru testleri çalıştırmaya yönelik çok sayıda kullanıma hazır özellik sayesinde süreci kolaylaştırabilir.

Başarılı Ürün Yönetimi için Hipotez Testini Kullanmak

Kullanıcılara sürekli olarak değer sağlamak için, çeşitli ürün hipotez testi türlerinin uygulanabilmesi amacıyla çeşitli hipotezleri test etmek zorunludur. Her hipotezin, onu kesin olarak doğrulamak veya geçersiz kılmak için, yukarıda açıklandığı gibi eşlik eden bir test tasarımına sahip olması gerekir.

Bu yaklaşım, yeni değişiklikler ve özellikler tarafından sağlanan değeri ölçmeye, en değerli özelliklere odaklanmaya ve artımlı yinelemeler sağlamaya yardımcı olur.