Şirket Büyümesini Ölçmek İçin İstatistik Uygulamaları

Yönetici Özeti

Kısmen, işletmelerde büyümenin itici güçlerinin nasıl belirleneceğine ilişkin önceki makalemin devamı olarak, şimdi biraz daha derine inmek ve büyüme girişimlerinin etkisini nasıl ölçebileceğinizi incelemek istiyorum. Ürün güncellemeleri, halkla ilişkiler ve pazarlama kampanyaları gibi eylemlerin müşteri büyümesi, elde tutma ölçütleri ve katılım üzerindeki etkisini değerlendirmek için bazı araçlar sağlayacağım. Bu, bir istatistikçi olarak daha önceki çalışmalarımdan yansımaları temsil ediyor ve şirketlere, işlem gören menkul kıymetlerinin tepkileri aracılığıyla iç ve dış olayların değerlemeleri üzerindeki etkisini değerlendirmelerine yardımcı oluyor.

Riskten korunma fonu ve Wall Street dünyasında daha yaygın olan istatistiksel etki araçlarının, büyümeyi yönetmek için teknoloji şirketlerine şu anda uygulandıklarından çok daha fazla fayda sağlayabileceğine inanıyorum. Kullanıcı veya müşteri davranışı hakkında bize bir dizi yüksek frekanslı bilgi sağlayan teknoloji nedeniyle, yetenekli bir istatistiksel veya veri analisti ticari ekipler içinde gerçek bir varlık olabilir.

Büyümenin Etkisini Ölçmenin Birçok Yolu Var

Değerleme üzerindeki istatistiksel etkinin ölçülmesine bir örnek olarak, halka açık bir şirketin yeni bir ürün duyurduğunu ve bunun değerlemeyi ne ölçüde etkilediğini bilmek istediğini varsayalım. Gerçek etkinin tahmin edilmesi, aşağıdakilerin muhasebeleştirilmesini gerektirir:

1. Menkul kıymetin piyasayla ilişkisi bağlamında, piyasanın kendisi o gün nasıl performans gösterdi.
2. Aynı anda yayınlanan diğer şirketle ilgili bilgilerin etkisi.
3. Menkul kıymet fiyatlarının ve kullanıcı davranışının, yeni bilgilerin yokluğunda bile, genel varyanstan günlük olarak hareket ettiği basit gerçeği.
4. Fiyat artışında istatistiksel olarak anlamlı bir eğilim açısından daha uzun vadeli etki.

Özel bir şirket için, aynı analiz, hem kısa hem de uzun vadede, hisse senedi fiyatı etkinliğinin bir sonucu olarak hizmet eden aktif kullanıcılardaki veya müşterilerdeki değişiklik üzerinde yapılabilir. Bu aynı zamanda elde tutma ve etkileşim derinliği metrikleri için de geçerlidir.

Bu yuvarlak analiz biçimini oluşturmak, şirketlerin, aslında rastgele dalgalanmadan başka bir şeyi temsil etmeyen bir piyasa veya kullanıcı tepkisi gibi görünen şeylere yanlış yönlendirilmek yerine, sınırlı kaynaklarını çok daha güçlü bilgi sinyallerine dayalı olarak yönlendirmelerine olanak tanır. Sinyali gürültüden ayıran istatistiksel modeli kurmak için yapılan ilk çalışma, bir şirketin büyüme çabalarına getirdiği içgörüler aracılığıyla muazzam temettüler sağlayabilir. Aynı zamanda, yeni veriler alındığında kolayca (ve genellikle otomatik olarak) güncellenebilen ve iyileştirilebilen yinelemeli bir süreçtir.

Test Edilecek Hedef Metriği Seçme

Bir şirketin herhangi bir ölçüm çabası, aşağıdaki büyüme boyutlarından en az birini hedeflemelidir:

1. Toplam satışlarda veya aktif kullanıcılarda/müşterilerde zaman içinde meydana gelen değişiklik olarak tanımlanan üst düzey büyüme .
2. Belirli bir kullanıcı veya istemcinin ortalama yaşam süresi olarak tanımlanan kullanıcıların ve istemcilerin tutulması.
3. Alınan temel eylemin sıklığı veya platform aracılığıyla işlem hacmi olarak tanımlanan, kullanıcıların ve müşterilerin katılımının derinliği .

Her üç boyut da ölçülebilir ve şirket değerini bu üç noktanın oluşturduğu üçgenin alanı olarak kavramsallaştırabilir. Biri çökerse, diğer ikisinden gelen değer potansiyeli ciddi şekilde kısıtlanır. “Sizi seven birkaç kullanıcı, sizi seven birçok kullanıcıdan daha iyidir” konusunda birçok kurucu ve yatırımcıyla kesinlikle aynı fikirde olsam da, bunun, güçlü katılım ve elde tutmanın yanı sıra en üst düzeyde büyümenin önemiyle çeliştiğine inanmıyorum. Yörünge, seviyeden çok daha önemlidir ve gerçekten kendini adamış küçük bir kullanıcı grubuyla başlamak, ilk etapta uzun vadeli büyüme için başlangıç ​​koşullarını en iyi şekilde belirler.

Şirketin ana görevi, eylemlerinin bu üç temel ölçütten biri veya daha fazlası üzerindeki gerçek etkilerini ölçmeye olanak tanıyan analitik çerçeveyi oluşturmaktır. Şirket, her biri için farklı modelleri test edebilir veya bunları daha doğrudan birbirine bağlamak için eşzamanlı denklemler gibi araçlar kullanabilir. Deneyimlerime göre, pazarlama ve halkla ilişkiler çabaları, özellikle şirketin yatırımından geri dönüş alıp almadığına dair titiz bir analiz eksikliğinden muzdarip olma eğilimindedir. Toplam görüntülemeler, tıklamalar ve paylaşımlar gibi belirli metrikler neredeyse her zaman kaydedilir, ancak bunların tümü bir sonuca varma araçlarıdır ve müşteri dönüşümü ve katılımı üzerindeki etkilerin bir sonraki sorusuna nadiren ciddi analizler yapılır.

Bir Seferlik Etkinlik Kıyaslaması ve Örneğinin Seçilmesi

Tek seferlik bir etkinliğin basitleştirilmiş versiyonuyla başlıyoruz. Bir şirketin yeni bir ürün güncellemesi yayınladığını veya 0. Günde büyük bir PR hikayesi yayınladığını ve büyüme üzerindeki etkisi açısından doğru yönde bir hareketi temsil edip etmediğini bilmek istediğini varsayalım. Şirketin benzer çabalara devam etmesi gerektiğine dair gerçek bir sinyalin alınıp alınmadığının belirlenmesi, söz konusu olay olmadığında ne kadar arttığına karşı ne kadar artacağının bilinmesini gerektirir.

Karşılaştırmalı büyüme, dış ve iç değişkenlere dayalı olarak şirketin büyümesini, elde tutulmasını veya katılımını öngören bir regresyon modeli aracılığıyla tahmin edilebilir. Belirli durumlarda, bir ürün güncellemesinden etkilenen kullanıcıları izole etme yeteneği, bir kontrol grubuyla doğrudan A/B testine izin verir. Ancak, tüm mevcut ve potansiyel kullanıcıları bir şekilde aynı şekilde etkileyen daha büyük ölçekli ürün, halkla ilişkiler ve iş çabaları için durum böyle değildir. Bu tür testler için bazı mükemmel kaynaklar mevcut olsa da, birçok erken aşamadaki şirket bunları pahalı bulabilir.

Bu model için dikkate alınabilecek değişkenler şunları içerir:

Tüm değişkenler, yüzdeler yerine logaritmalar kullanılarak mutlak düzeyden ziyade değişim oranı olarak belirtilmelidir.

Her değişken için zaman çerçevesi de aynı şekilde dikkatlice düşünülmelidir. Bazı değişkenler önde gidiyor (örneğin borsa büyük ölçüde beklentilere dayanıyor), kullanıcı memnuniyeti derecelendirmeleri gibi diğerleri ise geçmiş deneyimlere dayanıyor ancak kesinlikle beklenen büyümeyle alakalı olabilir.

Regresyonun kendisi için, Sıradan En Küçük Kareler (OLS) ile başlamanızı ve ardından yalnızca belirli nedenlerle diğer işlevsel formlara geçmenizi öneririm. OLS çok yönlüdür ve benzer şekilde, sonuçların diğer daha karmaşık formlardan daha doğrudan yorumlanmasına izin verir. OLS bağlamındaki değişiklikler, doğrusal olmayan değişkenler, etkileşim değişkenleri (örneğin, mevcut müşteri memnuniyeti ve sosyal medya etkinliği) için logaritmik bir regresyon ve daha büyük değerlerde orantısız etkileri olduğuna inandığınız değişkenlerin karesini alma içerir. Büyüme umarız üstel olduğundan, logaritmik regresyonlar kesinlikle güçlü bir uyum sağlayabilir.

Eylemin etkisinin zaman ufkuyla ilgili olarak, etkinin aranacağı uygun aralığı belirlemenize yardımcı olması için kullanıcılarınızın eylem veya satın alma sıklığını dikkate aldığınızdan emin olun. Bir günden daha uzun zaman dilimlerini kullanırken, haftalık aktif kullanıcıların o haftadaki günlük aktif kullanıcıların toplamı olmadığını unutmayın. Ürününüzü o hafta her gün aktif olarak kullanırsam, günlük analiz için her gün sayılırım. Daha sonra haftalık bir analize geçerseniz, yalnızca bir kez gelmem gerekir ve bu nedenle tek tek günleri toplamak fazla sayılır.

Bu model daha sonra, bu açıklayıcı değişkenlerin performansına dayalı olarak herhangi bir an veya devam eden zaman periyodu için beklenen büyüme/tutma/bağlantıyı tahmin etmenize olanak tanır. Bu beklenen büyüme ile olaydan sonra gözlemlenen gerçek büyüme arasındaki fark, etkiyi gösterebilecek anormal kısımdır. Bu anormal büyümenin, beklenen büyümenin standart sapmasına bölünmesi, anormal bileşenin şans eseri meydana gelme olasılığının ne kadar olduğunu gösterir. Tipik olarak, 1,96'lık bir sonuç (tahmin edilen değerden yaklaşık iki standart sapma uzaktadır), tesadüfen meydana gelmediğini kabul etmek için kesme noktası olarak kullanılır.

Gruplar bağlamında, elde tutma ve katılım, ya ardışık gruplardaki değişim (başka bir deyişle, her grup için değerlerin sabit tutulması) ya da toplam tutma ve katılımın zaman içindeki değişimi, herhangi bir ayrıntıya girmeden değerlendirilebilir. grup.

Bir Dizi Olaydan Oluşan Kümülatif Büyüme Etkisi

Büyüme stratejileri genellikle, hem birden fazla çaba göstermenin daha acil etkisi hem de müşterilere kalıbı göstermenin altında yatan etki için, tek seferlik çabalar yerine bir dizi olayı uygulamaya koymaya önem verir. Etki analizi bu nedenle kümülatif etkiye de bakabilir. Bireysel olarak önemsiz olan bir dizi olay, önemli bir kümülatif etkiyle sonuçlanabilir ve tersine, bir dizi önemli olay, net olarak önemsiz hale gelebilir.

İlk durum, “yavaş ve istikrarlı bir şekilde yarışı kazanır” olarak düşünülebilir. Diyelim ki satışlarınız ilgili sektörünüze göre haftada yüzde bir oranında daha hızlı artıyor. Kısa bir süre içinde bu hiçbir şey ifade etmeyecektir, çünkü herhangi bir şirketin büyümesi tesadüfen ölçütten biraz farklı olacaktır. Bununla birlikte, hafif aşırı performansınız yeterince uzun süre devam ederse, sonunda şirketin büyüme oranının gerçekten pazarınkini aştığını güvenle belirtebilirsiniz.

İkinci durum, esasen her türlü tersine çevirmedir. İnsanların bilgiyi gerçekten işlemeden önce gelişmelere tepki gösterebilecekleri giderek artan yüksek frekanslı araçlar ve kısa vadeli sürü zihniyeti, daha acil gürültü yoluyla tepkinin gerçek büyüklüğünü ve süresini düşünmenizi sağlama zorluğunu beraberinde getiriyor. Belirli koşullar altında, kullanıcılar ve piyasalar kısa vadede sistematik olarak aşırı tepki verme eğiliminde olabilir (yeni teknolojiler, döviz piyasaları ve genellikle bir şirket için ciddi bir tehdit oluşturmayan kötü haberler), ancak daha sonra kendilerini düzeltebilirler.

İki durum aşağıdaki gibi gösterilebilir. Güven aralığı, gözlemlerin %95'inin düşmesini bekleyebileceğimiz sınırları belirtir ve bu, tipik olarak istatistiksel olarak anlamlı bir şey olarak kabul etmek için eşik olarak kullanılır.

Önemli bir geri dönüşün olmaması, kalıcı etkinin kanıtı olarak alınabilir. Kanıt yokluğunun yokluğun kanıtı olmadığı, ancak yapabileceğimizin en iyisi olduğu şeklindeki ampirik şüpheciliğin normal kuralına aykırı olduğu için bu mantığa karşı dikkatli olunmalıdır.

Bireysel zaman dilimlerinde yüzde/logaritmik değişiklikleri karşılaştırırken dikkatli olun. %99'luk bir düşüşün ardından %99'luk bir artış, tam olarak önemsiz bir kümülatif değişikliği netleştirmez. Sonunda kümülatif değişikliği dikkate aldığınızdan emin olun.

Belirli bir PR kampanyası gibi bir dizi etkinliğin sınırlı bir süre içinde (yani bir tatil sezonu) kümülatif etkisini ölçüyorsanız, zaman çerçevesine dahil edilen tüm takvim günleri veya haftalar boyunca büyümeyi izlemek isteyebilirsiniz. , her birinin belirli bir eyleminin yapılıp yapılmadığı. Hala esasen 1-2-3 vuruşunun, vuruşlar arasında hafif gecikmeler olsa bile, belirli bir süre içinde bir nakavt sağlayacağını umuyorsunuz.

Söz konusu olaylar birbirinden daha uzaktaysa ancak yine de kümülatif etkiyi değerlendirmek istiyorsanız, bunları tek bir sürekli gün dizisine sığdırmayı ve ardından aynı analizi çalıştırmayı düşünebilirsiniz. Bunda, esasen “1. Gün 5 Ocak, 2. Gün 15 Mart, 3. Gün 10 Nisan…” diyorsunuz ve bunların kümülatif değişimini, kıyaslama tarafından tahmin edilene kıyasla aslında tamamen sıralı tarihlermiş gibi test ediyorsunuz. Önemi test etmek, standart sapmayı kümülatif dönemi oluşturan gün/hafta sayısının kareköküne yükseltmek dışında, tekil olaylarla aynı formüldür.

Şirket Büyümesini Ölçerken Kirlenmiş Bilgilerle Başa Çıkmak

Dünya, fikirlerimizi test etmek için bize nadiren mükemmel laboratuvar koşullarının nezaketini sunar, bu nedenle çekirdek model bir kez oluşturulduğunda, büyük olasılıkla, yaptığımız eylemlerle aynı anda beklenen büyüme oranını etkileyen diğer bilgileri kontrol etmesi gerekecektir. ölçmeye çalışıyoruz.

Bir halkla ilişkiler etkinliği veya ürün güncellemesi ile aynı anda, bir üst düzey yöneticinin ne yazık ki, basının yoğun tantanasının ortasında bir rakip için ayrılmaya karar verdiğini ve bazı kullanıcıların bunu, ürünün göreceli değerlerinin bir işareti olarak alabileceğinden endişe duyduğunuzu varsayalım. iki ürün. Ne yazık ki çok hızlı bir çözüm, veri noktasını bir gösterge değişkeni ile karışık ilgisiz bir olay olarak işaretlemektir.

Bununla birlikte, "kafa karıştırıcı" olayın önceki örnekleri hakkında veri elde edebilirseniz, o zaman belirli bir olayın benzer durumlarda ne kadar etkiye sahip olma eğiliminde olduğunu tahmin etmenize olanak tanıyan bir kesit analizi yapabilir ve bunu kaldırabilirsiniz. nihai sonuçlardan beklenen etki. Yukarıdaki örnekte, diğer şirketlerdeki yüksek profilli ekip üyelerinin ayrılmalarını çevreleyen kullanıcı etkinliğine ilişkin veriler, PR etkinliğinin veya ürün güncellemesinin etkisini izole etmek için söz konusu belirli faktörün etkisini tahmin etmenize ve ayırmanıza olanak tanır. değerlendirmek.

Birçok şirket, yılın zamanına veya tatiller gibi belirli önemli anlara bağlı olarak mevsimsellikle de karşılaşabilir. Bunu kontrol etmek için söz konusu yılın zamanına gösterge değişkenleri atayın.

Belirli Etkilerin Doğrusal Olmayanları

Büyüme çabalarına yönelik analizlerinizin ve stratejilerinizin sonuçlarını değerlendirirken, insanların olumlu gelişmelere tepki vermelerinin nasıl belgelendiğine ilişkin bazı doğrusal olmayan etkiler akılda tutulmaya değerdir.

Yukarıya karşı aşağı duyarlılık çok farklı olabilir. Veriler ve zaman elveriyorsa, her ikisi de sizinle ilgiliyse, hem olumlu hem de olumsuz olayların beklenen etkilerini tahmin etmeyi düşünün. Ne yazık ki, kullanıcı davranışından finansal piyasalara kadar birçok durumda aşağı yönlü hareketler, yukarı hareketlerden çok daha ani ve şiddetli olabilir.

Aynı anda birden fazla eylemi gerçekleştirmenin birleşik etkisi, bunları sırayla gerçekleştirmenin etkisine eşit olmayabilir, çünkü devam eden örüntü gerçeğinin kendisinin olumlu veya olumsuz etkisi olabilir. Her ay bir ürün güncellemesi yayınlayan bir şirketin modeli, kullanıcılara güven aşılarken, işten çıkarmalar veya işten çıkarmalar gibi olumsuz olayları bir kereden fazla duyurması, şirketin kendi durumunu tam olarak anlamadığı endişesine neden olarak büyük ölçüde orantısız bir etkiye sahip olabilir. durum. Halka açık şirketler genellikle "banyo yapar" ve tüm kötü haberleri bir kerede yayınlarlar, çünkü kötü haberin kendisinden kaynaklanan bir ilk "sabit" darbe, marjinal bir sonraki etki ile olma eğiliminde olabilir. Örneğin, "Torpido Etkisi", yalnızca kötü haberlerin varlığının bile fiyat düşüşünün anlamlı bir bölümünü açıklayabileceğine ilişkin ampirik fenomeni tanımlar. Bu nedenle olumsuz düşüşler, haberin veya gelişmenin gerçek içeriğinden azalan bir marjinal etkiye yol açan ilk sabit etkiye bölünebilir. Hedef, şirketi zaman içinde konumlandırmak olduğundan, PR kampanyaları tek bir mega etkinlikten daha iyi çalışır.

Varyans elbette yalnızca tarihsel olarak ölçülebilir, ancak bazı olaylar, altta yatan gerçek varyansı ve anormal büyümenin tesadüfen meydana gelme olasılığını değiştirebilir. Yeni varyansın kendisi söz konusu olayın sonucu olduğundan, olayın önemini onunla birlikte gelen daha büyük varyansa dayalı olarak reddetme şeklindeki döngüsel akıl yürütmeden kaçınmak için önceki varyans kullanılmalıdır. Ancak her zaman olduğu gibi, tartışma var ve her durum farklı olabilir.

Daha önce de belirtildiği gibi, hem insan psikolojisi hem de çok gerçek piyasa yapıları nedeniyle büyüme veya büyümedeki yavaşlama, bir süreliğine benzer etkiler doğurabilir. Momentum etkilerini ölçmek için çeşitli süslü otokorelasyon testleri mevcut olsa da, büyüme serisini kendisinin gecikmeli bir versiyonuna geriletmenin daha “manuel” yaklaşımını daha şeffaf ve denemesi daha kolay buluyorum.

İş Dünyasında Makine Öğrenimine Yaklaşım Üzerine Son Düşünceler

Bu tür testlere izin veren model geliştirildikten sonra, şirketin kullanıcı davranışlarını, satışları vb. izleme platformlarının, yeni veriler alındıkça katsayıları sürekli olarak güncellemek için koduna doğrudan bağlanamaması için hiçbir neden yoktur. Kişisel tercihim, veri kümesinin boyutunu daha yeni bilgilerin daha yüksek değeriyle dengelemesi ve ayrıca mevsimsellik durumunda doğal olarak yılın tüm zamanlarını içermesi açısından, mümkün olduğunda her zaman bir yıllık bir tahmin dönemine sahip olmak olmuştur.

İşin ve ürünün doğasında herhangi bir yapısal kırılma olmadığını varsayarsak, tahmin süresini bir yıldan fazla uzatmamak için hiçbir neden yoktur, ancak hızla büyüyen genç şirketler hızla gelişme eğilimindedir. Yazılım odaklı şirketler, yazılım güncellemelerinin etki açısından otomatik olarak test edildiği süreci oluşturmak için doğrudan GitHub'larına bağlanabilir. Bu doğrudan bağlantıyı oluşturarak ve işlevlerin otomatik olarak gelişmesine izin vererek, şirketiniz için makine öğrenimini devreye alma yolunda ilk adımı attınız.

Bilginin dünyanın en değerli metası olduğu sık sık dile getirilmekte, ancak verinin bilgi olmadığı daha az dile getirilmektedir. Aksine, şirketler, çoğu rastgeleliğe dayalı sahte kalıplar olabilen, rakip anlatılar anlatıyor gibi görünen çok fazla veriyle boğulmuş durumda. İstatistik, en iyi haliyle, bir azaltma sürecidir - kilit değişkenler ve ilişkiler üzerinde hızla odaklanma ve bunları pratik testler için dağıtma. Her şeyden önce bu analiz biçiminin ruhu, siz bir kararı temellendirmeden önce verileri gerçek bilgi olarak kanıtlamaya zorlayarak, karar verme sürecine sağlıklı bir şüphecilik aşılamaktadır.