Aplikasi Statistik untuk Mengukur Pertumbuhan Perusahaan

Ringkasan bisnis plan

Sebagai tindak lanjut dari artikel saya sebelumnya tentang bagaimana mengidentifikasi pendorong pertumbuhan dalam bisnis, sekarang saya ingin melangkah lebih jauh ke lubang kelinci dan melihat bagaimana Anda kemudian dapat mengukur dampak inisiatif pertumbuhan. Saya akan menyediakan beberapa alat untuk menilai dampak tindakan seperti pembaruan produk, PR, dan kampanye pemasaran pada pertumbuhan pelanggan, metrik retensi, dan keterlibatan. Ini merupakan refleksi dari pekerjaan saya sebelumnya sebagai ahli statistik, membantu perusahaan untuk menilai dampak penilaian mereka terhadap peristiwa internal dan eksternal melalui reaksi sekuritas yang mereka perdagangkan.

Saya percaya bahwa alat dampak statistik, yang lebih umum di hedge fund dan dunia Wall Street, dapat jauh lebih berguna bagi perusahaan teknologi untuk mengelola pertumbuhan daripada cara penerapannya saat ini. Karena teknologi membuat berbagai informasi frekuensi tinggi tersedia bagi kami tentang perilaku pengguna atau klien, analis statistik atau data yang terampil dapat menjadi aset nyata dalam tim komersial.

Ada Banyak Cara untuk Mengukur Dampak Pertumbuhan

Sebagai contoh pengukuran dampak statistik pada penilaian, mari kita asumsikan bahwa perusahaan publik mengumumkan produk baru dan ingin mengetahui sejauh mana hal itu memengaruhi penilaiannya. Memperkirakan dampak nyata memerlukan perhitungan untuk:

1. Bagaimana kinerja pasar pada hari itu, dalam konteks korelasi sekuritas dengannya.
2. Efek dari informasi lain yang relevan dengan perusahaan yang dirilis pada waktu yang sama.
3. Fakta sederhana bahwa harga sekuritas dan perilaku pengguna bergerak setiap hari dari varians umum, bahkan tanpa adanya informasi baru.
4. Dampak jangka panjang, dalam hal tren kenaikan harga yang signifikan secara statistik.

Untuk perusahaan swasta, analisis yang sama dapat dilakukan pada perubahan pengguna aktif, atau klien, baik dalam jangka pendek maupun jangka panjang, yang merupakan akibat wajar dari aktivitas harga saham. Ini juga berlaku untuk metrik retensi dan kedalaman keterlibatan.

Menetapkan bentuk analisis bulat ini memungkinkan perusahaan untuk mengarahkan sumber daya mereka yang terbatas berdasarkan sinyal informasi yang jauh lebih kuat, daripada disesatkan oleh apa yang mungkin tampak sebagai reaksi pasar atau pengguna yang sebenarnya tidak lebih dari fluktuasi acak. Pekerjaan awal untuk menyiapkan model statistik yang memisahkan sinyal dari kebisingan dapat menghasilkan dividen yang luar biasa melalui wawasan yang dibawanya ke upaya pertumbuhan perusahaan. Ini juga merupakan proses berulang yang dapat dengan mudah (dan sering kali secara otomatis) diperbarui dan disempurnakan saat data baru diterima.

Memilih Metrik Target untuk Diuji

Setiap upaya pengukuran oleh perusahaan harus menargetkan setidaknya satu dari dimensi pertumbuhan berikut:

1. Pertumbuhan top-line , didefinisikan sebagai perubahan total penjualan atau pengguna/klien aktif dari waktu ke waktu.
2. Retensi pengguna dan klien, yang didefinisikan sebagai rata-rata masa pakai pengguna atau klien tertentu.
3. Kedalaman keterlibatan pengguna dan klien, yang didefinisikan sebagai frekuensi tindakan inti yang diambil atau volume transaksi melalui platform.

Ketiga dimensi tersebut dapat diukur, dan perusahaan dapat mengkonseptualisasikan nilainya sebagai luas segitiga yang dibentuk oleh ketiga titik ini. Jika satu runtuh, maka potensi nilai dari dua lainnya sangat dibatasi. Meskipun saya tentu saja setuju dengan banyak pendiri dan investor bahwa "beberapa pengguna yang mencintai Anda lebih baik daripada banyak yang menyukai Anda", saya tidak percaya bahwa ini bertentangan dengan pentingnya pertumbuhan top-line selain keterlibatan dan retensi yang kuat. Lintasan lebih penting daripada level, dan dimulai dengan sekelompok kecil pengguna yang benar-benar berdedikasi paling baik menetapkan kondisi awal untuk pertumbuhan jangka panjang di tempat pertama.

Tugas utama perusahaan adalah untuk kemudian membangun kerangka kerja analitis yang memungkinkan untuk mengukur efek sebenarnya dari tindakan mereka pada satu atau lebih dari tiga metrik utama tersebut. Perusahaan dapat menguji model yang berbeda untuk masing-masing model atau menggunakan alat seperti persamaan simultan untuk menghubungkannya secara lebih langsung. Upaya pemasaran dan PR, menurut pengalaman saya, cenderung mengalami kekurangan analisis yang cermat tentang apakah perusahaan menerima laba atas investasinya. Metrik tertentu, seperti tampilan total, klik, dan pembagian, hampir selalu dicatat, tetapi ini semua adalah sarana untuk mencapai tujuan dan pertanyaan berikutnya tentang efek pada konversi dan keterlibatan pelanggan jarang diberikan analisis yang serius.

Memilih Tolok Ukur dan Contoh Acara Satu Kali

Kita mulai dengan versi sederhana dari peristiwa satu kali. Mari kita asumsikan sebuah perusahaan merilis pembaruan produk baru atau menerbitkan cerita PR besar pada Hari 0 dan ingin tahu apakah itu mewakili langkah ke arah yang benar dalam hal efek pada pertumbuhan. Menentukan apakah sinyal nyata telah diterima bahwa perusahaan harus melanjutkan upaya serupa memerlukan mengetahui berapa banyak peningkatannya, versus berapa banyak yang akan terjadi, jika tidak ada peristiwa yang dimaksud.

Pertumbuhan benchmark dapat diperkirakan melalui model regresi yang memprediksi pertumbuhan, retensi, atau keterlibatan perusahaan berdasarkan variabel eksternal dan internal. Dalam kasus tertentu, kemampuan untuk mengisolasi pengguna yang terpengaruh oleh pembaruan produk memungkinkan pengujian A/B langsung dengan grup kontrol. Namun, ini tidak terjadi untuk produk skala besar, PR, dan upaya bisnis yang mempengaruhi semua pengguna saat ini dan calon pengguna agak seragam. Meskipun ada beberapa sumber luar biasa yang tersedia untuk pengujian semacam itu, banyak perusahaan tahap awal dapat menganggapnya mahal.

Variabel yang dapat dipertimbangkan untuk model ini antara lain:

Semua variabel harus ditentukan sebagai tingkat perubahan daripada tingkat absolut, menggunakan logaritma daripada persentase.

Kerangka waktu untuk setiap variabel juga perlu dipertimbangkan dengan cermat. Beberapa variabel memimpin (pasar saham misalnya sangat didasarkan pada harapan), sementara yang lain seperti peringkat kepuasan pengguna didasarkan pada pengalaman masa lalu tetapi tentu saja mungkin memiliki relevansi untuk pertumbuhan yang diharapkan.

Untuk regresi itu sendiri, saya sarankan memulai dengan Ordinary Least Squares (OLS) dan kemudian hanya beralih ke bentuk fungsional lain untuk alasan tertentu. OLS serbaguna dan juga memungkinkan interpretasi hasil yang lebih langsung daripada bentuk lain yang lebih kompleks. Modifikasi dalam konteks OLS akan mencakup regresi logaritmik untuk variabel nonlinier, variabel interaksi (misalnya, mungkin kepuasan pelanggan saat ini dan aktivitas media sosial), dan variabel kuadrat yang Anda yakini memiliki efek yang tidak proporsional pada nilai yang lebih besar. Karena pertumbuhan diharapkan eksponensial, regresi logaritmik tentu saja dapat membuktikan kecocokan yang kuat.

Mengenai jangka waktu dampak tindakan, pastikan untuk mempertimbangkan frekuensi tindakan atau pembelian pengguna Anda untuk membantu Anda menentukan interval yang tepat untuk mencari dampaknya. Saat menggunakan jangka waktu lebih dari satu hari, ingatlah bahwa pengguna aktif mingguan bukanlah jumlah pengguna aktif harian pada minggu itu. Jika saya secara aktif menggunakan produk Anda setiap hari dalam minggu itu, maka saya akan dihitung setiap hari untuk analisis harian. Jika Anda kemudian beralih ke analisis mingguan, saya hanya akan muncul sekali dan karenanya menjumlahkan hari-hari individu akan dihitung secara berlebihan.

Model ini kemudian memungkinkan Anda untuk memperkirakan pertumbuhan/retensi/keterlibatan yang diharapkan untuk saat tertentu atau periode waktu yang sedang berlangsung berdasarkan kinerja variabel penjelas ini. Perbedaan antara pertumbuhan yang diharapkan ini dan pertumbuhan aktual yang diamati setelah peristiwa itu adalah bagian abnormal yang dapat menunjukkan dampak. Membagi pertumbuhan abnormal ini dengan standar deviasi dari pertumbuhan yang diharapkan kemudian menunjukkan seberapa besar kemungkinan komponen abnormal itu terjadi secara kebetulan. Biasanya, hasil dari 1,96 (menjadi sekitar dua standar deviasi dari nilai prediksi) digunakan sebagai batas untuk menganggap bahwa itu tidak terjadi secara kebetulan.

Dalam konteks kelompok, retensi dan keterlibatan dapat dipertimbangkan dalam hal perubahan di seluruh kelompok berturut-turut (dengan kata lain, mempertahankan nilai tetap untuk setiap kelompok), atau perubahan dari waktu ke waktu dari total retensi dan keterlibatan, tanpa memecahnya menjadi kelompok.

Dampak Pertumbuhan Kumulatif dari Serangkaian Acara

Strategi pertumbuhan sering kali menekankan pada penerapan serangkaian peristiwa daripada upaya satu kali, baik untuk dampak yang lebih langsung dari memiliki banyak upaya dan dampak mendasar dari menunjukkan kepada pelanggan pola itu sendiri. Oleh karena itu, analisis dampak dapat melihat dampak kumulatif juga. Serangkaian peristiwa yang secara individu tidak signifikan dapat mengakibatkan dampak kumulatif yang signifikan, dan sebaliknya rangkaian peristiwa penting dapat menjaring menjadi tidak signifikan.

Situasi pertama dapat dianggap sebagai "pelan dan mantap memenangkan perlombaan." Katakanlah penjualan Anda meningkat sepersekian persen per minggu lebih cepat daripada sektor Anda yang relevan. Dalam waktu singkat ini tidak akan berarti apa-apa, karena pertumbuhan perusahaan mana pun akan sedikit berbeda dari tolok ukur secara kebetulan. Namun, jika kinerja Anda yang sedikit berlebihan berlanjut cukup lama, maka pada akhirnya Anda dapat menyatakan dengan yakin bahwa tingkat pertumbuhan perusahaan benar-benar melebihi pasar.

Situasi kedua pada dasarnya adalah segala jenis pembalikan. Cara frekuensi tinggi yang digunakan orang untuk bereaksi terhadap perkembangan sebelum benar-benar memproses informasi, serta mentalitas kawanan jangka pendek, membawa tantangan untuk memastikan bahwa Anda mempertimbangkan besarnya dan durasi sebenarnya dari reaksi melalui kebisingan yang lebih langsung. Dalam keadaan tertentu, pengguna dan pasar mungkin cenderung bereaksi berlebihan secara sistematis dalam jangka pendek (teknologi baru, pasar mata uang, dan seringkali berita buruk yang tidak mewakili ancaman serius bagi perusahaan) tetapi kemudian mengoreksi diri mereka sendiri.

Kedua situasi tersebut dapat digambarkan sebagai berikut. Interval kepercayaan menunjukkan batas di mana kita dapat mengharapkan 95% pengamatan turun, yang biasanya digunakan sebagai ambang batas untuk menganggap sesuatu yang signifikan secara statistik.

Tidak adanya pembalikan yang signifikan dapat dianggap sebagai bukti dampak yang bertahan lama. Kita harus berhati-hati dengan logika ini karena bertentangan dengan aturan normal skeptisisme empiris bahwa tidak adanya bukti bukanlah bukti ketidakhadiran, tetapi itu adalah yang terbaik yang bisa kita lakukan.

Berhati-hatilah saat membandingkan perubahan persen/logaritmik selama periode waktu individual. Penurunan sebesar 99% yang diikuti dengan peningkatan sebesar 99% tidak sepenuhnya menghasilkan perubahan kumulatif yang tidak signifikan. Pastikan untuk mempertimbangkan perubahan kumulatif pada akhirnya.

Jika Anda mengukur dampak kumulatif dari serangkaian acara seperti kampanye PR tertentu dalam jangka waktu terbatas (yaitu, musim liburan), maka Anda mungkin ingin melacak pertumbuhan selama semua hari atau minggu kalender yang termasuk dalam jangka waktu tersebut. , apakah masing-masing memiliki tindakan tertentu atau tidak. Anda pada dasarnya masih berharap bahwa pukulan 1-2-3 menghasilkan KO dalam periode tertentu bahkan jika mungkin ada sedikit penundaan di antara pukulan.

Jika peristiwa yang dipermasalahkan terpisah lebih jauh tetapi Anda masih ingin menilai dampak kumulatif, Anda dapat mempertimbangkan untuk menggabungkannya menjadi satu rangkaian hari yang berkesinambungan dan kemudian menjalankan analisis yang sama. Dalam hal ini, Anda pada dasarnya mengatakan "Hari 1 adalah 5 Januari, Hari 2 adalah 15 Maret, Hari 3 adalah 10 April ...") dan menguji perubahan kumulatif mereka vs. yang diprediksi oleh tolok ukur seolah-olah mereka benar-benar tanggal yang benar-benar berurutan. Pengujian signifikansi kemudian menggunakan rumus yang sama dengan kejadian tunggal, kecuali dalam hal ini menaikkan standar deviasi ke akar kuadrat dari jumlah hari/minggu yang membentuk periode kumulatif.

Menghadapi Informasi yang Terkontaminasi Saat Mengukur Pertumbuhan Perusahaan

Dunia jarang memberi kita fasilitas laboratorium yang sempurna untuk menguji ide-ide kita, jadi setelah model inti dibuat, kemungkinan besar akan perlu untuk mengontrol informasi lain yang mempengaruhi tingkat pertumbuhan yang diharapkan pada saat yang sama dengan tindakan yang kita lakukan. kembali berusaha untuk mengukur.

Mari kita asumsikan bahwa pada saat yang sama dengan acara PR atau pembaruan produk, seorang eksekutif puncak sayangnya memutuskan untuk pergi ke pesaing di tengah banyak keriuhan dari pers dan Anda menjadi khawatir bahwa beberapa pengguna mungkin menganggap ini sebagai sinyal manfaat relatif dari dua produk. Sayangnya, satu solusi yang sangat cepat adalah dengan hanya menandai titik data sebagai peristiwa yang tidak terkait yang dikacaukan, dengan variabel indikator.

Namun, jika Anda dapat memperoleh data tentang kejadian sebelumnya dari peristiwa "pengganggu", maka Anda dapat melakukan analisis cross-sectional yang memungkinkan Anda untuk memprediksi seberapa besar dampak yang cenderung dimiliki oleh peristiwa tertentu dalam keadaan serupa, dan Anda dapat menghapus dampak yang diharapkan dari hasil akhir. Dalam contoh di atas, data tentang aktivitas pengguna seputar keberangkatan anggota tim profil tinggi di perusahaan lain akan memungkinkan Anda untuk memperkirakan dan memisahkan efek dari faktor tertentu untuk mengisolasi efek acara PR atau pembaruan produk yang Anda harapkan. evaluasi.

Banyak perusahaan juga mungkin menghadapi musim berdasarkan waktu dalam setahun atau momen-momen penting tertentu seperti hari libur. Tetapkan variabel indikator ke waktu tahun yang bersangkutan untuk mengontrolnya.

Non-Linieritas Dampak Tertentu

Saat Anda mempertimbangkan hasil analisis dan strategi Anda untuk upaya pertumbuhan, efek nonlinier tertentu tentang bagaimana orang telah didokumentasikan untuk bereaksi terhadap perkembangan positif patut diingat.

Sensitivitas atas versus bawah bisa sangat berbeda. Jika data dan waktu memungkinkan, pertimbangkan untuk memperkirakan efek yang diharapkan dari peristiwa positif dan negatif, jika keduanya relevan bagi Anda. Sayangnya, pergerakan ke bawah dalam banyak kasus mulai dari perilaku pengguna hingga pasar keuangan bisa jauh lebih mendadak dan parah daripada pergerakan ke atas.

Efek gabungan dari melakukan beberapa tindakan sekaligus mungkin tidak sama dengan melakukannya secara berurutan karena fakta dari pola yang sedang berlangsung itu sendiri dapat memiliki efek positif atau negatif. Pola perusahaan yang merilis pembaruan produk setiap bulan dapat menanamkan kepercayaan pada pengguna sementara mengumumkan peristiwa negatif seperti PHK atau penurunan nilai lebih dari sekali dapat memiliki efek yang sangat tidak proporsional dengan menyebabkan kekhawatiran bahwa perusahaan tidak sepenuhnya memahami dirinya sendiri. situasi. Perusahaan yang diperdagangkan secara publik akan sering "mandi" dan merilis semua berita buruk sekaligus, karena cenderung ada pukulan "tetap" awal dari fakta berita buruk itu sendiri, dengan efek marginal berikutnya. “Efek Torpedo,” misalnya, menggambarkan fenomena empiris bahwa kehadiran berita buruk saja dapat menjelaskan sebagian penurunan harga yang berarti. Oleh karena itu, penurunan negatif dapat dipecah menjadi efek tetap awal yang memberi jalan pada efek marginal yang semakin berkurang dari konten aktual berita atau perkembangan. Kampanye PR bekerja lebih baik sebagai urutan daripada satu mega-event tunggal, karena tujuannya adalah untuk memposisikan perusahaan dari waktu ke waktu.

Varians tentu saja hanya dapat diukur secara historis, tetapi peristiwa-peristiwa tertentu mungkin mengubah varians dan probabilitas sebenarnya yang mendasari bahwa pertumbuhan abnormal terjadi secara kebetulan. Karena varians baru itu sendiri merupakan hasil dari peristiwa yang bersangkutan, varians sebelumnya harus digunakan untuk menghindari penalaran melingkar yang mengabaikan signifikansi peristiwa berdasarkan varians yang lebih besar yang menyertainya. Namun seperti biasa, ada perdebatan dan setiap situasi mungkin berbeda.

Seperti disebutkan sebelumnya, pertumbuhan atau perlambatan pertumbuhan keduanya dapat menimbulkan efek yang sama untuk sementara waktu, karena psikologi manusia dan struktur pasar yang sangat nyata. Meskipun ada berbagai tes autokorelasi mewah yang tersedia untuk mengukur efek momentum, saya menemukan pendekatan yang lebih "manual" untuk meregresi deret pertumbuhan pada versi lag itu sendiri agar lebih transparan dan lebih mudah untuk bereksperimen.

Kesimpulan Pemikiran tentang Mendekati Pembelajaran Mesin dalam Bisnis

Setelah model yang memungkinkan pengujian semacam itu dikembangkan, tidak ada alasan mengapa platform perusahaan untuk melacak perilaku pengguna, penjualan, dll. tidak dapat langsung ditautkan ke kodenya untuk terus memperbarui koefisien saat data baru diterima. Preferensi pribadi saya selalu memiliki periode estimasi satu tahun bergulir jika memungkinkan, karena itu menyeimbangkan ukuran kumpulan data dengan nilai lebih tinggi dari informasi yang lebih baru dan juga secara alami mencakup semua waktu sepanjang tahun jika terjadi musim.

Dengan asumsi tidak ada jeda struktural dalam sifat bisnis dan produk, tidak ada alasan untuk tidak memperpanjang periode estimasi lebih dari satu tahun, tetapi perusahaan muda yang berkembang pesat cenderung berkembang dengan cepat. Perusahaan yang digerakkan oleh perangkat lunak dapat menautkan langsung ke GitHub mereka untuk menciptakan proses di mana pembaruan perangkat lunak secara otomatis diuji dampaknya. Dengan membuat tautan langsung ini dan membiarkan fungsi berkembang secara otomatis, Anda telah mengambil langkah pertama untuk menerapkan pembelajaran mesin untuk perusahaan Anda.

Sering ditunjukkan bagaimana informasi adalah komoditas paling berharga di dunia, tetapi lebih jarang disebutkan bahwa data bukanlah informasi. Sebaliknya, perusahaan kewalahan dengan begitu banyak data yang tampaknya menceritakan narasi yang bersaing, banyak di antaranya bisa jadi hanya pola palsu berdasarkan keacakan. Statistik yang terbaik adalah proses reduksi—pengasaman cepat pada variabel kunci dan hubungan dan menerapkannya untuk pengujian praktis. Semangat dari bentuk analisis ini di atas segalanya adalah menanamkan skeptisisme yang sehat ke dalam proses pengambilan keputusan dengan memaksa data untuk membuktikan dirinya sebagai informasi nyata sebelum Anda mengambil keputusan darinya.