Esta es la primera de una serie de dos partes.

Primera parte: creación de un almacén de datos

Hoy en día, todo el mundo quiere construir un almacén de datos. ¿Pero uno realmente lo necesita? Incluso si lo necesita, ¿cómo sabe que está construyendo lo correcto y cuándo realmente comenzará a obtener los primeros beneficios de ello?

Pero lo primero es lo primero, ¿qué es un almacén de datos? En pocas palabras, es un lugar único donde puede almacenar datos de todas las fuentes. Ayuda a responder las preguntas que requieren un análisis complejo que involucra datos de múltiples fuentes. También puede crear un almacén de datos de manera que pueda satisfacer rápidamente sus requisitos de datos más frecuentes.

Hace un año, estábamos luchando con esta pregunta en UpGrad: ¿construir o no construir un almacén de datos?

Para responder a esta y muchas otras preguntas similares, hablamos con muchas otras personas que lo habían hecho antes. Lo primero que notamos fue que para construir un almacén de datos (o DW), se necesita el equipo adecuado de ingenieros de datos, arquitectos, analistas y gerentes de productos. La primera pregunta que hicimos fue: ¿realmente vale la pena tanta inversión?

Para encontrar la respuesta correcta, debemos hacernos el conjunto correcto de preguntas. Estas preguntas pueden requerir una gran cantidad de tiempo y energía, pero una vez que haya terminado con ellas, tendrá mucha más confianza sobre si seguir adelante con DW o no. Aquí, proporcionaremos las respuestas que obtuvimos de nuestro propio ejercicio para mejorar su comprensión y, con suerte, lo ayudaremos en este proceso de decidir si configurar o no su propio almacén de datos.

Pregunta n.º 1: ¿Qué respuestas quiere obtener de los análisis/datos? ¿Y a qué frecuencia?

Como ya habrás notado, esta es la pregunta más importante de todas. Debe involucrar a otros equipos (Ventas, Marketing, Negocios) mientras responde estas preguntas para asegurarse de no perderse nada.

Lo que esto significó para nosotros : Queríamos 3 respuestas importantes de análisis/datos:

un. ¿Qué canales de marketing están funcionando bien, es decir, la atribución multicanal?

El equipo de marketing de UpGrad utiliza diferentes canales, tanto en línea como fuera de línea, para la adquisición de usuarios. Realizamos talleres y eventos fuera de línea para profesionales que buscan una mejora profesional. También utilizamos canales en línea como Facebook y Google para atraer a estos profesionales. Por lo tanto, se vuelve muy importante para nosotros saber qué canales están funcionando bien, para diseñar nuestra estrategia de marketing semanalmente, o incluso diariamente. Además, también queremos saber si los esfuerzos de remarketing o fuera de línea tienen algún efecto en la conversión de estos usuarios en estudiantes pagados.

B. ¿Cómo es nuestro embudo de conversión ?

Nuestro embudo parece mucho más grande que el de la mayoría de las empresas. Primera visita, registro, inicio de la solicitud, envío de la solicitud, examen realizado/exento, preselección, pago. Es fundamental saber cómo se ve el embudo en función de múltiples características diferentes, como la ciudad, el grupo de edad, el canal de adquisición, etc.

C. ¿Podemos predecir si un usuario terminará pagando o no, es decir, la puntuación de clientes potenciales ?

La puntuación de clientes potenciales se puede basar en dos cosas: idoneidad e interés. El ajuste está determinado por los atributos del usuario, como años de experiencia, puntaje GRE/GMAT/CAT, etc. El interés se basa en qué tan activo ha estado el usuario en el sitio web o qué tan receptivo es el usuario a las llamadas o correos electrónicos.

Aparte de estos, queríamos:

D. Realice un seguimiento del rendimiento de cada estudiante en un curso o programa para que podamos ayudarlos en el momento adecuado.

mi. Supervise las calificaciones de los estudiantes y las revisiones del contenido del curso.

Recibimos muchas más preguntas de este tipo de diferentes equipos... pero entiendes la idea.

Pregunta n.º 2 : ¿Cuál de estas respuestas ya proporciona la configuración actual o solo necesitaría ajustes mínimos?

Hacer esta pregunta le dará una buena idea de las capacidades actuales de la base de datos. Asegúrese de tener a los ingenieros correctos en la sala cuando pregunte esto (pista: la mayoría de ellos serían ingenieros de back-end en una startup que se encargan de la base de datos transaccional).

Lo que esto significó para nosotros :

un. Atribución multicanal

Antes de realizar una compra, el visitante realiza muchas visitas a través de diferentes canales. A veces, simplemente lo encuentran en Google y visitan su sitio web y, a veces, asisten a un evento promocional fuera de línea. Entonces, cuando un visitante finalmente compra el producto, queremos poder atribuir cuál de los canales ha sido más efectivo. Para hacerlo, tenemos que fusionar datos en línea y fuera de línea* en un solo lugar y ejecutar diferentes modelos de atribución.

B. Embudos de conversión

Nuestro embudo nuevamente incluye algunos componentes fuera de línea, como listas cortas y pruebas que el equipo de asesoramiento carga manualmente en Salesforce. El embudo requiere la fusión de datos de transmisión web con datos de Salesforce.

C. Valoración de prospectos

La mayoría de las herramientas de puntuación de clientes potenciales son básicas. Por ejemplo, puede puntuar en función de los eventos transmitidos en Pardot (por Salesforce). Necesitábamos un sistema que pudiera fusionar datos de Salesforce, análisis web y correos electrónicos para dar una puntuación final basada en el ajuste y el interés.

D. rendimiento de los estudiantes

Dado que estos datos se almacenan en una base de datos transaccional, podríamos encontrar una herramienta de visualización como BIME o Tableau para extraer los datos y crear estos paneles de seguimiento.

mi. Calificaciones y reseñas de los estudiantes

Igual que (d) arriba.

Entonces, comenzamos a construir un esquema de almacenamiento de datos, teniendo en cuenta a, b y c. Muchas empresas emergentes no requieren puntuación de clientes potenciales y solo tienen una fuente de datos para los embudos de conversión y la atribución. Para esas nuevas empresas, una herramienta de Business Intelligence (BI) es más efectiva que construir un almacén de datos.

Pregunta n.º 3: ¿Se verán diferentes las cosas a medida que escala en los próximos 1 o 2 años?

A escala, su base de datos transaccional puede volverse muy grande y las consultas pueden volverse más lentas o comenzar a fallar. También debe planificar para tales situaciones, mientras diseña el almacén.

Lo que esto significó para nosotros:

Nuestra tabla de la base de datos de actividades de los estudiantes crecerá muy rápido a medida que agreguemos más cursos y estudiantes. Las consultas ya han comenzado a ralentizarse. Tenía sentido tener esto en cuenta al diseñar el esquema.

Pregunta n.º 4 : ¿Hay algún otro lugar al que desee enviar los datos que desea en su almacén de datos?

Los datos almacenados en el almacén pueden tener muchos casos de uso diferentes, además del principal. Estos casos de uso lo ayudan a pensar en el esquema e incluyen campos adicionales, si es necesario, mientras construye el esquema.

Lo que esto significó para nosotros:

El equipo de asesoramiento utiliza la puntuación de clientes potenciales, por lo que tenemos que enviarla a Salesforce. Un equipo de un curso en particular también puede usar la puntuación de ajuste de la puntuación principal para autoeximirlos del curso. El modelo de atribución lo utiliza el equipo de marketing, por lo que tenemos que enviarlo a la herramienta de BI en un formato particular.

Finalmente, Pregunta #5 : ¿Cuenta con el equipo adecuado para tomar decisiones como:

1. ¿Qué base de datos de análisis debe usar, según la escala y los casos de uso de análisis?
2. ¿Cuál debería ser el modelo de esquema/datos para los casos de uso actuales? ¿Este esquema es escalable?
3. ¿Qué tipo de ETL sería necesario para crear la base de datos de análisis? ¿Cuánto tiempo tomaría el ETL?
4. ¿Cuál sería la frecuencia de actualización de las diferentes tablas? ¿Cómo debe manejar los casos de uso en tiempo real, como el de los motores de recomendación?

Necesitará un ingeniero de datos, un ingeniero senior que ya haya trabajado con datos durante al menos 3 a 5 años y un científico de datos para tomar muchas de estas decisiones.

Después de pensar en estas 5 preguntas, una startup puede decidir si construir o no un almacén de datos. Aquí hay una lista simple de pros y contras de un almacén de datos, para ayudarlo a evaluar aún más:

Ventajas —

1. Tendrá control total sobre sus datos y cambiará fácilmente a herramientas de terceros a medida que se vuelvan más costosas para usted o no cumplan con sus requisitos.
2. ¡Puede crear productos de ciencia de datos! Recomendaciones, búsqueda, análisis de sentimientos, spam vs jamón, etc. Tenga cuidado y verifique de antemano si necesitará datos en tiempo real para estos productos o si deberán actualizarse cada hora / día.
3. Como se señaló anteriormente, puede ahorrar mucho tiempo y problemas a los analistas. Las consultas serán más rápidas y los datos serán confiables.

Contras -

1. Debe invertir mucho en ingeniería y recursos de almacenamiento de datos, mucho antes de que pueda comenzar a obtener beneficios.
2. Lo más probable es que su primera construcción esté lejos de ser perfecta. Si es una empresa que se encuentra en una etapa inicial o intermedia, muchos procesos aún están evolucionando. No puede cubrir los casos que van a surgir en los próximos 3 a 6 meses. Enfrentar preguntas como por qué no pensamos en eso, etc., podría terminar desanimándote. Deberá ignorar estos pequeños contratiempos y mantener la vista en el objetivo a largo plazo.
3. La mayoría de las organizaciones no tienen la investigación y la paciencia adecuadas para crear la solución de almacenamiento de datos para sus necesidades. Deberá invertir mucho tiempo antes de ponerlo en marcha.

Una vez que haya completado este ejercicio, estoy bastante seguro de que estará listo para embarcarse en el viaje de análisis de datos para su inicio y evitará errores costosos. Comente a continuación y háganos saber si le gustó esta publicación o si la encontró útil. ¡Estad atentos para la próxima!

* Si solo tuviéramos canales en línea, podríamos haber utilizado la atribución multicanal de Google Analytics. También tenemos datos de eventos fuera de línea, que se pueden cargar en Google Analytics. ¿Problema resuelto? ¡Pobre de mí! GA le prohíbe enviar cualquier información de identificación personal. En ausencia de información de correo electrónico, es difícil vincular estos datos con otras fuentes de datos, a menos que asigne la ID de Google Analytics a los correos electrónicos en su propia base de datos, busque estas ID y cargue datos sin conexión con estas ID en GA.