Dies ist der erste Teil einer zweiteiligen Serie.

Erster Teil – Aufbau eines Data Warehouse

Heutzutage möchte jeder ein Data Warehouse aufbauen. Aber braucht man das wirklich? Selbst wenn Sie es brauchen, woher wissen Sie, dass Sie das Richtige bauen, und wann werden Sie wirklich damit beginnen, frühzeitig davon zu profitieren?

Aber das Wichtigste zuerst: Was ist ein Data Warehouse? Einfach ausgedrückt, es ist ein einziger Ort, an dem Sie Daten aus allen Quellen speichern können. Es hilft bei der Beantwortung von Fragen, die eine komplexe Analyse mit Daten aus mehreren Quellen erfordern. Sie können auch ein Data Warehouse so aufbauen, dass Ihre häufigsten Datenanforderungen schnell erfüllt werden.

Vor einem Jahr haben wir bei UpGrad mit dieser Frage gekämpft – ein Data Warehouse bauen oder nicht bauen?

Um diese und viele andere ähnliche Fragen zu beantworten, haben wir mit vielen anderen Leuten gesprochen, die das schon einmal gemacht haben. Das Erste, was uns aufgefallen ist, war, dass man zum Aufbau eines Data Warehouse (oder DW) das richtige Team aus Dateningenieuren, Architekten, Analysten und Produktmanagern braucht. Die erste Frage, die wir stellten, war: Ist es wirklich so viel Investition wert?

Um die richtige Antwort zu finden, müssen wir uns die richtigen Fragen stellen. Diese Fragen können viel Zeit und Energie in Anspruch nehmen, aber sobald Sie damit fertig sind, werden Sie viel sicherer sein, ob Sie mit DW weitermachen oder nicht. Hier stellen wir die Antworten bereit, die wir aus unserer eigenen Übung erhalten haben, um Ihr Verständnis zu verbessern, und helfen Ihnen hoffentlich bei diesem Prozess der Entscheidung, ob Sie Ihr eigenes Data Warehouse einrichten möchten oder nicht.

Frage Nr. 1: Welche Antworten möchten Sie von Analysen/Daten erhalten? Und bei welcher Frequenz?

Wie Sie sicher schon bemerkt haben, ist dies die wichtigste Frage von allen. Sie müssen andere Teams (Vertrieb, Marketing, Business) bei der Beantwortung dieser Fragen einbeziehen, um sicherzustellen, dass Sie nichts verpassen.

Was das für uns bedeutete : Wir wollten 3 wichtige Antworten von Analysen/Daten:

A. Welche Kanäle im Marketing funktionieren gut, dh Multi-Channel-Attribution?

Das Marketingteam von UpGrad nutzt verschiedene Kanäle, sowohl online als auch offline, für die Benutzerakquise. Wir führen Offline-Workshops und -Events für Fachleute durch, die ein Karriere-Upgrade anstreben. Wir nutzen auch Online-Kanäle wie Facebook und Google, um diese Fachkräfte zu gewinnen. Daher ist es für uns sehr wichtig zu wissen, welche Kanäle gut funktionieren, um unsere Marketingstrategie auf wöchentlicher oder sogar täglicher Basis zu entwickeln. Darüber hinaus möchten wir auch wissen, ob Remarketing oder Offline-Bemühungen Auswirkungen darauf haben, diese Benutzer in bezahlte Studenten umzuwandeln.

B. Wie sieht unser Conversion Funnel aus ?

Unser Trichter sieht viel größer aus als die meisten Unternehmen. Erster Besuch – Anmeldung – Bewerbungsstart – Bewerbung einreichen – Test bestanden/befreit – Auswahlliste – bezahlt. Es ist wichtig zu wissen, wie der Trichter aussieht, basierend auf mehreren verschiedenen Merkmalen wie Stadt, Altersgruppe, Akquisitionskanal usw.

C. Können wir vorhersagen, ob ein Benutzer am Ende zahlen wird oder nicht, dh Lead-Scoring ?

Das Lead-Scoring kann auf zwei Dingen basieren – Eignung und Interesse. Die Eignung wird durch Benutzerattribute wie jahrelange Erfahrung, GRE/GMAT/CAT-Punktzahl usw. bestimmt. Das Interesse basiert darauf, wie aktiv der Benutzer auf der Website war oder wie der Benutzer auf Anrufe oder E-Mails reagiert.

Abgesehen davon wollten wir:

D. Verfolgen Sie jede Schülerleistung in einem Kurs oder Programm, damit wir ihnen zum richtigen Zeitpunkt helfen können.

e. Überwachen Sie die Bewertungen und Überprüfungen der Kursinhalte durch die Schüler .

Wir haben viele weitere solcher Fragen von verschiedenen Teams erhalten … aber Sie verstehen schon.

Frage Nr. 2 : Welche dieser Antworten werden bereits vom aktuellen Setup bereitgestellt oder erfordern nur minimale Anpassungen?

Wenn Sie diese Frage stellen, erhalten Sie einen guten Eindruck von den aktuellen Datenbankfunktionen. Stellen Sie sicher, dass Sie die richtigen Ingenieure im Raum haben, wenn Sie dies fragen (Tipp: Die meisten davon wären Backend-Ingenieure in einem Startup, die sich um die Transaktionsdatenbank kümmern).

Was das für uns bedeutete :

A. Multi-Channel-Attribution

Vor dem Kauf machen Besucher viele Besuche über verschiedene Kanäle. Manchmal finden sie Sie einfach auf Google und besuchen Ihre Website, und manchmal kommen sie, um an einer Offline-Werbeveranstaltung teilzunehmen. Wenn also ein Besucher das Produkt schließlich kauft, möchten wir zuordnen können, welche der Kanäle am effektivsten waren. Dazu müssen wir sowohl Online- als auch Offline-Daten* an einem Ort zusammenführen und unterschiedliche Attributionsmodelle verwenden.

B. Conversion-Trichter

Unser Trichter enthält wieder einige Offline-Komponenten, wie Auswahllisten und Tests, die vom Beratungsteam manuell in Salesforce hochgeladen werden. Der Trichter erfordert das Zusammenführen von Webstream-Daten mit Salesforce-Daten.

C. Lead-Bewertung

Die meisten Lead-Scoring-Tools sind einfach. Sie können beispielsweise auf der Grundlage von Ereignissen punkten, die in Pardot (von Salesforce) gestreamt werden. Wir brauchten ein System, das Daten aus Salesforce, Webanalysen und E-Mails zusammenführen konnte, um eine Endbewertung basierend auf Eignung und Interesse zu erhalten.

D. Studentische Leistung

Da diese Daten in einer Transaktionsdatenbank gespeichert sind, könnten wir ein Visualisierungstool wie BIME oder Tableau finden, um die Daten abzurufen und diese Tracking-Dashboards zu erstellen.

e. Bewertungen und Rezensionen von Schülern

Wie (d) oben.

Also begannen wir mit dem Aufbau eines Data-Warehouse-Schemas, wobei wir a, b und c berücksichtigten. Viele Startups benötigen kein Lead-Scoring und haben nur eine Datenquelle für Konversionstrichter und Attribution. Für diese Startups ist ein Business Intelligence (BI)-Tool effektiver als der eigentliche Aufbau eines Data Warehouse.

Frage Nr. 3: Werden die Dinge anders aussehen, wenn Sie in den nächsten 1-2 Jahren skalieren?

Bei entsprechender Skalierung kann Ihre Transaktionsdatenbank sehr groß werden und Abfragen könnten langsamer werden oder fehlschlagen. Auch solche Situationen sollten Sie beim Entwerfen des Lagers einplanen.

Was das für uns bedeutete:

Unsere Datenbanktabelle für Studentenaktivitäten wird sehr schnell wachsen, wenn wir mehr Kurse und Studenten hinzufügen. Die Abfragen haben bereits begonnen, sich zu verlangsamen. Es war sinnvoll, dies beim Entwerfen des Schemas zu berücksichtigen.

Frage Nr. 4 : Gibt es eine andere Stelle, an der Sie die gewünschten Daten in Ihrem Data Warehouse senden möchten?

Die im Warehouse gespeicherten Daten können neben dem Hauptanwendungsfall viele verschiedene Anwendungsfälle haben. Diese Anwendungsfälle helfen Ihnen, das Schema zu durchdenken und bei Bedarf zusätzliche Felder einzubeziehen, während Sie das Schema erstellen.

Was das für uns bedeutete:

Der Lead-Score wird vom Beratungsteam verwendet, daher müssen wir diesen an Salesforce senden. Das Fit-Score der Lead-Wertung kann auch von einem bestimmten Kursteam verwendet werden, um es automatisch vom Kurs auszuschließen. Das Attributionsmodell wird vom Marketingteam verwendet, daher müssen wir es in einem bestimmten Format an das BI-Tool senden.

Abschließend Frage Nr. 5 : Haben Sie das richtige Team, um Entscheidungen zu treffen wie:

1. Welche Analytics-Datenbank sollten Sie basierend auf der Skalierung und den Analytics-Use-Cases verwenden?
2. Wie sollte das Schema/Datenmodell für die aktuellen Anwendungsfälle aussehen? Ist dieses Schema skalierbar?
3. Welche Art von ETL wäre zum Erstellen der Analysedatenbank erforderlich? Wie lange würde die ETL dauern?
4. Was wäre die Aktualisierungshäufigkeit verschiedener Tabellen? Wie sollten Sie mit Echtzeit-Anwendungsfällen umgehen, wie dem für Empfehlungsmaschinen?

Sie benötigen einen Data Engineer, einen Senior Engineer, der bereits mindestens 3–5 Jahre mit Daten gearbeitet hat, und einen Data Scientist, um viele dieser Entscheidungen zu treffen.

Nach dem Durchdenken dieser 5 Fragen kann ein Startup entscheiden, ob es ein Data Warehouse aufbaut oder nicht. Hier ist eine einfache Liste der Vor- und Nachteile eines Data Warehouse, um Ihnen bei der weiteren Bewertung zu helfen:

Vorteile —

1. Sie behalten die volle Kontrolle über Ihre Daten und steigen problemlos auf Tools von Drittanbietern um, wenn diese für Sie teurer werden oder Ihren Anforderungen nicht mehr genügen.
2. Sie können Data-Science-Produkte bauen! Empfehlungen, Suche, Stimmungsanalyse, Spam vs. Ham etc. Seien Sie vorsichtig und prüfen Sie vorher, ob Sie für diese Produkte Echtzeitdaten benötigen oder diese stündlich/täglich aktualisiert werden müssen.
3. Wie bereits erwähnt, können Sie den Analysten viel Zeit und Ärger ersparen. Die Abfragen werden schneller und die Daten sind zuverlässig.

Nachteile —

1. Sie müssen viel in Engineering- und Datenspeicherressourcen investieren, lange bevor Sie davon profitieren können.
2. Die Chancen stehen gut, dass Ihr erster Build alles andere als perfekt sein wird. Wenn Sie ein Unternehmen in der frühen bis mittleren Phase sind, befinden sich viele Prozesse noch in der Entwicklung. Sie können die Fälle, die in den nächsten 3–6 Monaten auftauchen, nicht abdecken. Sich Fragen zu stellen, wie warum haben wir nicht daran gedacht usw., könnte Sie am Ende entmutigen. Sie müssen diese kleinen Rückschläge wegwischen und das langfristige Ziel im Auge behalten.
3. Die meisten Unternehmen verfügen nicht über die nötige Recherche und Geduld, um die Data Warehouse-Lösung für ihre Anforderungen zu erstellen. Sie müssen viel Zeit investieren, bevor Sie alles in Betrieb nehmen.

Sobald Sie diese Übung abgeschlossen haben, bin ich mir ziemlich sicher, dass Sie bereit sind, sich auf die Reise der Datenanalyse für Ihr Startup zu begeben und kostspielige Fehler zu vermeiden. Kommentieren Sie unten und lassen Sie uns wissen, ob Ihnen dieser Beitrag gefallen hat oder Sie ihn nützlich fanden. Seien Sie gespannt auf den nächsten!

* Wenn wir nur Online-Kanäle hätten, hätten wir die Multi-Channel-Attribution von Google Analytics verwenden können. Wir haben auch Daten zu Offline-Ereignissen, die in Google Analytics hochgeladen werden können. Problem gelöst? Ach! GA verbietet Ihnen, persönlich identifizierbare Informationen zu senden. Ohne E-Mail-Informationen ist es schwierig, diese Daten mit anderen Datenquellen zu verknüpfen, es sei denn, Sie ordnen die ID von Google Analytics E-Mails in Ihrer eigenen Datenbank zu, suchen diese IDs und laden Offline-Daten mit diesen IDs in GA hoch.