Anwendungen von Data Science und maschinellem Lernen in NETFLIX

Die Industrie nutzt Data Science auf spannende und kreative Weise. Data Science taucht an unerwarteten Orten auf und verbessert die Effizienz verschiedener Sektoren. Es fördert die menschliche Entscheidungsfindung und beeinflusst die Umsatz- und Gewinnzahlen des Unternehmens wie nie zuvor. Die Industrie begeistert Millionen von Kunden, indem sie ihre Anwendungen mit Data Science und maschinellem Lernen ausstattet.
Diese Blogserie zielt darauf ab, über interessante Anwendungen von Data Science und maschinellem Lernen in verschiedenen Unternehmen zu sprechen. In jedem Blogbeitrag wird ein Unternehmen hervorgehoben. In dieser Blog-Serie wird darüber gesprochen, wie Unternehmen wie Google, Apple, LinkedIn, Uber, Instagram, Twitter, Instacart, Netflix, Washington Post, Quora, Pinterest, Amazon, Medium, Microsoft usw. Data Science und maschinelles Lernen nutzen, um ihre Unternehmen voranzutreiben Unternehmen. Beginnen wir diese Serie also mit „Netflix“.

NETFLIX

Es ist bekannt, dass Netflix Empfehlungssysteme verwendet, um seinen Kunden Filme oder Shows vorzuschlagen. Abgesehen von Filmempfehlungen gibt es viele andere weniger bekannte Bereiche, in denen Netflix Data Science und maschinelles Lernen einsetzt:

• • Entscheiden Sie sich für personalisiertes Artwork für die Filme und Shows

• • Den Redakteuren die besten Frames aus einer Show für kreative Arbeit vorschlagen

• • Verbesserung des Quality of Service (QoS)-Streamings durch Entscheidung über Videokodierung, Fortschritte bei clientseitigen und serverseitigen Algorithmen, Caching des Videos usw

• • Optimierung verschiedener Produktionsstufen

• Experimentieren mit verschiedenen Algorithmen unter Verwendung von A/B-Tests und Entscheiden über kausale Schlussfolgerungen. Reduzieren Sie die Zeit zum Experimentieren mit Verweben usw.

Personalisierte Kunstwerke

Jeder von Netflix empfohlene Film wird mit dazugehörigem Artwork geliefert. Das Artwork, das mit einem Filmvorschlag einhergeht, ist nicht jedermanns Sache. Wie die Filmempfehlung ist auch das Artwork einer Show personalisiert. Alle Mitglieder sehen kein einziges bestes Kunstwerk. Für einen bestimmten Titel wird ein Portfolio von Kunstwerken erstellt. Je nach Geschmack und Vorlieben des Publikums wählt der maschinelle Lernalgorithmus ein Kunstwerk aus, das die Chancen maximiert, den Titel zu sehen.
Ein Portfolio von Kunstwerken, die für den Titel „Stranger Things“ erstellt wurden:

Personalisierung bei der Arbeit. Obere Reihe – Artwork für einen Betrachter vorgeschlagen, der die Schauspielerin Uma Thurman mag. Untere Reihe – Grafikvorschlag für einen Zuschauer, der den Schauspieler John Travolta mag:

Die Personalisierung von Kunstwerken ist nicht immer einfach. Es gibt Herausforderungen bei der Personalisierung von Kunstwerken. Erstens kann nur ein einzelnes Bild für die Artwork-Personalisierung ausgewählt werden. Im Gegensatz dazu können viele Filme gleichzeitig empfohlen werden. Zweitens sollte der Kunstwerkvorschlag in Verbindung mit einer Filmempfehlungsmaschine funktionieren. Es befindet sich normalerweise über der Filmempfehlung. Drittens sollte die personalisierte Artwork-Empfehlung Bildvorschläge für andere Filme berücksichtigen. Andernfalls wird es keine Abwechslung und Vielfalt bei den Kunstwerkvorschlägen geben, die eintönig sein werden. Viertens: Sollte zwischen den Sitzungen dasselbe oder ein anderes Kunstwerk gezeigt werden. Jedes Mal, wenn verschiedene Bilder gezeigt werden, wird der Betrachter verwirrt und führt auch zu dem Zuordnungsproblem. Das Zuordnungsproblem besteht darin, welches Artwork das Publikum dazu bringt, sich die Show anzusehen.
Die Personalisierung von Kunstwerken führt zu erheblichen Verbesserungen beim Entdecken von Inhalten durch die Zuschauer. Die Artwork-Personalisierung ist nicht nur die erste Instanz einer personalisierten Empfehlung, sondern auch, wie die Empfehlung an die Mitglieder erfolgt. Netflix forscht und perfektioniert diese im Entstehen begriffene Technik immer noch aktiv.
Ein Überblick über Association Rule Mining und seine Anwendungen

Kunst der Bildentdeckung

Eine einzelne Stunde „Stranger Things“ besteht aus 86.000 statischen Videoframes. Eine einzelne Staffel (10 Folgen) besteht im Durchschnitt aus insgesamt 9 Millionen Einzelbildern. Netflix fügt regelmäßig Inhalte hinzu, um seine globalen Kunden zu bedienen. In einer solchen Situation ist es nicht möglich, manuell zu ernten, um das „richtige“ Kunstwerk für die „richtige“ Person zu finden. Für die menschlichen Redakteure ist es nahezu unmöglich, nach den besten Rahmen zu suchen, die die einzigartigen Elemente der Show hervorheben. Um diese Herausforderung in großem Maßstab anzugehen, hat Netflix eine Reihe von Tools entwickelt, um die besten Frames wieder zum Vorschein zu bringen, die den wahren Geist der Show wirklich einfangen.
Pipeline zum automatischen Erfassen der besten Frames für eine Show:

Frame-Anmerkungen werden verwendet, um die objektiven Signale zu erfassen, die für das Bildranking verwendet werden. Um Frame-Anmerkungen zu erhalten, wird ein Video in mehrere kleine Teile unterteilt. Diese Chunks werden parallel mit einem Framework verarbeitet, das als „Archer“ bekannt ist. Diese parallele Verarbeitung hilft Netflix, die Frame-Anmerkungen maßstabsgetreu zu erfassen. Jedes Stück wird von einem Bildverarbeitungsalgorithmus behandelt, um die Rahmeneigenschaften zu erhalten. Einige der erfassten Eigenschaften des Frames sind beispielsweise Farbe, Helligkeit, Kontrast usw. Eine Kategorie von Merkmalen, die Aufschluss darüber geben, was in einem Frame passiert und während der Frame-Anmerkung erfasst wird, sind Gesichtserkennung, Bewegungsschätzung, Objekterkennung usw. Netflix identifizierte auch eine Reihe von Eigenschaften aus den Kernprinzipien der Fotografie, der Kinematografie und des visuellen ästhetischen Designs wie Drittelregel usw., die während der Frame-Annotation erfasst werden.
Der nächste Schritt nach der Frame-Annotation besteht darin, die Bilder zu ordnen. Einige Faktoren, die für das Ranking berücksichtigt werden, sind Schauspieler, Vielfalt der Bilder, Inhaltsreife usw. Netflix verwendet Deep-Learning-Techniken, um die Bilder von Schauspielern in einer Show zu gruppieren, die Hauptfiguren zu priorisieren und die Nebenfiguren zu depriorisieren. Die Frames mit Gewalt und Nacktheit werden mager bewertet. Mit dieser Ranking-Methode werden die besten Frames für eine Show ermittelt. Auf diese Weise verfügen das Grafik- und Redaktionsteam über eine Reihe hochwertiger Bilder, mit denen sie arbeiten können, anstatt sich mit Millionen von Frames für eine bestimmte Episode zu befassen.

Data Science in der Produktion

Netflix gibt dieses Jahr acht Milliarden Dollar für die Erstellung von Originalinhalten aus. Inhalte, die für Millionen von Zuschauern auf der ganzen Welt in mehr als 20 Sprachen erstellt wurden. Es sollte uns nicht überraschen, wenn Netflix Data Science zur Erstellung von Originalinhalten verwendet. Tatsächlich verwendet Netflix Data Science in jedem Schritt der Inhaltsproduktion.

Typischerweise besteht die Produktion von Inhalten aus Vorproduktions-, Produktions- und Postproduktionsphasen. Planung, Budgetierung etc. geschieht in der Vorproduktion. Die Hauptfotografie ist Teil der Produktion. Schritte wie Schnitt, Tonmischung etc. sind Teil der Postproduktion. Das Hinzufügen von Untertiteln und das Entfernen technischer Störungen sind Teil der Lokalisierung und Qualitätskontrolle. Lassen Sie uns nun sehen, wie Data Science dabei hilft, jede Produktionsphase zu optimieren.

Pipeline zum automatischen Erfassen der besten Frames für eine Show:

Wie bereits erwähnt, ist die Budgetierung Teil der Vorproduktion. Viele Entscheidungen müssen getroffen werden, bevor die Produktion beginnt. Zum Beispiel der Drehort. Data Science wird umfassend eingesetzt, um die Kostenauswirkungen eines bestimmten Standorts zu analysieren. Entscheidungen werden getroffen, indem die kreative Vision und das Budget sorgfältig abgewogen werden. Die Kostenminimierung erfolgt, ohne die Vision des Inhalts zu beeinträchtigen.
Bei der Produktion werden Tausende von Aufnahmen über viele Monate hinweg gedreht. Die Produktion wird ein Ziel haben, aber sie muss unter bestimmten Bedingungen durchgeführt werden. Einschränkungen können beispielsweise sein, dass ein Schauspieler nur eine Woche verfügbar ist, ein Drehort nur an bestimmten Tagen verfügbar ist, die Arbeitszeit der Crew 8 Stunden pro Tag beträgt, zeitliche Einschränkungen wie eine Tag- oder Nachtaufnahme, das Team Möglicherweise müssen die Standorte zwischen den Dreharbeiten verschoben werden. Die Vorbereitung eines Drehplans mit all diesen Einschränkungen kann für den Regisseur ein Alptraum sein. Mathematische Optimierungsverfahren werden hier mit einem Ziel und Randbedingungen verwendet. Diese Optimierungstechnik ergibt einen ungefähren Drehplan. Dieser Zeitplan wird durch Anpassungen weiter verfeinert.

Die Postproduktion dauert genauso lange wie die Produktion, wenn nicht sogar länger. Datenvisualisierungstechniken werden verwendet, um die Engpässe in der Postproduktion zu überprüfen. Visualisierungstechniken werden auch verwendet, um den Trend in der Postproduktion zu verfolgen und in die Zukunft zu projizieren. Diese Prognose wird durchgeführt, um die Arbeitsbelastung verschiedener Teams zu sehen und das Team entsprechend zu besetzen.

Bei der Lokalisierung werden Sendungen von einer Sprache in eine andere synchronisiert. Die Priorisierung, welche Shows synchronisiert werden müssen, wird basierend auf der Datenanalyse entschieden. Synchronisierte Inhalte, die sich in der Vergangenheit als beliebt erwiesen haben, werden priorisiert. Die Qualitätskontrolle prüft auf Probleme wie die Synchronisierung zwischen Audio und Video, die Synchronisierung von Untertiteln mit Ton usw. Die Qualitätskontrolle erfolgt sowohl vor als auch nach der Codierung (der Prozess des Komprimierens von Videos in unterschiedliche Bitraten zum Streamen auf verschiedenen Geräten). Netflix sammelte historische Daten aus manuellen Qualitätskontrollen. Diese Daten bestanden aus den Fehlern, die in der Vergangenheit aufgetreten sind, den Videoformaten, in denen die Fehler gefunden wurden, den Partnern, von denen dieser Inhalt bezogen wurde, dem Genre des Inhalts usw. Ja, Netflix hat ein Muster von Fehlern im Genre gesehen Gut. Unter Verwendung dieser Daten wurde ein maschinelles Lernmodell erstellt, das entweder „bestanden“ oder „nicht bestanden“ der Qualitätsprüfungen vorhersagt. Wenn ein maschineller Lernalgorithmus „Fehler“ vorhersagt, durchläuft dieses Asset eine Runde manueller Qualitätsprüfungen.
Top-Unternehmen, die Data Scientists in Indien einstellen

Streaming Quality of Experience und A/B-Tests

Data Science wird ausgiebig genutzt, um die Qualität des Streaming-Erlebnisses sicherzustellen. Die Qualität der Netzwerkkonnektivität wird vorhergesagt, um die Qualität des Streamings sicherzustellen. Netflix sagt aktiv voraus, welche Sendung an einem bestimmten Ort gestreamt wird, und speichert den Inhalt auf dem nahegelegenen Server. Das Caching und Speichern von Inhalten erfolgt, wenn der Internetverkehr gering ist. Dadurch wird sichergestellt, dass Inhalte ohne Puffer gestreamt werden und die Kundenzufriedenheit maximiert wird. A/B-Tests werden ausgiebig eingesetzt, wann immer eine Änderung am bestehenden Algorithmus vorgenommen oder ein neuer Algorithmus vorgeschlagen wird. Neue Techniken wie Interleaving und wiederholte Messungen werden verwendet, um den A/B-Testprozess mit einer sehr geringeren Anzahl von Samples zu beschleunigen.
Zusammenfassend sind dies einige Möglichkeiten, wie Netflix die Datenanalyse nutzt, um die Kunden zu begeistern und zu begeistern. Wenn Sie daran interessiert sind, tief einzutauchen und mehr darüber zu erfahren, wie dieses wunderbare Unternehmen Data Science einsetzt, besuchen Sie seinen Forschungsblog. Es gibt eine Fundgrube an Artikeln in ihrem Blog, die darauf warten, erkundet zu werden.

Lassen Sie uns in der kommenden Blogserie sehen, wie Instacart Data Science und maschinelles Lernen nutzt. Nachdem Sie diesen Blog gelesen haben, geben Sie Feedback zu Ihrer Meinung zu diesem Artikel. Machen Sie auch Vorschläge, welches Unternehmen Sie in meiner zukünftigen Serie sehen möchten.

Lernen Sie Datenwissenschaftskurse von den besten Universitäten der Welt. Verdienen Sie Executive PG-Programme, Advanced Certificate-Programme oder Master-Programme, um Ihre Karriere zu beschleunigen.

Bereiten Sie sich auf eine Karriere der Zukunft vor

Professional Certificate Program in Data Science for Business Decision Making vom IIMK