Stars Realigned：IMDbレーティングシステムの改善

映画鑑賞者は、ランキングを使用して何を視聴するかを選択することがあります。 自分でこれをやってみると、最高ランクの映画の多くが同じジャンル、つまりドラマに属していることに気づきました。 これは、ランキングが何らかのジャンルの偏りを持っている可能性があると私に思わせました。

私は映画愛好家に最も人気のあるサイトの1つであるIMDbにアクセスしました。このサイトでは、世界中のあらゆる年の映画を取り上げています。 その有名なランキングは、膨大な数のレビューに基づいています。 このIMDbデータ分析では、そこで利用可能なすべての情報をダウンロードして分析し、より広い範囲の基準を考慮した新しい洗練されたランキングを作成することにしました。

IMDb評価システム：IMDbのデータのフィルタリング

1970年から2019年の間に公開された242,528本の映画の情報をダウンロードすることができました。 IMDbから提供された情報は、 Rank 、 Title 、 ID 、 Year 、 Certificate 、 Rating 、 Votes 、 Metascore 、 Synopsis 、 Runtime 、 Genre 、 Gross 、およびSearchYearた。

分析するのに十分な情報を得るには、映画ごとに最小限のレビュー数が必要だったので、最初に行ったのは、レビューが500未満の映画をフィルタリングすることでした。 これにより、33,296本の映画のセットが作成され、次の表で、そのフィールドの要約分析を見ることができます。

注：Rでは、 Factorは文字列を指します。 RankとGrossは、たとえば何千ものセパレータがあるため、元のIMDbデータセットではそのようになっています。

スコアの調整を開始する前に、このデータセットをさらに分析する必要がありました。 手始めに、 Certificate 、 Metascore 、 Grossの各フィールドには50％を超えるnull値が含まれていたため、役に立ちません。 ランクは本質的に評価（改良する変数）に依存するため、有用な情報はありません。 IDは、各映画の一意の識別子であるという点で同じです。

最後に、 TitleとSynopsisは短いテキストフィールドです。 いくつかのNLP手法でそれらを使用することは可能かもしれませんが、テキストの量が限られているため、このタスクではそれらを考慮しないことにしました。

この最初のフィルターの後、 Genre 、 Rating 、 Year 、 Votes 、 SearchYear 、およびRuntimeが残りました。 [ Genreフィールドには、映画ごとにコンマで区切られた複数のジャンルがありました。 そこで、多くのジャンルを持つことの相加効果を捉えるために、ワンホットエンコーディングを使用して変換しました。 これにより、22の新しいブールフィールド（ジャンルごとに1つ）が作成され、映画にこのジャンルがある場合は1、それ以外の場合は0になります。

IMDbデータ分析

変数間の相関関係を確認するために、相関行列を計算しました。

ここで、1に近い値は強い正の相関を表し、-1に近い値は強い負の相関を表します。 このグラフによって、私は多くの観察を行いました：

• YearとSearchYearは完全に相関しています。 これは、それらがおそらく同じ値を持ち、両方を持っていることは1つだけを持っていることと同じであることを意味するので、私はYearだけを保持しました。
• 一部のフィールドでは、次のような正の相関が期待されていました。
  • MusicalとMusic
  • AdventureのAction
  • AdventureのあるAnimation
• 負の相関についても同じです。
  • Drama vs. Horror
  • Comedy対Horror
  • Horror対Romance
• キー変数（ Rating ）に関連して私は気づきました：
  • これは、 RuntimeおよびDramaと正の重要な相関関係があります。
  • Votes 、 Biography 、 Historyとの相関は低くなります。
  • Horrorとはかなり負の相関があり、 Thriller 、 Action 、 Sci-Fi 、 Yearとは負の相関が低くなっています。
  • 他に重要な相関関係はありません。

長いドラマは評価が高かったようですが、短いホラー映画はそうではありませんでした。 私の意見では、それをチェックするためのデータがありませんでしたが、マーベルやピクサーの映画のように、より多くの利益を生み出す映画の種類とは相関していませんでした。

このサイトに投票する人々は、一般的な人々の基準を最もよく表しているわけではない可能性があります。 サイトでレビューを投稿するのに時間がかかる人は、おそらくより具体的な基準を持つある種の映画評論家であるため、それは理にかなっています。 とにかく、私の目的は一般的な映画の機能の影響を取り除くことだったので、その過程でこのバイアスを取り除こうとしました。

IMDbレーティングシステムでのジャンル分布

次のステップは、評価全体にわたる各ジャンルの分布を分析することでした。 そのために、元のGenreフィールドに表示された最初のジャンルに基づいて、 Principal_Genreという新しいフィールドを作成しました。 これを視覚化するために、バイオリン図を作成しました。

もう一度、 Dramaは高い評価と相関し、 Horrorは低い評価と相関していることがわかりました。 ただし、このグラフは、他のジャンルも良いスコアを持っていることを示しています： BiographyとAnimation 。 それらの相関関係が前のマトリックスに表示されなかったのは、おそらくこれらのジャンルの映画が少なすぎたためです。 そこで次に、ジャンル別の度数棒グラフを作成しました。

事実上、 BiographyとAnimationには、 SportとAdultがそうであったように、映画がほとんどありませんでした。 このため、これらはRatingとあまり相関していません。

IMDb評価システムの他の変数

その後、連続共変数（ Year 、 Votes 、 Runtime ）の分析を開始しました。 散布図では、 RatingとYearの関係を確認できます。

前に見たように、 YearはRatingと負の相関関係があるように見えました。年が増えると、評価の分散も増加し、新しい映画ではより負の値に達します。

次に、私はVotesのために同じプロットを作成しました。

ここでは、相関関係がより明確でした。投票数が多いほど、ランキングも高くなります。 ただし、ほとんどの映画の投票数はそれほど多くなく、この場合、 Ratingの差異が大きくなりました。

最後に、 Runtimeとの関係を調べました。

繰り返しになりますが、同様のパターンがありますが、さらに強力です。ランタイムが高いほど評価が高くなりますが、ランタイムが高い場合はほとんどありません。

IMDb評価システムの改良

この分析をすべて行った後、私は自分が扱っているデータについてよりよく理解できたので、これらのフィールドに基づいて評価を予測するためにいくつかのモデルをテストすることにしました。 私の考えは、私の最高のモデル予測と実際のRatingの違いは、共通の機能の影響を取り除き、映画を他のものよりも良くする特定の特性を反映するというものでした。

私は最も単純なモデルである線形モデルから始めました。 どのモデルのパフォーマンスが優れているかを評価するために、二乗平均平方根（RMSE）および平均絶対（MAE）エラーを観察しました。 これらは、この種のタスクの標準的な手段です。 また、予測変数と同じスケールであるため、解釈が容易です。

この最初のモデルでは、RMSEは1.03、MAEは0.78でした。 しかし、線形モデルは、誤差に対する独立性、中央値がゼロ、および一定の分散を想定しています。 これが正しければ、「残差と予測値」のグラフは構造のない雲のように見えるはずです。 そこで、それを裏付けるためにグラフ化することにしました。

予測値の7までは構造化されていない形状でしたが、この値以降は明確な直線降下形状になっています。 その結果、モデルの想定が悪く、また、実際にはRatingが10を超えることはできないため、予測値に「オーバーフロー」が発生しました。

以前のIMDbデータ分析では、 Votes数が多かったため、 Ratingが向上しました。 ただし、これはいくつかのケースで、大量の投票で発生しました。 これにより、モデルに歪みが生じ、このRatingオーバーフローが発生する可能性があります。 これを確認するために、[ Votesフィールドを削除して、この同じモデルで何が起こるかを評価しました。

これははるかに良かったです！ オーバーフロー予測値がなく、より明確で構造化されていない形状でした。 Votesフィールドもレビュー担当者のアクティビティに依存し、映画の特徴ではないため、このフィールドも削除することにしました。 それを削除した後のエラーは、RMSEで1.06、MAEで0.81でした。少し悪いですが、それほどではありません。トレーニングセットでのパフォーマンスよりも、より良い仮定と特徴選択を使用することを好みました。

IMDbデータ分析：他のモデルはどの程度うまく機能しますか？

次に私がしたことは、さまざまなモデルを試して、どちらがパフォーマンスが優れているかを分析することでした。 モデルごとに、ランダム検索手法を使用してハイパーパラメーター値を最適化し、モデルのバイアスを防ぐために5分割交差検定を使用しました。 次の表に、得られた推定誤差を示します。

ご覧のとおり、すべてのモデルが同じように機能するため、いくつかのモデルを使用してもう少しデータを分析しました。 各分野が格付けに与える影響を知りたいと思いました。 これを行う最も簡単な方法は、線形モデルのパラメーターを観察することです。 ただし、以前は歪みを避けるために、データをスケーリングしてから線形モデルを再トレーニングしました。 重みはここに描かれている通りでした。

このグラフでは、最も重要な変数の2つがHorrorとDramaであることが明らかです。最初の変数は評価にマイナスの影響を与え、2番目の変数はプラスの影響を与えます。 AnimationやBiographyなど、プラスの影響を与える他の分野もありますが、 Action 、 Sci-Fi 、 Yearはマイナスの影響を与えます。 さらに、 Principal_Genreは大きな影響を与えないため、映画のどのジャンルがプリンシパルであるかよりも重要です。

一般化加法モデル（GAM）を使用すると、連続変数（この場合はYear ）のより詳細な影響も確認できました。

ここに、もっと面白いものがあります。 確かに最近の映画は評価が低くなる傾向がありましたが、効果は一定ではありませんでした。 2010年に最も低い値を示し、その後「回復」しているように見えます。 その年以降、この変化を生み出した可能性のある映画製作で何が起こったのかを知ることは興味深いでしょう。

最良のモデルは、RMSEとMAEが最も低いニューラルネットワークでしたが、ご覧のとおり、完全なパフォーマンスに到達したモデルはありませんでした。 しかし、これは私の目的に関しては悪いニュースではありませんでした。 入手可能な情報により、パフォーマンスをある程度正確に見積もることができますが、それだけでは十分ではありません。 他にも、IMDbから取得できなかった情報があり、 Genre 、 Runtime 、 Yearに基づいてRatingが期待スコアと異なる場合があります。 それは俳優のパフォーマンス、映画の脚本、写真、または他の多くのものか​​もしれません。

私の見解では、これらの他の特性は、何を見るべきかを選択する上で本当に重要なことです。 与えられた映画がドラマ、アクション、またはサイエンスフィクションであるかどうかは関係ありません。 何か特別なもの、楽しい時間を過ごせるもの、何かを学ばせるもの、現実を振り返るようなもの、あるいはただ楽しませるものが欲しいです。

そこで、IMDbの評価を取得し、最良のモデルの予測された評価を差し引くことによって、新しい洗練された評価を作成しました。 これを行うことで、 Genre 、 Runtime 、 Yearの影響を取り除き、私にとってはるかに重要なこの他の未知の情報を保持していました。

IMDb評価システムの代替：最終結果

私の新しい評価と実際のIMDbの評価によるベスト10の映画を見てみましょう。

IMDb

私の

ご覧のとおり、表彰台は根本的に変化していません。 これは、RMSEがそれほど高くなかったために予想されたものであり、ここではトップを見ています。 ボトム10で何が起こったのか見てみましょう：

IMDb

私の

ここでも同じことが起こりましたが、今ではIMDbよりも洗練されたケースの方が多くのドラマが登場していることがわかります。

おそらく最も興味深い表彰台は、IMDbレーティングシステムのスコアと私の洗練されたスコアの差が最も大きい10本の映画です。 これらの映画は、未知の特性に重きを置いており、既知の機能で予想されるよりもはるかに優れた（または劣った）映画になっています。

私が映画監督で、新しい映画を制作する必要がある場合、このIMDbデータ分析をすべて行った後、IMDbランキングを上げるために、どのような映画を作成するかについてより良いアイデアを得ることができました。 それは、たとえばアマデウスなどの古い映画をリメイクした、長いアニメーションの伝記ドラマになります。 おそらくこれは良いIMDbランキングを保証するでしょうが、利益についてはよくわかりません…

この新しい基準でランク付けされている映画についてどう思いますか？ あなたはそれらを好きですか？ それともオリジナルのものが好きですか？ 以下のコメントで教えてください！