彼らはデータが新しい石油であると言います–それは本当に本当ですか？
公開: 2018-01-05high in demand 疑問に思われるかもしれませんが、データプロフェッショナルは需要が高く、perks get there データ固有のキャリアに参加することのメリットはそれをすべて理解しましょう：
目次
ビッグデータとは正確には何ですか？
通常の日には、通話、ソーシャルメディアの使用状況、写真、場所のトレース、買い物代金などによって、約10GBのデータを個別に生成します。 テクノロジーにアクセスできるすべての個人について、これらすべてを蓄積することで、世界中で生成された10億GBのデータを調べています。 それがあなたにとって十分に大きいと思われる場合、私たちはそれを単に「ビッグデータ」と呼ぶことができます。
わかりました、たくさんのデータがあります。 だから何？
研究者や技術の巨人は、このデータの重要性を理解し、このデータを処理、探索、利用できる人々を探し始めました。 それは、それぞれデータエンジニア、データアナリスト、データサイエンティストの3つの新しいクレイジーな需要の高いタイトルを生み出しました。
データサイエンティスト
| データエンジニア
| データアナリスト
| |
| 役割 | （ビッグ）データから洞察を整理、整理、生成する | データシステムとソースを管理、保護、一元化、統合する | データの収集、処理、統計分析の実行 |
| 考え方 | ビッグデータを使用してAIを作成する | データアーキテクチャを簡単に設計 | データから洞察を引き出す |
| スキル | 機械学習、分散コンピューティング、データの視覚化 | データウェアハウジング、データベースアーキテクチャ、抽出-変換-読み込み（ETL）ジョブ、およびシステム管理 | コミュニケーションと視覚化、スプレッドシートツール、ビジネス主導のインテリジェンス |
| ツールと言語 | Python、R、SQL、Spark、Map-Reduce | Hadoop、Spark、Hive、PIG、SQL | SAS、VBA、R、Excel、Tableau |
| 平均給与 | $ 125000 | $ 110000 | $ 90000 |
かっこいい、私たちは彼らが何をしているのか理解しています。 しかし、なぜ誇大広告？
データサイエンティスト、データアナリスト、データエンジニアは誰ですか？
いくつかのサクセスストーリーを見てみましょう
Xerox：ビッグデータソリューションを採用した後、同社はアプローチを変更し、Xeroxは採用パラダイムを再編成し、サポート要員の離職率を20％削減し、長期的には数百万ドルを節約しました。
IBM： 「TheWeather Company」を買収し、100,000を超える気象監視センサー、特殊航空機、ガジェットのアプリ、その他のさまざまなデバイスから収集されたビッグデータを活用するIBM Watsonは、22億を超える独自のデータ収集ポイントから恩恵を受け、継続的な気象監視を可能にします。 $500,000,000 天候によって引き起こされた損失と損害は、米国だけで年間約5億ドルを占めています。
Paypal：業界をリードする0.5％の損失率を達成する数十億のレコードを分析する自動不正検出システムを開発しました。
テスラ：各車の車載コンピューターによって生成された膨大なデータを分析することで、エンジニアは部品の故障、潜在的な安全性の問題、自動制御および緊急ロックダウンを予測できます。
あなたはこれらが数十億ドルを買う余裕がある巨人であると思うかもしれません！
小規模企業はどうですか？ ビッグデータへの投資は彼らにとって価値がありますか？
市場にはかなりの数の既製のソリューションがあり、AWS、Google Cloud、Azureなどのクラウドプロバイダーのサービスもあります。 これらすべてがビッグデータ分析ツールを非常に手頃な価格にします。 通常の中規模のスタートアップはこれらのサービスの恩恵を受けており、クラウドサービスを利用している人気のあるインド企業にはFreshdesk、Sigtuple、Paralleldotsなどがあります。
グーグル、フェイスブック、アップル、マイクロソフトなどの新興企業がテクノロジーの巨人に転向し、ビッグデータの取り扱いとそこから驚異を生み出す研究を進めるためだけにAIラボを設立しました。
あなたを取り巻くビッグデータアプリケーション
なぜデータの専門家はそれほど特別なのですか？
データプロフェッショナルの考え方を深く掘り下げてみましょう。優れたデータプロフェッショナルを他のDSA（データサイエンスおよび分析）の役割から分離する最も挑戦的でユニークなスキルは、ビッグデータを使用する能力です。 毎秒大量のデータが流れるため、意味のある情報をその場で処理して抽出することが難しくなります。
データの専門家は、高度なアルゴリズムと、一般に機械学習またはディープラーニングと呼ばれるテクノロジーを組み合わせて使用することで、このビッグデータの問題を解決します。
Googleアシスタント、Siri、Alexa、Cortana、Prisma、Snapchatフィルター、Facebookの場所、顔のタグ付けなどはすべて機械学習の例です。 これらすべてのテクノロジーの中核には、ディープラーニングや人工知能に燃料と生命を提供するビッグデータの種があります。
ビッグデータを新しいオイルにする理由
その巨大さのビッグデータは、未開拓の機会の広大な海です。 技術の巨人は、このビッグデータの奥深くに隠されている重要な情報を掘り下げて抽出するために数十億ドルを投資しています。 現代経済における非常に類似した重要な資源である原油との直接の比較では、ビッグデータは確かに将来の新しい石油/燃料です。
「人工知能は新しい電気です」、Andrew Ng（AI科学者）は、人工知能が現代のソリューションを提供することでもたらす力について説明しています。 彼はさらにビッグデータの重要性を保証し、おそらくその価値を石油と並行して進め、21世紀の「新しい石油」にします。
真実の瞬間：「データの専門家は、ビッグデータを（その価値のために）石油と見なし、それを抽出して処理し、企業だけでなくすべての人に対応する洞察/ソリューションに変換するための専門知識を開発します！」
最近、GoogleのDeepmindは数百万ペタバイトを処理し、星間研究者の目に隠れている2つの新しい太陽系外惑星を発見しました。 さまざまな新興企業が、世界最高の放射線科医よりもがんの検出に優れた画像ソリューションを開発しています。 自動運転車の人気が高まっており、Googleは、あらゆる言語を理解できる言語にライブ翻訳できるイヤホンを発売しました。 これらのブレークスルーはすべて、ビッグデータによってのみ可能でした。
金融業界におけるビッグデータの役割と給与それでは、黄金の質問に答えましょう。
どうすればデータの専門家に変身できますか？
アナリスト、データサイエンティスト、データエンジニアなど、より優れたデータプロフェッショナルになるには、ビッグデータの力と可能性を理解する必要があります。 意欲的なデータ専門家にとって、ビッグデータ技術で手を汚すことは有利です。 ただし、機械学習アルゴリズムを深く理解する必要があります。
データドメインの知識を向上させることを目的とした次のコースを自由に確認してください。
- BITSピラニによるビッグデータエンジニアリングのPGプログラム
- IIIT-BangaloreによるデータサイエンスのPGディプロマ
- 機械学習と人工知能のPGディプロマ
とった！ 私のオプションは何ですか？
ビッグデータテクノロジーに精通し、Spark、Hive、Hadoop、YARN、HBase、Map-Reduceなどのツールに慣れてください。 データサイエンティスト、データアナリスト、またはデータエンジニアのいずれとして続行するかを決定できます。 ビッグデータの力を利用するハイテク巨人や他の多国籍企業の下で、世界中で無限の機会と高給の仕事を見つけることができます。データは新しいオイルと呼ばれています。 それは分析の意味を変え、人工知能革命を毎日前進させています。 私たちが話しているように、データは未来を刺激しており、長い帆船に乗船することは良い考えです。
データが価値があり重要なのはなぜですか？
データは、企業運営のスピードアップ、生産プロセスと意思決定のエラーの排除、リスクが発生する前の検出と削減などに使用できます。 その結果、どの業界でもデータを価値に変えることで利益を得ることができます。 データを業務の中心に置き、データがすべてのアクションを推進し、ユーザーに力を与え、組織全体の意思決定をスピードアップできるようにする企業が、将来的に勝者となるでしょう。 それらは、より適応性があり、破壊的で、革新的になります。 他の人は、彼らが彼らのルートを識別し、彼ら自身のコースを作るときだけ彼らに従うでしょう。
データエンジニア、データアナリスト、データサイエンティストという、3つの主要なデータの役割はどのように異なりますか？
企業がデータの取り扱いに真剣に取り組むために、データの収集、整理、分析を担当するさまざまな役割があります。 生データから実用的な洞察まですべてを含むこのプロセスの広い範囲を考えると、各データジョブが何を担当しているかについて誤解があるかもしれません。
データエンジニア、データアナリスト、およびデータサイエンティストは、企業がデータチームに採用する3つの主要なデータの役割です。 主な違いは次のとおりです。
1.データエンジニア-データエンジニアの仕事は、データを収集、整理、および保存する方法を理解することです。したがって、データエンジニアはデータチームの重要な部分です。 データエンジニアになるための需要の高いスキルは、SQL、Python、AWS、Kafka、Hadoop、対人コミュニケーション、時間管理などです。
2.データアナリスト-優れたデータアナリストは、好奇心といくつかの観点からデータを調べ、データをクレンジングおよび変換して傾向を探す能力を備えています。 彼らは、より詳細な調査のために追加のデータを収集できる場所など、組織が追求する新しい道を発見する可能性があります。 データアナリストの要件は、SQL、統計プログラミング、Microsoft Excel、クリティカルシンキング、データ視覚化、データプレゼンテーションなどです。
3.データサイエンティスト–データサイエンティストは、ビジネスに必要なデータを抽出するためのアルゴリズムと予測モデルを構築し、データ分析とピアとの調査結果の共有を支援します。 コアデータサイエンススキルは、統計分析、機械学習、コンピューターサイエンス、プログラミング、コミュニケーション、ソフトスキルです。