Konsep Utama Data Warehousing: Gambaran Umum

Diterbitkan: 2018-03-20

Beberapa dekade terakhir telah melihat revolusi dalam hal teknologi berbasis cloud. Teknologi ini memungkinkan organisasi untuk menyimpan dan mengambil data dengan mulus tentang pelanggan, produk, dan karyawan mereka. Data ini kemudian dapat digunakan untuk mengumpulkan wawasan yang dapat ditindaklanjuti dan membawa organisasi ke jenjang yang lebih tinggi.
Sementara Big Data dan Analytics berurusan dengan tindakan yang dilakukan pada data SETELAH diambil, konsep Data Warehousing berfokus pada bagaimana data tersebut disimpan di cloud. Banyak organisasi global telah menganut konsep Data Warehousing untuk mengatur data mereka yang mengalir dari pusat operasional dan cabang perusahaan di seluruh dunia.
Konsep pergudangan data tidak ada sampai ledakan Big Data terjadi. Sebelum itu, semua organisasi menggunakan OLTP (Operational databases), yang cocok untuk mengelola, melacak, dan menganalisis aktivitas sehari-hari, tetapi gagal total ketika berurusan dengan kumpulan data historis yang mungkin berukuran terabyte. Sistem OLTP hanyalah model database relasional yang bekerja pada Entity-Relationship. Saat masih digunakan, OLTP perlahan memudar karena jumlah data yang sangat besar dengan organisasi saat ini.
Masukkan: Gudang Data!

Daftar isi

Apa itu Gudang Data?

Konsep Data Warehousing memungkinkan organisasi untuk mengumpulkan, menyimpan, dan mengirimkan data pendukung keputusan. Konsep pergudangan data sangat luas, dan gudang data adalah salah satu artefak yang dibuat selama proses pergudangan.
Istilah “Data Warehouse” diciptakan oleh William (Bill) H. Inmon pada tahun 1990. Menurut Inmon, gudang data hanyalah kumpulan data yang berorientasi pada subjek, terintegrasi, varian waktu, dan tidak mudah berubah untuk mendukung keputusan manajemen. -proses pembuatan.
Siapa Ilmuwan Data, Analis Data, dan Insinyur Data?

OLTP yang kita bicarakan sebelumnya sering mengalami perubahan (hampir setiap hari). Sedemikian rupa sehingga tidak mungkin bagi seorang eksekutif bisnis untuk menganalisis umpan balik atau keluhan produk sebelumnya karena kurangnya data historis.
Sebuah gudang data, di sisi lain, menyediakan data konsolidasi dalam tampilan multidimensi. Ini juga menyediakan alat OLAP (Online Analytical Processing) – yang sangat membantu ketika Anda mulai menganalisis data yang Anda simpan. Gudang Data, tidak seperti OLTP, juga mendukung operasi seperti penambangan data, klasifikasi, pengelompokan, dan analisis prediktif. Karena semua alasan ini dan banyak lagi, konsep Data Warehousing telah menjadi bagian integral dari organisasi mana pun.

Apa yang bukan gudang data?

Orang yang relatif lebih baru dengan konsep Data Warehousing sering membingungkan "data warehouse" untuk "database". Namun, mari kita perjelas poin ini sebelum melangkah lebih jauh – gudang data bukan hanya database tetapi lebih dari itu. Ini mencakup salinan data operasional yang dikumpulkan dari berbagai sumber data dan berguna selama pengambilan keputusan strategis.
Beberapa juga percaya bahwa gudang data HANYA berisi data historis. Namun, itu jauh dari kebenaran. Gudang data dapat dibuat untuk memasukkan data historis, dan juga data analitik dan pelaporan. Namun, data transaksional yang dikelola di penyimpanan data tidak disimpan di gudang. Tujuan menggunakan Data Warehouse adalah untuk menganalisis data historis dan mendapatkan wawasan yang dapat ditindaklanjuti dengan mulus.
Apa Paradoks Simpson? Bagaimana Pengaruhnya terhadap Data?

Pentingnya Data Warehousing

Sekarang kita berada di halaman yang sama mengenai konsep Data Warehousing, kebutuhannya, dan melihat perbedaan yang signifikan antara Data Warehouse dan OLTP. Sekarang, mari kita lihat pentingnya konsep Data Warehousing:

Memastikan konsistensi data

Gudang data menyimpan data dari berbagai sumber, dan data itu ada dalam berbagai format. Oleh karena itu, mereka diprogram untuk menerapkan metode ETL untuk memastikan bahwa data secara keseluruhan konsisten. Konsistensi adalah apa yang membuat pergudangan data menjadi alat yang sempurna bagi pengambil keputusan perusahaan untuk menganalisis dan berbagi wawasan data dengan kolega mereka di seluruh dunia. Standarisasi dan format data juga mengurangi risiko kesalahan saat analisis data; sehingga memberikan akurasi yang lebih baik secara keseluruhan.

Memfasilitasi keputusan yang lebih baik

"Pertama datang data, lalu teori." Sebuah gudang data memungkinkan organisasi untuk menyimpan dan mengambil data dengan mudah sehingga memastikan teori dan strategi yang lebih baik seputar data tersebut. Pergudangan data juga jauh lebih cepat dalam mengakses kumpulan data yang berbeda dan membuatnya lebih mudah untuk memperoleh wawasan yang dapat ditindaklanjuti.

Tingkatkan laba mereka

Sebuah gudang data membantu dalam peningkatan keseluruhan operasi organisasi mana pun dengan memungkinkan para pemangku kepentingan untuk menyelami data historis mereka. Ini, pada akhirnya, memungkinkan para pemimpin bisnis untuk dengan cepat melacak aktivitas masa lalu organisasi mereka dan mengevaluasi strategi yang berhasil (atau tidak berhasil). Hal ini memungkinkan eksekutif untuk melihat di mana mereka dapat menyesuaikan pendekatan mereka untuk mengurangi biaya, memaksimalkan efisiensi, dan meningkatkan penjualan untuk meningkatkan laba mereka.

Beberapa terminologi penting di dalam dan di sekitar konsep Data Warehousing:

Metadata

Metadata pada dasarnya hanyalah data tentang data. Misalnya, jika kita berbicara tentang sebuah buku, indeksnya dapat berfungsi sebagai metadata untuk isi buku tersebut. Dengan kata lain, metadata dapat dipahami sebagai ringkasan dari data yang lengkap.
Dalam hal gudang data, kita dapat mendefinisikan metadata sebagai

    • Sebuah peta jalan ke gudang data.

  • Direktori yang membantu sistem pendukung keputusan untuk menemukan isi dari gudang data.

Kubus Data

Kubus Data OLAP
Sebuah kubus data didefinisikan oleh dimensi dan fakta dan membantu kami mewakili data di lebih dari satu dimensi. Dimensi tidak lain adalah entitas yang organisasinya menyimpan arsipnya. Hal ini sebagian besar digunakan untuk menyimpan data untuk tujuan pelaporan. Setiap dimensi kubus mewakili karakteristik tertentu dari database, misalnya penjualan harian, bulanan, atau tahunan. Data yang disertakan dalam kubus data memungkinkan untuk menganalisis hampir semua angka untuk hampir semua pelanggan, agen penjualan, produk, dan banyak lagi. Dengan demikian, kubus data idealnya dapat membantu menetapkan tren dan menganalisis kinerja.

Dapatkan sertifikasi ilmu data dari Universitas top dunia. Bergabunglah dengan Program PG Eksekutif, Program Sertifikat Tingkat Lanjut, atau Program Magister kami untuk mempercepat karir Anda.

DataMart

datamart
Data mart dapat dipahami sebagai gudang data yang dibangun untuk melayani bagian tertentu dari organisasi. Data mart berisi satu subset dari seluruh data organisasi yang berharga bagi sekelompok orang tertentu. Misalnya, data mart yang dirancang khusus untuk tim pemasaran mungkin hanya berisi data yang terkait dengan item, pelanggan, dan penjualan. Data mart terbatas pada subjek yang dimaksud.
pergudangan data bersama dengan istilah dan teknologi penting. Jika menurut Anda menarik, kami sarankan Anda membahas topik ini secara mendalam dengan mengutak-atik konsep penambangan data, analitik data, dan banyak lagi. Perjalanannya panjang, dan gudang data hanyalah titik awal.

Jika Anda memiliki keraguan atau pertanyaan, beri tahu kami di komentar di bawah!

Mengapa perusahaan harus memanfaatkan Data Warehousing?

Sistem pergudangan data modern menyederhanakan tugas-tugas yang memakan waktu dalam merancang, membangun, dan menggunakan gudang data untuk memenuhi kebutuhan perusahaan yang berubah dengan cepat. Akibatnya, banyak perusahaan menggunakan solusi pergudangan data untuk memperoleh informasi. Analisis data yang lebih baik, pendapatan yang lebih besar, dan kapasitas untuk bersaing secara lebih strategis di pasar adalah semua keuntungan memiliki gudang data. Alat gudang data menggunakan berbagai teknologi terkait, seperti data terstruktur dan tidak terstruktur, perangkat lunak ETL, dan penambangan data, untuk mencapai manfaat ini.

Beberapa manfaat utama dari gudang Data meliputi:

1. Memungkinkan Wawasan Sejarah
2. Meningkatkan Kualitas dan Konsistensi Data
3. Meningkatkan Produktivitas
4. Analisis Data Dapat Dibuat Lebih Kuat dan Lebih Cepat
5. Meningkatkan Pendapatan
6. Berinteraksi dengan sistem lokal dan berbasis cloud

Apa alat gudang data terbaik untuk digunakan?

Banyak bisnis saat ini mengandalkan alat pergudangan data. Memilih solusi yang tepat untuk mengelola dan memelihara gudang data, serta menemukan solusi yang sesuai dengan tujuan dan batasan bisnis, bisa jadi sulit.

Berikut adalah ikhtisar dari beberapa Alat Data Warehousing yang dapat digunakan bisnis untuk mengekstrak data yang berguna dari gudang data mereka:

1. Amazon Redshift : Amazon Redshift adalah alat Data Warehousing yang memungkinkan untuk memeriksa data dengan alat Business Intelligence yang ada menggunakan kueri SQL sederhana. Ini menggunakan komputasi kinerja tinggi, eksekusi paralel, optimisasi kueri seragam, dan penyimpanan kolom untuk menjalankan kueri analitik yang canggih. Secara default, Amazon Redshift mengenkripsi data saat istirahat.
2. Google BigQuery : Google BigQuery adalah alat pergudangan data tanpa server, hemat biaya, dan sangat skalabel yang mencakup pembelajaran mesin dan memanfaatkan Business Intelligence Engine. Ini menganalisis petabyte data dengan kecepatan cepat menggunakan bahasa ANSI SQL, memberikan wawasan dan solusi dari data di seluruh cloud melalui arsitektur yang fleksibel, dan dapat menyimpan dan menanyakan kumpulan data yang sangat besar dengan cara yang hemat biaya dan efisien.
3. Microsoft Azure : Microsoft Azure adalah Alat Pergudangan Data yang menggabungkan lebih dari 200 produk dan layanan cloud yang membantu merancang, menjalankan, dan mengelola aplikasi yang sangat skalabel di berbagai jaringan cloud. Ini membantu dalam penyebaran mesin virtual Windows dan Linux di berbagai lingkungan cloud dan hybrid.