Data Warehouse or Big Data?

Selamat pagi, siang, sore, dan malam pengunjung Timi's Blog yang budiman, baik hati, dan tidak sombong 💓. Nah sekarang apa sih yang mau aku bahas? Jadi pada mata kuliah II4471 Kapita Selekta STI kemarin Pak Arry menjelaskan tentang Data Warehouse dan Big Data. Bahasan yang menurut saya cukup menarik karena kedua topik ini sedang hangat menjadi perbincangan masyarakat. Nah secara garis besar pada posting ini saya akan membahas tentang "Mana yang masih relevan apakah Data Warehouse atau Big Data? Langsung saja kita mulai topik pembahasan ini. Cekidot guys 😀

Nah, tidak lazim jika kita mengkritisi sesuatu bila kita sendiri tidak memahami tentang konsep Data Warehouse dan Big Data. Oke kita mulai saja dari definisi dari Data Warehouse dan Big Data. Istilah apa sih? Bagi yang tidak tau, aku bakalan membagi tentang apa itu Data Warehouse dan Big Data.

Definisi

Data Warehouse

• Menurut Ferdiana (2008), Data warehouse adalah sebuah kombinasi teknologi yang memberikan fasilitas pada suatu organisasi dalam pengelolaan serta pemeliharaan data historis yang didapatkan dari sistem maupun aplikasi operasional.  
• Menurut Malik, Shadan (2005), menyatakan bahwa data warehouse merupakan tempat penyimpanan data historikal yang diorganisasikan berdasarkan pada subyek untuk pengambilan keputusan pada organisasi. Data warehouse memfasilitasi pada kegiatan antara lain data mining dan decision support system (sistem pendukung pengambilan keputusan)
• Menurut Vivek Gupta (System Services Group, 1997), pengertian data warehouse adalah sistem yang terstruktur dan berskala besar yang berguna untuk menganalisa data statis yang sudah ditransformasikan dari berbagai aplikasi sumber asalnya supaya sesuai dengan struktur bisnis, terkumpul dalam jangka waktu lama, direprentasikan pada terminologi bisnis serta terpadu agar kudah dalam menganalisa

Jadi, kalau aku bisa simpulin ya secara gampangnya, data warehouse ini adalah sebuah teknologi penyimpanan data yang menyimpan data yang sudah melalui proses extract, transform, dan load dari berbagai database yang sudah dimiliki organisasi. Jadi, di dalam data warehouse data yang disimpan memang data yang berguna untuk perusahaan, bukan seluruh data rekap historis yang dikumpulkan perusahaan dari setiap subyek/aplikasi yang dimiliki. Database berbeda dengan data warehouse. Database lebih relevan dengan tempat penyimpanan seluruh data rekap historis yang dimiliki perusahaan dari aplikasi yang dimiliki

Big Data

• Menurut Eaton, Dirk, Tom, George, dan Paul, Big Data merupakan istilah yang berlaku untuk informasi yang tidak dapat diproses atau dianalisis menggunakan alat tradisional.
• Menurut Dumbill (2012), Big Data adalah data yang melebihi proses kapasitas dari konvensi sistem database yang ada. Data yang terlalu besar dan terlalu cepat tidak sesuai dengan struktur arsitektur database yang ada. Untuk mendapatkan nilai dari data, maka harus memilih jalan alternatif untuk memprosesnya. 

Jadi, dari dua definisi ini aku bisa simpulin ya secara gampangnya, big data adalah sebuah istilah untuk menggambarkan volume data yang sangat besar baik "terstruktur" atau "tidak terstruktur". Lingkup data set dari big data lebih luas dari data warehouse.

Oke, mungkin para pembaca blog masih bingung, apa sih jadi bedanya? Nah, jadi ini aku dapat referensi yang bagus dari (https://www.educba.com/big-data-vs-data-warehouse/) tentang perbedaan keduanya apa sih kak? Langsung deh kita ulik sampai paham ya teman-teman.

Perbedaan Data Warehouse dan Big Data
Berikut ini adalah perbedaan data warehouse dan big data 

Selamat pagi, siang, sore, dan malam pengunjung Timi's Blog yang budiman, baik hati, dan tidak sombong 💓. Nah sekarang apa sih yang mau aku bahas? Jadi pada mata kuliah II4471 Kapita Selekta STI kemarin Pak Arry menjelaskan tentang Data Warehouse dan Big Data. Bahasan yang menurut saya cukup menarik karena kedua topik ini sedang hangat menjadi perbincangan masyarakat. Nah secara garis besar pada posting ini saya akan membahas tentang "Mana yang masih relevan apakah Data Warehouse atau Big Data? Langsung saja kita mulai topik pembahasan ini. Cekidot guys 😀

Nah, tidak lazim jika kita mengkritisi sesuatu bila kita sendiri tidak memahami tentang konsep Data Warehouse dan Big Data. Oke kita mulai saja dari definisi dari Data Warehouse dan Big Data. Istilah apa sih? Bagi yang tidak tau, aku bakalan membagi tentang apa itu Data Warehouse dan Big Data.

Definisi

Data Warehouse

• Menurut Ferdiana (2008), Data warehouse adalah sebuah kombinasi teknologi yang memberikan fasilitas pada suatu organisasi dalam pengelolaan serta pemeliharaan data historis yang didapatkan dari sistem maupun aplikasi operasional.  
• Menurut Malik, Shadan (2005), menyatakan bahwa data warehouse merupakan tempat penyimpanan data historikal yang diorganisasikan berdasarkan pada subyek untuk pengambilan keputusan pada organisasi. Data warehouse memfasilitasi pada kegiatan antara lain data mining dan decision support system (sistem pendukung pengambilan keputusan)
• Menurut Vivek Gupta (System Services Group, 1997), pengertian data warehouse adalah sistem yang terstruktur dan berskala besar yang berguna untuk menganalisa data statis yang sudah ditransformasikan dari berbagai aplikasi sumber asalnya supaya sesuai dengan struktur bisnis, terkumpul dalam jangka waktu lama, direprentasikan pada terminologi bisnis serta terpadu agar kudah dalam menganalisa

Jadi, kalau aku bisa simpulin ya secara gampangnya, data warehouse ini adalah sebuah teknologi penyimpanan data yang menyimpan data yang sudah melalui proses extract, transform, dan load dari berbagai database yang sudah dimiliki organisasi. Jadi, di dalam data warehouse data yang disimpan memang data yang berguna untuk perusahaan, bukan seluruh data rekap historis yang dikumpulkan perusahaan dari setiap subyek/aplikasi yang dimiliki. Database berbeda dengan data warehouse. Database lebih relevan dengan tempat penyimpanan seluruh data rekap historis yang dimiliki perusahaan dari aplikasi yang dimiliki

Big Data

• Menurut Eaton, Dirk, Tom, George, dan Paul, Big Data merupakan istilah yang berlaku untuk informasi yang tidak dapat diproses atau dianalisis menggunakan alat tradisional.
• Menurut Dumbill (2012), Big Data adalah data yang melebihi proses kapasitas dari konvensi sistem database yang ada. Data yang terlalu besar dan terlalu cepat tidak sesuai dengan struktur arsitektur database yang ada. Untuk mendapatkan nilai dari data, maka harus memilih jalan alternatif untuk memprosesnya. 

Jadi, dari dua definisi ini aku bisa simpulin ya secara gampangnya, big data adalah sebuah istilah untuk menggambarkan volume data yang sangat besar baik "terstruktur" atau "tidak terstruktur". Lingkup data set dari big data lebih luas dari data warehouse.

Oke, mungkin para pembaca blog masih bingung, apa sih jadi bedanya? Nah, jadi ini aku dapat referensi yang bagus dari (https://www.educba.com/big-data-vs-data-warehouse/) tentang perbedaan keduanya apa sih kak? Langsung deh kita ulik sampai paham ya teman-teman.

Perbedaan Data Warehouse dan Big Data
Berikut ini adalah perbedaan data warehouse dan big data 

Pembeda	Data Warehouse	Big Data
Definisi	Data warehouse adalah arsitektur bukan teknologi. Data warehouse melakukan ekstraksi dari berbagai sumber data dari database MySQL.	Big data merupakan teknologi yang memiliki komponen 3V (Velocity, Volume, dan Variety). Velocity adalah kemampuan pemrosesan data secara cepat, Volume adalah kemampuan penyimpanan data dalam jumlah besar, dan variety menunjukkan keberagaman data yang ada pada teknologi big data
Preferences	Secara preferences, data warehouse biasanya lingkup data yang diproses adalah merupakan data yang dimiliki oleh organisasi sehingga ketika organisasi membutuhkan data yang bersifat historis perusahaan data warehouse dipilih. Misalnya untuk menentukan harga produk X di tahun ini, perusahaan akan melihat tren penjualan dari produk X di tahun lalu	Sedangkan secara preferences, big data biasanya digunakan juga oleh perusahaan, namun tujuannya beda yaitu lebih ke arah membandingkan sejumlah banyak data yang ada dari berbagai sumber (tidak hanya data perusahaan tapi bisa didapat dari media sosial) untuk meningkatkan performa perusahaan. Misalnya: ketika perusahaan ingin mengetahui preferensi produk yang sedang disukai pengguna, teknologi big data akan digunakan menggunakan data yang diperoleh dari berbagai sumber dan dalam jumlah besar
Data Source	Berasal dari 1 atau lebih sumber data yang homogeneous. Biasanya dari DBMS yang dimiliki perusahaan di divisi tertentu atau penggabungan beberapa data source DBMS yang dimiliki oleh beberapa divisi di perusahaan	Bisa berasal dari berbagai sumber, tidak hanya dari DBMS saja. Bisa dari transaksi bisnis, media sosial, bahkan data yang ditangkap oleh sensor
Type Data	Hanya dapat menangani data terstruktur (umumnya data yang bersifat relasional)	Dapat menangani data yang terstruktur dan tidak terstruktur
Subject Oriented	Bersifat subject oriented. Fokus dari data warehouse adalah untuk menampilkan data yang berguna bagi perusahaan untuk mendukung pengambilan keputusan	Bersifat subject oriented. Namun yang membedakan adalah karena data yang dikumpulkan berdasarkan dari berbagai sumber, maka hasil analisis akan lebih kuat dibandingkan big data
Time Variant	Data diambil hanya pada waktu tertentu saja. Direkam ketika ada data yang masuk ke DBMS	Bersifat real time karena data yang dikumpulkan selalu terbarui dan diambil dari berbagai sumber
Non-Volatile	Data sebelumnya tidak akan terhapus apabila ada data yang ditambah kedalamnya. Ini adalah salah satu kelebihan dari data warehouse dibanding operational database	Data sebelumnya juga tidak terhapus apabila ada data yang ditambah kedalamnya. Penyimpanan file dalam representasi tabel. Biasanya untuk mengakses data menggunakan HiVe atau Spark
Distributed File System	Pemrosesan membutuhkan waktu yang lama (time consuming)	Pemrosesan membutuhkan waktu yang cepat karena menggunakan teknologi Hadoop yang memiliki reduce map yang dapat mengelola pemrosesan data dengan baik

Mana yang masih relevan digunakan saat ini? Data warehouse atau Big Data?

Jadi, sebenarnya yang mana masih relevan digunakan saat ini? Berdasarkan penjelasan saya diatas, menurut saya pribadi Big Data lebih relevan digunakan oleh organisasi saat ini. Alasannya, kita mengetahui bahwa di era yang sangat disruptif ini berbagai sumber data yang ada bisa sangat berguna untuk digunakan oleh perusahaan. Data yang ada di era disruptif juga bermacam-macam yaitu data yang terstruktur, semi-terstruktur, tidak terstruktur. Kemampuan big data untuk menangani berbagai macam data dengan volume yang besar secara cepat lebih relevan dibandingkan kemampuan dari data warehouse yang hanya mampu menangani data yang bersifat terstruktur. Namun, sebenarnya ada yang bisa diambil dari konsep data warehouse yang menggunakan pemrosesan secara tradisional, yaitu adalah teknologi tata kelola data. Terkadang kualitas data masih memegang peranan penting di organisasi. Data warehouse  masih berguna untuk melayani pelaporan standar dan KPI bisnis untuk organisasi. Nah bagaimana kalau menurut pendapat Anda? Apakah big data dan data warehouse masih relevan? Jangan lupa memberi komentar untuk pendapat Anda ya. Sekian dulu ya pengunjung Timi's Blog, tunggu informasi selanjutnya dari postingan saya. Terimakasih 👍

Link
Website Institut Teknologi Bandung
Website Sekolah Teknik Elektro dan Informatika (STEI) Institut Teknologi Bandung

Referensi Penulisan Artikel
https://www.educba.com/big-data-vs-data-warehouse/
https://www.robicomp.com/pengertian-data-warehouse-serta-penjelasannya.html
http://puruhitas.blog.uns.ac.id/2016/02/06/409/
https://www.linkedin.com/pulse/data-warehouse-still-relevant-big-era-richa-monga