Kisi kisi UTS

1. Pendahuluan

a. Data WarehouseData Warehouse merupakan koleksi data yang memiliki sifat object-oriented, time-

variant, dan terintegrasi dalam sebuah koleksi data sebagai pendukung dalam proses

pengambilan keputusan. Data Warehouse berperan sebagai gudang data, yang nantinya data-data

yang ada di dalamnya dapat digunakan untuk diolah sewaktu-waktu diperlukan. Data Warehouse

digunakan untuk ruang lingkup yang lebih spesifik seperti pada suatu organisasi atau perusahaan.

b. Fungsi DW

- sebagai tempat menyimpan segala macam data dalam skala besar yang bisa di ambil

sewaktu waktu.

-

c. Keuntungan menggunakan DW

- Data diorganisir dengan baik untuk query analisis dan sebagai bahan untuk pemrosesan

transaksi.

- Perbedaan diantara struktur data yang heterogen pada beberapa sumber yang terpisah

dapat diatasi.

- Aturan untuk transformasi data diterapkan untuk memvalidasi dan mengkonsolidasi data

apabila data dipindahkan dari database OLTP ke data warehouse.

- Masalah keamanan dan kinerja bisa dipecahkan tanpa perlu mengubah sistem produksi.

d. Proses Data Warehouse

Proses dalam data warehouse atau data warehousing (catatan: istilah data warehouse

mengacu ke tempat repository data sementara istilah data warehousing mengacu ke proses

perjalanan data dari berbagai sumber data hingga masuk ke data warehouse) terdiri dari tahap-

tahap berikut ini:

1. Data di-import dari berbagai sumber data internal maupun eksternal

2. Data di-cleansed atau dibersihkan dan diorganisir secara konsisten sesuai dengan

kebutuhan perusahaan

3. a) Data di-load atau di-export atau dimasukkan ke data warehouse enterprise, atau b).

Data di-load/export/di masukkan ke data marts [tentang definisi data marts bisa dibaca

pada artikel sebelumnya tentang   Data Warehouse dan Beberapa Karakteristiknya di link

ini]

4. a). Bila diinginkan, data marts dibuat sebagai subset atau bagian dari EDW (enterprise

data warehouse), atau b) Data marts disatukan menjadi EDW

5. Analisa dilakukan ketika diperlukan

Apa saja yang menjadi komponen-komponen utama dari suatu data warehouse?

Data sources: data bersumber dari berbagai sistem operasional dan mjngkin juga berasal

dari berbagai sumber data eksternal.

Data extraction: Data di-ekstrak dengan menggunakan software komersial atau bisa juga

software yang dibuat sendiri yang biasa disebut dengan istilah ETL (Extract-Transform-

Load)

Data loading: Data di-load/dimasukkan dalam staging area, dimana data di transform

dan dibersihkan. Data kemudian siap untuk di-load ke data warehouse.

Comprehensive database: Ini adalah EDW (Enterprise Data Warehouse) yang

mendukung analisa pengambilan keputusan dengan memberikan informasi detil dan

ringkas yang relevan.

Metadata: Metadata di-maintain untuk akses oleh pengguna dan staf IT. Metadata

meliputi berbagai rules untuk mengorganisir ringkasan data yang mudah untuk di-index

dan di-search

Middleware tools: Middleware tools memungkinkan akses ke data warehouse dari

berbagai aplikasi front-end.

2. Data Warehouse dan DM

a. Perbedaan DW dan DM

Teknologi data warehouse digunakan untuk melakukan OLAP (On-line Analytical

Processing) , sedangkan data mining digunakan untuk melakukan information discovery

yang informasinya lebih ditujukan untuk seorang Data Analyst dan Business Analyst

(dengan ditambah visualisasi tentunya). Dalam prakteknya, data mining juga mengambil

data dari data warehouse. Hanya saja aplikasi dari data mining lebih khusus dan lebih

spesifik dibandingkan OLAP mengingat database bukan satu-satunya bidang ilmu yang

mempengaruhi data mining.

3. Arsitektur Dw

- Data warehouse itu sendiri, yang terdiri dari data-data dan software yang berasosiasi. - Data acquisition (back-end) software, yang mengekstrak data dari system legal dan

sumber-sumber eksternal, mengkonsolidasi dan merangkumnya, dan memprosesnya ke dalam data warehouse.

- Client (front-end) software, yang mengijinkan user mengakses dan menganalisis data dari

warehouse

4. Big Data

Big Data adalah sebuah teknologi baru di dunia teknologi informasi dimana memungkinan

proses pengolahan, penyimpanan dan analisis data yang sangat kompleks dalam beragam

bentuk/format (Variety), berjumlah besar (Volume) dan pertambahan data yang sangat cepat

(Velocity). Pengolahan dan analisis data dalam jumlah sangat besar ini memerlukan waktu yang

relatif jauh lebih singkat dengan menggunakan Big Data dibanding teknologi data sebelumnya,

misalnya relational database seperti MySQL.

5. DW dan D mart

a. Data mart

Data Mart merupakan bagian dari Data Warehouse yang mendukung pada tingkat departemen

atau fungsi bisnis tertentu pada perusahaan dengan kata lain, sebuah data mart adalah bentuk

sederhana dari sebuah gudang data yang difokuskan pada subjek tunggal (atau area fungsional), seperti

Penjualan, Keuangan, atau Marketing. Data Mart sering dibangun dan dikendalikan oleh satu

departemen dalam sebuah organisasi. Mengingat subjek tunggal fokus departemen tersebut, data mart

biasanya menggambar data dari hanya beberapa sumber. Sumber bisa sistem operasional internal, data

warehouse pusat, atau data eksternal.

b. ETL

Proses ETL (Extraction, Transformation, Loading) merupakan proses yang harus dilalui dalam

pembentukan data warehouse. ETL adalah suatu proses mengambil dan mengirim data dari data

sumber ke data warehouse. Dalam proses pengambilan data, data harus bersih agar didapat kualitas

data yang baik. Contohnya ada nomor telepon yang invalid, ada kode buku yang tidak eksis lagi, ada

beberapa data yang null, dan lain sebagainya. Pendekatan tradisional pada proses ETL mengambil data

dari data sumber, meletakan pada staging area, dan kemudian mentransform dan meng-load ke data

warehouse.

c. ELT

ELT merupakan variasi dari ETL (Extraction, Transformation, Loading). ELT memungkinkan data

mentah dimuat secara langsung pada data warehouse yang kemudian akan transformasi pada aata

warehouse tersebut. Kemampuan ini sangat berguna untuk memproses set data yang besar yang

diperlukan untuk Business Intelligence dan analisis data yang besar. Salah satu kemampuan utama ELT

adalah pengurangan waktu loading jika dibandingkan dengan model ETL. Mengambil keuntungan dari

kemampuan pemrosesan yang dibangun dalam infrastruktur data warehouse dapat mengurangi waktu

yang dihabiskan data untuk melakukan transit dan lebih hemat biaya.

d. OLAP

OLAP adalah singkatan dari Online Analytical Processing. OLAP digunakan untuk pengambilan

keputusan, OLAP berguna dalam melakukan analisis data yang sudah ada untuk membantu dalam

pengambilan keputusan di masa yang akan datang. OLAP merupakan teknologi yang memproses data di

dalam database dalam struktur multidimensi, menyediakan jawaban yang cepat untuk query dan

analisis yang kompleks. Data yang disajikan biasanya merupakan suatu fungsi agregasi

seperti summary (rangkuman), max (nilai maksimum), min (nilai minimum), average (rata-rata), dan

sebagainya.

e. OLTP

OLTP adalah singkatan dari Online Transaction Processing. OLTP merupakan suatu aplikasi atau program

yang digunakan dalam operasional perusahaan sehari-hari seperti melakukan insert (memasukan

data), update (mengubah data) dan delete (menghapus data) berbagai macam data, seperti penjualan,

pembelian, produksi dan lain sebagainya. OLTP bertujuan untuk memproses suatu transaksi secara

langsung melalui komputer yang tergabung didalam jaringan. Contohnya seperti aplikasi yang digunakan

minimarket dalam melayani penjualan, jika ada suatu transaksi penjualan, seorang kasir dapat langsung

memasukan data kedalam aplikasi yang terhubung didalam jaringan, sehingga pemrosesan data

terbantu oleh adanya OLTP tersebut. Berdasarkan datanya, OLTP menggunakan data asli atau hari ini

dan dapat di update setiap saat. OLTP biasanya memiliki ukuran yang relatif kecil.

Cloud Based