ETL adalah kumpulan proses menyiapkan data dari operational source untuk data. Proses ini terdiri dari extracting, transforming, loading, dan beberapa proses yang dilakukan sebelum dipublikasikan ke dalam data warehouse
Ekstraksi Data (Extract)
Ekstraksi data adalah proses dimana data diambil atau diekstrak dari berbagai sistem operasional, baik menggunakan query, atau aplikasi ETL. Terdapat beberapa fungsi ekstraksi data, yaitu :
- Ekstraksi data secara otomatis dari aplikasi sumber.
- Penyaringan atau seleksi data hasil ekstraksi.
- Pengiriman data dari berbagai platform aplikasi ke sumber data.
- Perubahan format layout data dari format aslinya.
- Penyimpanan dalam file sementara untuk penggabungan dengan hasil ekstraksi dari sumber lain.
- Transformasi Data (Transformation)
Transformasi adalah proses dimana data mentah (raw data) hasil ekstraksi disaring dan diubah sesuai dengan kaidah bisnis yang berlaku. Langkah-langkah dalam transformasi data adalah sebagai berikut :
- Memetakan data input dari skema data aslinya ke skema data warehouse.
- Melakukan konversi tipe data atau format data.
- Pembersihan serta pembuangan duplikasi dan kesalahan data.
- Penghitungan nilai-nilai derivat atau mula-mula.
- Penghitungan nilai-nilai agregat atau rangkuman.
- Pemerikasaan integritas referensi data.
- Pengisian nilai-nilai kosong dengan nilai default.
- Penggabungan data.
- Pengisian Data (Loading)
Proses terakhir yang perlu dilakukan adalah proses pemuatan data yang didapatkan dari hasil transformasi ke dalam data warehouse. Cara untuk memuat data adalah dengan menjalankan SQL script secara periodik.
0 komentar:
Posting Komentar