ANALISIS DAN PERANCANGAN DATAWAREHOUSE AKADEMIK PERGURUAN TINGGI BINA SRIWIJAYA BERBASIS PENTAHO DATA INTEGRATION (PDI) KETTLE

ANALISIS DAN PERANCANGAN DATAWAREHOUSE AKADEMIK PERGURUAN TINGGI BINA SRIWIJAYA BERBASIS PENTAHO DATA INTEGRATION (PDI) KETTLE

Arsitektur
Extract, transform,  dan  load  (ETL) :  sebuah  sistem  yang  dapat  membaca  data
dari  suatu  data store,  merubah  bentuk data, dan  menyimpan ke  data  store  yang
lain.  Data store yang dibaca ETL  disebut data source, sedangkan  data store  yang
disimpan ETL disebut target.

Extraction
Ekstraksi  dilakukan  dari  sumber  data  yang  digunakan  melalui  proses
pemilihan data yang kemudian disimpan pada basis data sementara. Dalam
penelitian  ini,  basis data sementara ditempatkan  pada penyimpanan  basis
data,  mesin  dan  platform  yang  sama  dengan  yang  digunakan  untuk  data
warehouse nantinya.

Cleaning
Proses  cleaning  adalah  proses  untuk  membersihkan  data  yang  rangkap,
tidak  konsisten,  rusak,  tidak  benar  (bernilai  salah),  data  yang  hilang
(kosong), atau data dengan spasi yang berlebihan.

Transformasi
Proses  transformasi  yang  dilakukan  dibagi  berdasarkan  dua  level  yaitu
record  level  dan  field  level.  Pada  proses  ini  dilakukan  proses  pemilihan,
penggabungan  dan  agregasi  untuk  mendapatkan  data  ringkasan  sesuai
dengan dimensi yang akan dibuat. Proses transformasi ke  field  yang baru
dapat  dilakukan  dengan  (menggunakan  script)  tertentu  untuk
melakukannya.

Infrastruktur

Perangkat Keras (Hardware)
Perangkat keras yang digunakan adalah laptop dengan spesifikasi berikut :
a.   Laptop Toshiba Satelite U 400
b.   RAM 3GB
c.   Hardisk 250 GB
d.   Intel Pentium dual core processor T4200 @2.00Ghz
e.  Flash Disk 2 GB

Perangkat Lunak (Software)
a .  Windows 7 Professional sebagai operating system
b.  Microsoft Office 2007 untuk penulisan laporan tugas akhir ini
c.    Software pendukung yaitu xampp (mysql), Pentaho Kettle.

Read More

Resume Data Warehouse Minggu ke 2

Perbedaan Data warehouse dan Data Mart 

Pada dasarnya kedua komponen ini saling bersangkutan karena Data Mart jika storagenya terus bertambah maka akan menjadi Data Warehouse . dan sekarang untuk lebih jelasnya apa itu Data Warehouse dan Data Mart kita ketahui dulu apa pengertiannya dulu.

Menurut W.H. Inmon dan Richard D. Hackathorn di tahun 1994, data warehouse adalah koleksi data yang mempunyai sifat berorientasi subjek,terintegrasi,time-variant, dan bersifat tetap dari koleksi data dalam mendukung proses pengambilan keputusan management.

Menurut Vidette Poe, data warehouse merupakan database yang bersifat analisis dan read only yang digunakan sebagai fondasi dari sistem penunjang keputusan.

Menurut Paul Lane, data warehouse merupakan database relasional yang didesain lebih kepada query dan analisa dari pada proses transaksi, biasanya mengandung history data dari proses transaksi dan bisa juga data dari sumber lainnya. Data warehouse memisahkan beban kerja analisis dari beban kerja transaksi dan memungkinkan organisasi menggabung/konsolidasi data dari berbagai macam sumber.

Menurut Ralph Kimball, data warehouse adalah salinan data transaksi khusus terstruktur untuk query dan analisis.

jadi, data warehouse merupakan metode dalam perancangan database, yang menunjang DSS(Decission Support System) dan EIS (Executive Information System). Secara fisik data warehouse adalah database, tapi perancangan data warehouse dan database sangat berbeda. Dalam perancangan database tradisional menggunakan normalisasi, sedangkan pada data warehouse normalisasi bukanlah cara yang terbaik.

Dari definisi-definisi yang dijelaskan tadi, dapat disimpulkan data warehouse adalah database yang saling bereaksi yang dapat digunakan untuk query dan analisisis, bersifat orientasi subjek, terintegrasi, time-variant,tidak berubah yang digunakan untuk membantu para pengambil keputusan.

Perbedaan Data Warehouse & OLTP

Karakteristik Data Ware aHouse

1. Subject Oriented 
2. Oriented 
3. Time Variant : menganalisa masa lalu untuk memprediksi masa datang
4. Non-valitale

dimana Di setiap karakteristik tersebut memiliki arti sebagai berikut 

- Subject Oriented

• Data Warehouse di organisasikandalam lingkung subjek 
• berfokus ke dalam pemodelan dan analisis data untuk pihak pihak pembuat keputusan 
• memisahkan data yang tidak berguna di dalam sebuah proses

- Integrated

• Data Ware house dikonstruksikan dengan cara mengintegrasikan sejumlah sumber data yang berbeda
• data perprocessing di aplikasikan untuk meyakinkan kekonsistenan data.

- Time Variant 

• menghasilakn Informasi dari Sudut pandang Historical 
• Setiap struktur kunci mengandung waktu

- Nonvolatile

• sekali Data direkam maka data tidak diupdate
• data warehouse membutuhkan dua operasi pengaksesan data 
• initial loading
• akses data

Prinsip Data Warehouse 

sekarang pada bagian data mart pengertiannya sebagai berikut 
Data mart
Data mart adalah suatu bagian pada data warehouse yang mendukung pembuatan laporan dan analisa data pada suatu unit, bagian atau operasi pada suatu perusahaan

Karakteristik Data Mart

• Data mart memfokuskan hanya pada kebutuhan-kebutuhan pemakai yang terkait dalam sebuah departemen atau fungsi bisnis.
• Data mart biasanya tidak mengandung data operasional yang rinci seperti pada data warehouse.
• Data mart hanya mengandung sedikit informasi dibandingkan dengan data warehouse. Data mart lebih mudah dipahami.

Keutungan dan Kelemahan Data Mart :

 Keuntungan Data Mart, sebagai berikut:

1. Akses mudah ke data yang sering digunakan
2. Penciptaan pandang kolektif untuk sekelompok pengguna
3. Peningkatan respon-time dari pengguna akhir
4. Fleksibel dan mudah cara pembuatan
5. Lebih hemat biaya daripada Data warehouse
6. Definisi pengguna lebih jelas dari sebuah gudang data.

Kelemahan Data Mart, sebagai berikut :

1. Tidak bisa sepenuhnya menilai kinerja LAN berbasis sistem manajemen database sementara port dari satu lingkungan yang lain.
2. Dapat mendukung kelompok-kelompok pengguna kecil atau sederhana sumber data, yang tidak ideal untuk aplikasi perangkat lunak didistribusikan dan pengembangan skala besar Perusahaan-lebar sistem manajemen database

kesimpulannya data warehouse dan data mart saling berkesinambungan

refrensi :

http://md-niswa.blogspot.com/2011/03/pengertian-data-warehouse-dari-beberapa.html

http://duniawebhouse.blogspot.com/2013/01/definisi-data-mart.html

Read More

Resume Datawarehouse pertemuan 1

Data warehouse adalah suatu konsep dan kombinasi teknologi yang memfasilitasi untuk mengelola dan memelihara data histori yang di perole dari sistem aplikasi operasional [ferdiana, 2008] . pemakaian datawarehouse  hampir di butuhkan oleh semua organisasi , tidak terkecuali perpustakaan datawarehouse memunkinkan integrasi berbagai macam jenis data dari berbagai macam aplikasi dan data 
konsep dasar datawarehouse 

• Data warehouse adalah data yang beorientasi objek ,terintegrasi memiliki dimensi awaktu serta merupakan koleksi tetap , yang di gunakan dalam pengambilan keputusan 
• Data warehouse adalah suatu paradigma baru di lingkungan pengambilan keputusan startegik 
• Data warehouse adalah data yang di peroleh dari proses di mana organisasi mengeksekusi makna dari aset informasi yang mereka miliki 
• Data warehouse adalah pusat repositori informasi yang mampu memberikan database yang berbasis subyek untuk informasi yang bersifat historis yang mendukung decision support system 

why need data warehouse ?

Salah satu efek yang dihasilkan dari adanya suatu sistem informasi adalah munculnya banyak data. Data yang ada ini berasal dari sistem operasional yang berfungsi untuk menangani transaksi yang terkait dengan proses bisnis yang ditangani oleh sistem informasi tersebut.

Contoh: sistem informasi presensi karyawan memunculkan data jumlah kehadiran kehadiran karyawan setiap hari dengan data yang disimpan tergantung pada apa yang dibutuhkan oleh sistem informasi tersebut (misalkan: nomor induk pegawai, jam masuk, pintu masuk, dsb.).

kesimpulan dari data warehouse 

Data warehouse adalah sebuah lingkungan informasi yang :

• menyediakan pendangan terpadu dan total dari seluruh perusahaan perusahaan 
• membuat pengambilan keputusan menjadi mudah dan tanpa menghalangi sistem operasional transaksi 
• organisasi informasi yang konsisten 
• menyajikan fleksibel dan interaktif sumber informasi strategis 

OLTP VS OLAP

OLTP (Online Transaction Processing System )  

OLTP adalah melakukan Query secara cepat , data mudah untuk di perbaiki dan dapat di akses melalui komputer yang terhubung dengan jaringan .karkteristik OLTP memiliki beberapa user dapat creating,updating ,retriving untuk setiap record data , dan OLTP sangat optimal untuk updating data 

OLAP (Online Analytical Processing)

OLAP adalah Perangkat Lunak yang melakukan pemrosesan untuk menganalisa data bervolume besar dari berbagai perspektif (Multidimensi).

Perbedaan OLAP DAN OLTP 

Refrensi 

1. slide Data Warehouse pertemuan 1
2. http://opistation.wordpress.com/2013/10/15/pengertian-data-warehouse/
3. http://arief05.blogspot.com/2013/09/mengapa-datawarehouse.html
4. http://andrey-derma.com/article/detail/32/Mengenal-OLAP-dan-OLTP
5. http://tehnikinformatia.blogspot.com/2013/07/perbedaan-olap-dan-oltp.html

Read More