Resume Data Warehouse pertemuan 11

DTS adalah sekumpulan operasi yang dilakukan pada sumber data sebelum ditulis ke lokasi tujuan. Dalam hal ini kolom pada tabel bisa merupakan hasil dari transformasi yang diterapkan ke dalam beberapa kolom dan baris dari satu atau lebih tabel. 

Membuat Paket DTS

Untuk membuat paket DTS bisa dilakukan dengan dua cara yaitu melalui DTS Package Designer dan dengan memanfaatkan fasilitas Wizard dari Menu Tools. Kedua cara ini hasilnya sama saja hanya proses dan caranya saja yang berbeda. DTS Package Designer merupakan sarana grafis yang dirancang untuk para developer yang sudah benar-benar memahami Microsoft SQL Server 2000 untuk

mentransformasi dan mengintegrasikan data heterogen yang berasal dari beberapa sumber. Sedangkan dengan Wizard sama saja hanya dengan fasilitas ini pemakaian akan dibimbing dan diajak membuat

DTS dengan tools-tools yang sudah tersedia dengan mudah dan cepat.

Adapun fasilitas yang tersedia dalam DTS ini antara lain proses Ekspor dan Impor data dari sumber-sumber data yang sangat umum dan banyak digunakan sebelumnya, antara lain:

• dBase
• Paradox
• Teks ASCII
• Sumber data ODBc
• Database SQL
• Spreadsheet Microsoft SQL Server
• File Microsoft Access
• File Microsoft FoxPro
• Sumber OLE DB
• Dan sebagainya

Mulai Membuat Paket DTS

Untuk membuat paket DTS Anda harus sudah memiliki database yang akan digunakan. Sebagai contoh, Anda gunakan database yang sudah tersedia misalnya Northwind. Dalam database Northwind ini sudah terdapat tabel-tabel yang sebelumnya Anda buat sesuai kebutuhan. Sekarang Anda buat paket DTS yang tujuannya adalah untuk mentransformasikan database Northwind tadi ke dalam database bernama Latihan. 

Tools DTS 

Import Export Wizzard  

Import/Export Wizard untuk membangun DTS packages sederhana dan mensupport perpindahan data dan transformasi sederhana.Import Export Wizzard

DTS Designer

DTS Designer mengimplementasikan DTS object model graphically yang memungkinkan user untuk menciptakan DTS packages dengan fungsi luas.

DTS Run

DTSRun merupakan command prompt utility yang digunakan untuk mengeksekusi DTS packages yang ada.

DTSRunUI

Merupakan grafik interface untuk DTSRun, yang juga mengijinkan pemakaian variable global dan command lines.

Read More

tugas Resume Pert 8 : Menentukan ketepatan data yang diperlukan dalam ETL

Apa itu Data Quality
Mark Mosley (2008) mengatakan Data Quality adalah level data yang menyatakan data tersebut akurat, lengkap, terbaru, konsisten dan sesuai dengan semua kebutuhan bisnis.

Data Quality Characteristic

• Accuracy
• Sejauh mana data dengan benar mencerminkan objek dunia nyata atau seperti yang di deskripsikan
• Accessibility
• Data dapat dengan mudah diakses, dan dimengerti, serta dapat digunakan sesuai dengan keperluan yang dibutuhkan
• Completeness
• Sejauh mana seluruh data yang dibutuhkan tersedia.
• Consistency
•  Konsistensi data berarti bahwa data di seluruh perusahaan harus sinkron dengan satu sama lain
• Integrity
•  Setiap data harus berhubungan atau dapat dihubungkan dengan data - data yang lain sehingga setiap data bisa saling terkait
• Timeliness
•  Data harus merepresentasikan dengan waktu saat itu.
• Validiy

Data Quality

Data yang berkualitas dapat :

• Meningkatkan kepercayaan diri dalam melakukan analisis
• Meningkatkan kesempatan untuk menghasilkan value yang lebih baik bagi layanan
• Kebenaran yang sifatnya mutlak
• Meningkatkan produktivitas
• Meningkatkan kepuasan pelanggan 

Data Warehouse ETL Testing
Pengujian ETL ini penting karena ETL membawa data dari sistem sumber ke dalam data warehouse. Jika ETL tidak benar, data dalam data warehouse akan salah. Jika data di warehouse yang salah, tidak peduli seberapa baik model data dan tidak peduli seberapa baik aplikasi tersebut, data warehouse tidak dapat digunakan. 3 komponen primary data warehouse :

Tujuan utama dari pengujian ETL:

• Untuk memastikan Anda mendapatkan semua data yang dibutuhkan, dengan kata lain, bahwa Anda tidak kehilangan beberapa pembaruan data dalam sumber sistem.
• Untuk memastikan data benar di load ke data warehouse, yaitu, dimuat di tabel kanan, di sebelah kanan kolom, dalam format yang tepat, pada waktu yang tepat.
• Untuk memastikan ETL tambahan bekerja sesuai dengan desain, terlepas apakah itu arsitektur batch, sebuah arsitektur pendorong, atau arsitektur berorientasi layanan.
• Untuk memastikan script beban massal (jika Anda memilikinya) dengan benar load data ke dalam data warehouse tersebut.

Salah satu fitur penting untuk menguji adalah pemulihan. Itu berarti bahwa proses ETL harus kuat cukup bahwa dalam hal kegagalan sistem dapat sembuh tanpa kehilangan data atau kerusakan. Proses ETL perlu dibangun sehingga jika proses dihentikan pada suatu titik dan memutarkan, tidak ada kehilangan data.
Functional Testing
Uji fungsional adalah tentang memastikan bahwa semua kebutuhan bisnis memuaskan. Persyaratan bisnis adalah data dan kemampuan yang pengguna butuhkan dari data warehouse untuk melakukan tugas-tugas bisnis mereka, seperti kemampuan untuk menganalisis aktivitas pelanggan tertentu dengan kriteria tertentu, kemampuan untuk melihat data tertentu untuk periode tertentu, dan kemampuan untuk menelusuri data ke dalam tingkat tertentu untuk mengidentifikasi masalah bisnis.
Performance Testing
Kinerja pengujian memverifikasi bahwa semua kebutuhan teknis yang berkaitan dengan platform, kapasitas, latency, dan waktu respon yang memuaskan. Terutama anda perlu membuktikan bahwa sistem data warehouse ini mampu menyelesaikan proses data loading dalam jumlah waktu tertentu. Pengujian kinerja adalah penting karena ketika mengembangkan proses ETL, Anda menggunakan data dalam jumlah kecil. Anda sering fokus pada memastikan fungsionalitas proses ETL benar. Ada dua bidang utama untuk menguji kinerja dalam data warehouse. Area pertama adalah tentang ETL, dan yang kedua menyangkut aplikasi.
Security Testing
Pengujian keamanan adalah tentang memastikan bahwa hanya orang dan aplikasi yang diijinkan untuk mengakses data warehouse benar-benar dapat mengaksesnya. Selain itu, Anda juga perlu menguji bagaimana orang-orang mengakses data dalam data warehouse, seperti alat yang digunakan untuk mengakses data warehouse dan cara user menyediakan informasi rahasia keamanan.
User Acceptance Testing
Ini adalah di mana beberapa key user menggunakan data warehouse dan aplikasi untuk mengetahui apakah itu memenuhi kebutuhan user. User juga menguji keramahan user. Sebelum mereka mulai, Anda menjelaskan semua fungsi data warehouse dan aplikasi untuk pengguna. Anda berjalan melalui sistem, menjelaskan komponen dan arsitektur data flow, untuk membuat yakin mereka mengerti cara mereka masuk, keluar, dan sekitar sistem. Anda memberikan user dengan akses keamanan yang tepat dengan menciptakan akun user dalam aplikasi untuk mereka.
End-to-End Testing
Untuk melakukan pengujian end-to-end, membiarkan proses ETL data warehouse berjalan selama beberapa hari untuk mensimulasikan kondisi operasional. ETL batch berjalan secara otomatis. Tester adalah query data warehouse setiap sekarang dan kemudian dan menggunakan beberapa aplikasi front-end. Anda memeriksa bahwa tidak ada transaksi yang hilang, pelanggan, atau data lainnya. Anda memeriksa bahwa kualitas data bekerja dengan baik. Anda memeriksa bahwa tabel audit akan diisi. Anda memeriksa bahwa tabel ODS adalah populasi dengan benar. Anda memeriksa bahwa semua tabel fakta dan dimensi tabel di DDS akan diisi dengan benar. Anda memeriksa stage yang benar digunakan dan dibersihkan. Anda memeriksa aplikasi, laporan, cube, dan model mining. Ini seperti melakukan pemeriksaan terakhir dari segala sesuatu, tapi ini waktu ETL berjalan secara otomatis, makan data ke dalam data warehouse setiap sekarang dan kemudian sesuai dengan jadwal (harian, per jam, mingguan, dan sebagainya).

Read More

Resume Pertemuan 7 : ETL

ETL adalah kumpulan proses menyiapkan data dari operational source untuk data. Proses ini terdiri dari extracting, transforming, loading, dan beberapa proses yang dilakukan sebelum dipublikasikan ke dalam data warehouse

Ekstraksi Data (Extract)

Ekstraksi data adalah proses dimana data diambil atau diekstrak dari berbagai sistem operasional, baik menggunakan query, atau aplikasi ETL. Terdapat beberapa fungsi ekstraksi data, yaitu :

• Ekstraksi data secara otomatis dari aplikasi sumber.
• Penyaringan atau seleksi data hasil ekstraksi.
• Pengiriman data dari berbagai platform aplikasi ke sumber data.
• Perubahan format layout data dari format aslinya.
• Penyimpanan dalam file sementara untuk penggabungan dengan hasil ekstraksi dari sumber lain.
• Transformasi Data (Transformation)

Transformasi adalah proses dimana data mentah (raw data) hasil ekstraksi disaring dan diubah sesuai dengan kaidah bisnis yang berlaku. Langkah-langkah dalam transformasi data adalah sebagai berikut :

• Memetakan data input dari skema data aslinya ke skema data warehouse.
• Melakukan konversi tipe data atau format data.
• Pembersihan serta pembuangan duplikasi dan kesalahan data.
• Penghitungan nilai-nilai derivat atau mula-mula.
• Penghitungan nilai-nilai agregat atau rangkuman.
• Pemerikasaan integritas referensi data.
• Pengisian nilai-nilai kosong dengan nilai default.
• Penggabungan data.
• Pengisian Data (Loading)

Proses terakhir yang perlu dilakukan adalah proses pemuatan data yang didapatkan dari hasil transformasi ke dalam data warehouse. Cara untuk memuat data adalah dengan menjalankan SQL script secara periodik.

Read More

resume data warehouse pertemuan #6

·         Dimensional Modelling (DM) adalah suatu desain logic yang merepresentasikan data dalam bentuk standar, dan mudah dipahami, sehingga mendukung untuk akses terhadap data dengan cepat.

·         Tabel Fakta addalah tabel utama dlam sebuah konsep pemodelan dimensional dan dimana hasil dari perhitungan bisnis disimpan.

Contoh tsbel fakta :

·         Tabel Dimensi adalah tabel yag berisikan penjelesan deskriptif dari sebuah bisnis dan memiliki banyak kolo atau atribut.

Contoh tabel dimensi :

·         Ada beberapa pendekatan model schema yang digunakan untuk menggambarkan relasi basis data dari dalam data warehouse, yaitu :

ü  Star Schema

Star Schema merupakan struktur logika yang memiliki tabel fakta yang terdiri atas data factual ditengahnya, dan dikelilingi oleh tabel-tabel dimensi yang berisi referensi data.

Karalkteristik Star Schema :

1.       Pusat dari star disebut fact table

2.       Fact table mempunyai sebuah nilai aggregate dari data-data yang berasal dari tabel dimensi

3.       Setiap tabel dimensi berelasi langsung dengan fact table

4.       Tabel dimensi beisikan data tentang informasi atau waktu

5.       Relasi antara fact table dengan dimensi-dimensinya adalah 1 – N (one to many)

6.       Primary key pada tabel dimensi akan menjadi key pada fact table atau dapat diakatakan bahwa fact table memiliki kombinasi key dari tabel dimensi tersebut

Keuntungan :

1. Sebih simple

2. Mudah dipahami.

3. Hasil dari proses query juga relatif lebih cepa.

Kerugian :

1. boros dalam space.

Contoh Star Schema :

ü Snowflake Schema

Snowflake Schema merupakan pengembangan dari Star Schema, ia juga memiliki satu atau lebih dimensi. Hanya saja pada snowflake, tabel yang berelasi pada tabel fakta hanya tabel dimensi utama, sedangkan tabel yan lain dihubungakan pada tabel dimensi utama.

Keuntungan :

1. Pemakain space yang lebih sedikit

2. Update dan maintenance yang lebih mudah

       

        Kerugian :

1. Model lebih komplek dan rumit

2. Proses query lebih lambat Performance yang kurang bagus.

Contoh Snowflake Schema :

ü Starflake Schema

Starflake Schema adalah skema yang menggabungkan Star Schema dan Snowflake Schemas.

Keuntungan :

1.  Efisien dalam hal mengakses data

2. Dapat beradaptasi terhadap kebutuhan-kebutuhan user

3. Bersifat fleksibel terhadap perubahan yang mengarah pada perkembangan

4. Memiliki kemampuan dalam memodelkan situasi bisnis secara umum

       

        Kerugian :

1.       Skema yang dihasilkan sangat kompleks.Pemrosesan query dapat diperkirakan, hal ini dikarenakan pada level terendah, setiap table fakta harus di query secara independen.

2.       Tidak fokus dalam  pemrosesan data.

3.       Sulit untuk merestrukturisasi semua entitas menjadi satu set dimensi berbeda yang umum untuk entitas rentang satu atau dimensi lebih.

Contoh Starflake Schema :

Read More

Tugas Datawarehouse #3

Star Schema adalah alat dimana pemodelan dimesional diterapkan dan berisi sebuah tabel fakta pusat. Tabel fakta berisi atribut deskriptif yang digunakan untuk proses query dan foreign key untuk menghubungkan ke tabel dimensi. Atribut analisis keputusan terdiri dari ukuran performa, metrik operasional, ukuran agregat, dan semua metrik yang lain yang diperlukan untuk menganalisis performa organisasi.


sebagai contoh berikut tabel ERD perpustakaan 

Pada fase ini aktifitas yang dilakukan adalah membuat model data dimensional yang berupa star Schema, mendesain proses ETL (Extraction, Transformation, Loading), dan menganalisis metadata yang digunakan dalam data warehouse. 

Berdasarkan ER-Diagram Perpustakaan dan kebutuhan informasi yang dibutuhkan oleh petugas dan manajemen perpustakaan maka model data dimensional yang dibuat dalam bentuk star schema untuk data warehouse perpustakaan

Read More

Perancangan Struktur Data Warehouse Untuk Mendukung Perencanaan Pemasaran Produk Menggunakan Star Schema.

Postingan ini berbeda denga dari tugas Data Warehouse sebelumnya di postingan ini saya akan menunjukkan arsitektur dan skema untuk membangun data warehouse

Perancangan Struktur Data Warehouse Untuk  Mendukung  Perencanaan  Pemasaran  Produk Menggunakan Star Schema.

Arsitektur Logik data Warehouse

keterangan : 

Arsitektur  logical  berupa rancangan tahapan alur data dari sumber data sampai menjadi 

data  pada  data  warehouse,  sedangkan  arsitektur  fisik  berupa  gambaran  konfigurasi  teknis  dari data warehouse  tersebut.   Perencanaan  arsitektur  tersebut  tentunya  sedapat  mungkin  didesain sesuai  dengan kondisi yang ada di perusahaan.

Arsitektur Fisik Data Warehouse

Keterangan 

Salah  satu  proses  penting  yang  harus  dilakukan  dalam  pengoperasian  data  warehouse  adalah proses  penyalinan  data  dari  basis  data  operasional.   Proses  penyalinan  data  tersebut  dilakukan setiap periode  waktu  tertentu,  terutama  setelah  terjadi  transaksi  yang  mengakibatkan  penambahan  atau perubahan data pada basis data operasional.

Pemodelan Data Dimensional

Keterangan 

di dalam Arsitektur kemampuan  data  warehouse  dalam  menyediakan 

informasi  yang  dibutuhkan  oleh  user.   Data  warehouse  pemasaran  produk  ini  dapat  menyediakan informasi pemasaran produk yang sesuai kebutuhan dengan cara yang  mudah dan cepat sehingga dapat mendukung  proses  evaluasi  dan  pengambilan  keputusan  yang  dilakukan.   Kemampuan  yang  dimiliki dalam data warehouse ini adalah sebagai berikut:

a.  Roll-up dan drill-down

b.  Output customization

c.  Query sesuai kebutuhan

Read More

ANALISIS DAN PERANCANGAN DATAWAREHOUSE AKADEMIK PERGURUAN TINGGI BINA SRIWIJAYA BERBASIS PENTAHO DATA INTEGRATION (PDI) KETTLE

ANALISIS DAN PERANCANGAN DATAWAREHOUSE AKADEMIK PERGURUAN TINGGI BINA SRIWIJAYA BERBASIS PENTAHO DATA INTEGRATION (PDI) KETTLE

Arsitektur
Extract, transform,  dan  load  (ETL) :  sebuah  sistem  yang  dapat  membaca  data
dari  suatu  data store,  merubah  bentuk data, dan  menyimpan ke  data  store  yang
lain.  Data store yang dibaca ETL  disebut data source, sedangkan  data store  yang
disimpan ETL disebut target.

Extraction
Ekstraksi  dilakukan  dari  sumber  data  yang  digunakan  melalui  proses
pemilihan data yang kemudian disimpan pada basis data sementara. Dalam
penelitian  ini,  basis data sementara ditempatkan  pada penyimpanan  basis
data,  mesin  dan  platform  yang  sama  dengan  yang  digunakan  untuk  data
warehouse nantinya.

Cleaning
Proses  cleaning  adalah  proses  untuk  membersihkan  data  yang  rangkap,
tidak  konsisten,  rusak,  tidak  benar  (bernilai  salah),  data  yang  hilang
(kosong), atau data dengan spasi yang berlebihan.

Transformasi
Proses  transformasi  yang  dilakukan  dibagi  berdasarkan  dua  level  yaitu
record  level  dan  field  level.  Pada  proses  ini  dilakukan  proses  pemilihan,
penggabungan  dan  agregasi  untuk  mendapatkan  data  ringkasan  sesuai
dengan dimensi yang akan dibuat. Proses transformasi ke  field  yang baru
dapat  dilakukan  dengan  (menggunakan  script)  tertentu  untuk
melakukannya.

Infrastruktur

Perangkat Keras (Hardware)
Perangkat keras yang digunakan adalah laptop dengan spesifikasi berikut :
a.   Laptop Toshiba Satelite U 400
b.   RAM 3GB
c.   Hardisk 250 GB
d.   Intel Pentium dual core processor T4200 @2.00Ghz
e.  Flash Disk 2 GB

Perangkat Lunak (Software)
a .  Windows 7 Professional sebagai operating system
b.  Microsoft Office 2007 untuk penulisan laporan tugas akhir ini
c.    Software pendukung yaitu xampp (mysql), Pentaho Kettle.

Read More