Resume datawarehouse pertemuan 11 : penerapan DTS

Pengertian DTS (Data Transformation Services)
Menurut Peterson (2001,p6) DTS dalam Microsoft SQL 2008 adalah sebuah alat yang dapat digunakan untuk memindahkan data. DTS juga merupakan alat fleksibel yang dapat diukur untuk mendapatkan kendali tertinggi atas transformasi dari data. DTS merupakan sebuah alat untuk mengcopy, memindahkan, memperkuat, membersihkan, dan memvalidasi data. Transfer data memuat tiap kolom dari sumber data, memanipulasi nilai ke dalam kolom tersebut dan memasukan kolom tersebut ke tujuan data

Data transformasi layanan (DTS) adalah metode alternatif yang dapat Anda gunakan untuk memindahkan data dari akses database Microsoft SQL Server.

DTS menyediakan fungsionalitas untuk mengimpor dan mengekspor data antara OLE DB atau ODBC data sumber, termasuk Microsoft Access dan SQL Server. SQL Server termasuk DTS DTS impor dan ekspor Wizard yang memungkinkan Anda untuk membuat dan menjalankan DTS paket secara interaktif.

Anda dapat menggunakan DTS impor dan ekspor Wizard untuk secara otomatis membuat tabel SQL Server, dan kemudian menyalin data dari akses ke tabel SQL Server baru. DTS dapat memindahkan data pada tingkat yang lebih cepat daripada Microsoft Access Upsizing Wizard dapat, tetapi DTS tidak menyediakan semua fitur akses Upsizing Wizard. Berikut ini adalah daftar tindakan yang dapat melakukan akses Upsizing Wizard, tapi itu DTS impor dan ekspor Wizard tidak dapat melakukan:
Jika tabel akses telah primary key, Wisaya Upsizing akses secara otomatis re-creates kunci utama di meja yang dihasilkannya pada SQL Server; DTS tidak.
Wisaya Upsizing akses secara otomatis bermigrasi semua aturan dan default yang ada dalam tabel SQL Server; DTS tidak.
Jika tabel dalam database Access terkait, Wisaya Upsizing secara otomatis re-creates hubungan ini pada SQL Server; DTS tidak.
DTS tidak tidak upsize pertanyaan yang ada di database Access.

Paket DTS bisa mencakup meng-copy tabel-tabel antardatabase dan mentransformasi data dari 1 format ke format yang lain dengan menggunakan ODBC, AktiveX, dan perintah SQL, atau bahkan program-program eksternal yangbisa menjadi bagian dari paket DTS.

„Selain berfungsi untuk melakukan import, export dan transport data yang beragam antara satu atau lebih sumber data, seperti misalnya SQL Server, Microsoft Excel atau Microsoft Access, DTS juga menyediakan hubungan berupa ODBC (Open Database Connectivity) data source yang disupport oleh OLE DB Provider for ODBC dan service seperti logging package execution details, controlling transactions dan penanganan variable global.

Read More

Resume Data Warehouse pertemuan 11

DTS adalah sekumpulan operasi yang dilakukan pada sumber data sebelum ditulis ke lokasi tujuan. Dalam hal ini kolom pada tabel bisa merupakan hasil dari transformasi yang diterapkan ke dalam beberapa kolom dan baris dari satu atau lebih tabel. 

Membuat Paket DTS

Untuk membuat paket DTS bisa dilakukan dengan dua cara yaitu melalui DTS Package Designer dan dengan memanfaatkan fasilitas Wizard dari Menu Tools. Kedua cara ini hasilnya sama saja hanya proses dan caranya saja yang berbeda. DTS Package Designer merupakan sarana grafis yang dirancang untuk para developer yang sudah benar-benar memahami Microsoft SQL Server 2000 untuk

mentransformasi dan mengintegrasikan data heterogen yang berasal dari beberapa sumber. Sedangkan dengan Wizard sama saja hanya dengan fasilitas ini pemakaian akan dibimbing dan diajak membuat

DTS dengan tools-tools yang sudah tersedia dengan mudah dan cepat.

Adapun fasilitas yang tersedia dalam DTS ini antara lain proses Ekspor dan Impor data dari sumber-sumber data yang sangat umum dan banyak digunakan sebelumnya, antara lain:

• dBase
• Paradox
• Teks ASCII
• Sumber data ODBc
• Database SQL
• Spreadsheet Microsoft SQL Server
• File Microsoft Access
• File Microsoft FoxPro
• Sumber OLE DB
• Dan sebagainya

Mulai Membuat Paket DTS

Untuk membuat paket DTS Anda harus sudah memiliki database yang akan digunakan. Sebagai contoh, Anda gunakan database yang sudah tersedia misalnya Northwind. Dalam database Northwind ini sudah terdapat tabel-tabel yang sebelumnya Anda buat sesuai kebutuhan. Sekarang Anda buat paket DTS yang tujuannya adalah untuk mentransformasikan database Northwind tadi ke dalam database bernama Latihan. 

Tools DTS 

Import Export Wizzard  

Import/Export Wizard untuk membangun DTS packages sederhana dan mensupport perpindahan data dan transformasi sederhana.Import Export Wizzard

DTS Designer

DTS Designer mengimplementasikan DTS object model graphically yang memungkinkan user untuk menciptakan DTS packages dengan fungsi luas.

DTS Run

DTSRun merupakan command prompt utility yang digunakan untuk mengeksekusi DTS packages yang ada.

DTSRunUI

Merupakan grafik interface untuk DTSRun, yang juga mengijinkan pemakaian variable global dan command lines.

Read More

tugas Resume Pert 8 : Menentukan ketepatan data yang diperlukan dalam ETL

Apa itu Data Quality
Mark Mosley (2008) mengatakan Data Quality adalah level data yang menyatakan data tersebut akurat, lengkap, terbaru, konsisten dan sesuai dengan semua kebutuhan bisnis.

Data Quality Characteristic

• Accuracy
• Sejauh mana data dengan benar mencerminkan objek dunia nyata atau seperti yang di deskripsikan
• Accessibility
• Data dapat dengan mudah diakses, dan dimengerti, serta dapat digunakan sesuai dengan keperluan yang dibutuhkan
• Completeness
• Sejauh mana seluruh data yang dibutuhkan tersedia.
• Consistency
•  Konsistensi data berarti bahwa data di seluruh perusahaan harus sinkron dengan satu sama lain
• Integrity
•  Setiap data harus berhubungan atau dapat dihubungkan dengan data - data yang lain sehingga setiap data bisa saling terkait
• Timeliness
•  Data harus merepresentasikan dengan waktu saat itu.
• Validiy

Data Quality

Data yang berkualitas dapat :

• Meningkatkan kepercayaan diri dalam melakukan analisis
• Meningkatkan kesempatan untuk menghasilkan value yang lebih baik bagi layanan
• Kebenaran yang sifatnya mutlak
• Meningkatkan produktivitas
• Meningkatkan kepuasan pelanggan 

Data Warehouse ETL Testing
Pengujian ETL ini penting karena ETL membawa data dari sistem sumber ke dalam data warehouse. Jika ETL tidak benar, data dalam data warehouse akan salah. Jika data di warehouse yang salah, tidak peduli seberapa baik model data dan tidak peduli seberapa baik aplikasi tersebut, data warehouse tidak dapat digunakan. 3 komponen primary data warehouse :

Tujuan utama dari pengujian ETL:

• Untuk memastikan Anda mendapatkan semua data yang dibutuhkan, dengan kata lain, bahwa Anda tidak kehilangan beberapa pembaruan data dalam sumber sistem.
• Untuk memastikan data benar di load ke data warehouse, yaitu, dimuat di tabel kanan, di sebelah kanan kolom, dalam format yang tepat, pada waktu yang tepat.
• Untuk memastikan ETL tambahan bekerja sesuai dengan desain, terlepas apakah itu arsitektur batch, sebuah arsitektur pendorong, atau arsitektur berorientasi layanan.
• Untuk memastikan script beban massal (jika Anda memilikinya) dengan benar load data ke dalam data warehouse tersebut.

Salah satu fitur penting untuk menguji adalah pemulihan. Itu berarti bahwa proses ETL harus kuat cukup bahwa dalam hal kegagalan sistem dapat sembuh tanpa kehilangan data atau kerusakan. Proses ETL perlu dibangun sehingga jika proses dihentikan pada suatu titik dan memutarkan, tidak ada kehilangan data.
Functional Testing
Uji fungsional adalah tentang memastikan bahwa semua kebutuhan bisnis memuaskan. Persyaratan bisnis adalah data dan kemampuan yang pengguna butuhkan dari data warehouse untuk melakukan tugas-tugas bisnis mereka, seperti kemampuan untuk menganalisis aktivitas pelanggan tertentu dengan kriteria tertentu, kemampuan untuk melihat data tertentu untuk periode tertentu, dan kemampuan untuk menelusuri data ke dalam tingkat tertentu untuk mengidentifikasi masalah bisnis.
Performance Testing
Kinerja pengujian memverifikasi bahwa semua kebutuhan teknis yang berkaitan dengan platform, kapasitas, latency, dan waktu respon yang memuaskan. Terutama anda perlu membuktikan bahwa sistem data warehouse ini mampu menyelesaikan proses data loading dalam jumlah waktu tertentu. Pengujian kinerja adalah penting karena ketika mengembangkan proses ETL, Anda menggunakan data dalam jumlah kecil. Anda sering fokus pada memastikan fungsionalitas proses ETL benar. Ada dua bidang utama untuk menguji kinerja dalam data warehouse. Area pertama adalah tentang ETL, dan yang kedua menyangkut aplikasi.
Security Testing
Pengujian keamanan adalah tentang memastikan bahwa hanya orang dan aplikasi yang diijinkan untuk mengakses data warehouse benar-benar dapat mengaksesnya. Selain itu, Anda juga perlu menguji bagaimana orang-orang mengakses data dalam data warehouse, seperti alat yang digunakan untuk mengakses data warehouse dan cara user menyediakan informasi rahasia keamanan.
User Acceptance Testing
Ini adalah di mana beberapa key user menggunakan data warehouse dan aplikasi untuk mengetahui apakah itu memenuhi kebutuhan user. User juga menguji keramahan user. Sebelum mereka mulai, Anda menjelaskan semua fungsi data warehouse dan aplikasi untuk pengguna. Anda berjalan melalui sistem, menjelaskan komponen dan arsitektur data flow, untuk membuat yakin mereka mengerti cara mereka masuk, keluar, dan sekitar sistem. Anda memberikan user dengan akses keamanan yang tepat dengan menciptakan akun user dalam aplikasi untuk mereka.
End-to-End Testing
Untuk melakukan pengujian end-to-end, membiarkan proses ETL data warehouse berjalan selama beberapa hari untuk mensimulasikan kondisi operasional. ETL batch berjalan secara otomatis. Tester adalah query data warehouse setiap sekarang dan kemudian dan menggunakan beberapa aplikasi front-end. Anda memeriksa bahwa tidak ada transaksi yang hilang, pelanggan, atau data lainnya. Anda memeriksa bahwa kualitas data bekerja dengan baik. Anda memeriksa bahwa tabel audit akan diisi. Anda memeriksa bahwa tabel ODS adalah populasi dengan benar. Anda memeriksa bahwa semua tabel fakta dan dimensi tabel di DDS akan diisi dengan benar. Anda memeriksa stage yang benar digunakan dan dibersihkan. Anda memeriksa aplikasi, laporan, cube, dan model mining. Ini seperti melakukan pemeriksaan terakhir dari segala sesuatu, tapi ini waktu ETL berjalan secara otomatis, makan data ke dalam data warehouse setiap sekarang dan kemudian sesuai dengan jadwal (harian, per jam, mingguan, dan sebagainya).

Read More

Resume Pertemuan 7 : ETL

ETL adalah kumpulan proses menyiapkan data dari operational source untuk data. Proses ini terdiri dari extracting, transforming, loading, dan beberapa proses yang dilakukan sebelum dipublikasikan ke dalam data warehouse

Ekstraksi Data (Extract)

Ekstraksi data adalah proses dimana data diambil atau diekstrak dari berbagai sistem operasional, baik menggunakan query, atau aplikasi ETL. Terdapat beberapa fungsi ekstraksi data, yaitu :

• Ekstraksi data secara otomatis dari aplikasi sumber.
• Penyaringan atau seleksi data hasil ekstraksi.
• Pengiriman data dari berbagai platform aplikasi ke sumber data.
• Perubahan format layout data dari format aslinya.
• Penyimpanan dalam file sementara untuk penggabungan dengan hasil ekstraksi dari sumber lain.
• Transformasi Data (Transformation)

Transformasi adalah proses dimana data mentah (raw data) hasil ekstraksi disaring dan diubah sesuai dengan kaidah bisnis yang berlaku. Langkah-langkah dalam transformasi data adalah sebagai berikut :

• Memetakan data input dari skema data aslinya ke skema data warehouse.
• Melakukan konversi tipe data atau format data.
• Pembersihan serta pembuangan duplikasi dan kesalahan data.
• Penghitungan nilai-nilai derivat atau mula-mula.
• Penghitungan nilai-nilai agregat atau rangkuman.
• Pemerikasaan integritas referensi data.
• Pengisian nilai-nilai kosong dengan nilai default.
• Penggabungan data.
• Pengisian Data (Loading)

Proses terakhir yang perlu dilakukan adalah proses pemuatan data yang didapatkan dari hasil transformasi ke dalam data warehouse. Cara untuk memuat data adalah dengan menjalankan SQL script secara periodik.

Read More

resume data warehouse pertemuan #6

·         Dimensional Modelling (DM) adalah suatu desain logic yang merepresentasikan data dalam bentuk standar, dan mudah dipahami, sehingga mendukung untuk akses terhadap data dengan cepat.

·         Tabel Fakta addalah tabel utama dlam sebuah konsep pemodelan dimensional dan dimana hasil dari perhitungan bisnis disimpan.

Contoh tsbel fakta :

·         Tabel Dimensi adalah tabel yag berisikan penjelesan deskriptif dari sebuah bisnis dan memiliki banyak kolo atau atribut.

Contoh tabel dimensi :

·         Ada beberapa pendekatan model schema yang digunakan untuk menggambarkan relasi basis data dari dalam data warehouse, yaitu :

ü  Star Schema

Star Schema merupakan struktur logika yang memiliki tabel fakta yang terdiri atas data factual ditengahnya, dan dikelilingi oleh tabel-tabel dimensi yang berisi referensi data.

Karalkteristik Star Schema :

1.       Pusat dari star disebut fact table

2.       Fact table mempunyai sebuah nilai aggregate dari data-data yang berasal dari tabel dimensi

3.       Setiap tabel dimensi berelasi langsung dengan fact table

4.       Tabel dimensi beisikan data tentang informasi atau waktu

5.       Relasi antara fact table dengan dimensi-dimensinya adalah 1 – N (one to many)

6.       Primary key pada tabel dimensi akan menjadi key pada fact table atau dapat diakatakan bahwa fact table memiliki kombinasi key dari tabel dimensi tersebut

Keuntungan :

1. Sebih simple

2. Mudah dipahami.

3. Hasil dari proses query juga relatif lebih cepa.

Kerugian :

1. boros dalam space.

Contoh Star Schema :

ü Snowflake Schema

Snowflake Schema merupakan pengembangan dari Star Schema, ia juga memiliki satu atau lebih dimensi. Hanya saja pada snowflake, tabel yang berelasi pada tabel fakta hanya tabel dimensi utama, sedangkan tabel yan lain dihubungakan pada tabel dimensi utama.

Keuntungan :

1. Pemakain space yang lebih sedikit

2. Update dan maintenance yang lebih mudah

       

        Kerugian :

1. Model lebih komplek dan rumit

2. Proses query lebih lambat Performance yang kurang bagus.

Contoh Snowflake Schema :

ü Starflake Schema

Starflake Schema adalah skema yang menggabungkan Star Schema dan Snowflake Schemas.

Keuntungan :

1.  Efisien dalam hal mengakses data

2. Dapat beradaptasi terhadap kebutuhan-kebutuhan user

3. Bersifat fleksibel terhadap perubahan yang mengarah pada perkembangan

4. Memiliki kemampuan dalam memodelkan situasi bisnis secara umum

       

        Kerugian :

1.       Skema yang dihasilkan sangat kompleks.Pemrosesan query dapat diperkirakan, hal ini dikarenakan pada level terendah, setiap table fakta harus di query secara independen.

2.       Tidak fokus dalam  pemrosesan data.

3.       Sulit untuk merestrukturisasi semua entitas menjadi satu set dimensi berbeda yang umum untuk entitas rentang satu atau dimensi lebih.

Contoh Starflake Schema :

Read More

Tugas Datawarehouse #3

Star Schema adalah alat dimana pemodelan dimesional diterapkan dan berisi sebuah tabel fakta pusat. Tabel fakta berisi atribut deskriptif yang digunakan untuk proses query dan foreign key untuk menghubungkan ke tabel dimensi. Atribut analisis keputusan terdiri dari ukuran performa, metrik operasional, ukuran agregat, dan semua metrik yang lain yang diperlukan untuk menganalisis performa organisasi.


sebagai contoh berikut tabel ERD perpustakaan 

Pada fase ini aktifitas yang dilakukan adalah membuat model data dimensional yang berupa star Schema, mendesain proses ETL (Extraction, Transformation, Loading), dan menganalisis metadata yang digunakan dalam data warehouse. 

Berdasarkan ER-Diagram Perpustakaan dan kebutuhan informasi yang dibutuhkan oleh petugas dan manajemen perpustakaan maka model data dimensional yang dibuat dalam bentuk star schema untuk data warehouse perpustakaan

Read More

Perancangan Struktur Data Warehouse Untuk Mendukung Perencanaan Pemasaran Produk Menggunakan Star Schema.

Postingan ini berbeda denga dari tugas Data Warehouse sebelumnya di postingan ini saya akan menunjukkan arsitektur dan skema untuk membangun data warehouse

Perancangan Struktur Data Warehouse Untuk  Mendukung  Perencanaan  Pemasaran  Produk Menggunakan Star Schema.

Arsitektur Logik data Warehouse

keterangan : 

Arsitektur  logical  berupa rancangan tahapan alur data dari sumber data sampai menjadi 

data  pada  data  warehouse,  sedangkan  arsitektur  fisik  berupa  gambaran  konfigurasi  teknis  dari data warehouse  tersebut.   Perencanaan  arsitektur  tersebut  tentunya  sedapat  mungkin  didesain sesuai  dengan kondisi yang ada di perusahaan.

Arsitektur Fisik Data Warehouse

Keterangan 

Salah  satu  proses  penting  yang  harus  dilakukan  dalam  pengoperasian  data  warehouse  adalah proses  penyalinan  data  dari  basis  data  operasional.   Proses  penyalinan  data  tersebut  dilakukan setiap periode  waktu  tertentu,  terutama  setelah  terjadi  transaksi  yang  mengakibatkan  penambahan  atau perubahan data pada basis data operasional.

Pemodelan Data Dimensional

Keterangan 

di dalam Arsitektur kemampuan  data  warehouse  dalam  menyediakan 

informasi  yang  dibutuhkan  oleh  user.   Data  warehouse  pemasaran  produk  ini  dapat  menyediakan informasi pemasaran produk yang sesuai kebutuhan dengan cara yang  mudah dan cepat sehingga dapat mendukung  proses  evaluasi  dan  pengambilan  keputusan  yang  dilakukan.   Kemampuan  yang  dimiliki dalam data warehouse ini adalah sebagai berikut:

a.  Roll-up dan drill-down

b.  Output customization

c.  Query sesuai kebutuhan

Read More