jump to navigation

Data Warehouse (Catatan) Januari 6, 2008

Posted by haniif in My Thesis.
Tags: , ,
trackback
  1. Cleansing Data :

  • Adalah proses menghilangkan kesalahan-kesalahan data yang berasal dari proses transaksi
  • Merupakan bagian dari proses integrasi
  • Jika proses cleansing ini salah, maka informasi yang dihasilkan oleh data warehouse juga akan salah
  1. Extraksi, Transformasi, dan Loading Data

  • Metode yang digunakan untuk melakukan proses ekstrasi secara logic (logical exctraction) ada 2, yaitu :
    • Full Extraction,

      Proses ekstraksi dilakukan dengan mengambil seluruh data dari source system yang diperlukan

    • Increment Extraction

      Proses ekstraksi hanya pada data yang berubah atau belum ada pada target sistem pada periode tertentu

  • Mekanisme ekstraksi secara fisik (physical extraction) dibagi menjadi dua jenis, yaitu :
    • Online extraction

      Data di ekstrak dari source system ke target system secara langsung. Proses ekstraksi dilakukan dengan cara langsung connect ke source system untuk mengakses source table.

    • Offline Extraction

      Data tidak di ekstrak secara langsung dari source system, namun berada diluar source system. Data yang akan di ekstrak sudah mempunyai struktur table dan struktur data yang diharapkan sudah sesuai dengan data warehouse. Misalnya flat file.

  1. Granularity

  • Adalah tingkat kedetailan data dalam suatu data warehouse. Semakin detail data, maka tingkat granularity-nya akan semakin rendah juga. Level yang paling terendah dari granularity adalah data transaksi
  • Granularity merupakan isu penting dalam data warehouse, karena :
    • Semakin rendah lavel granularity, maka jumlah data yang disimpan dalam data warehouse juga akan semakin besar.
    • Semakin rendah lavel granularity, maka tingkat kedetailan data juga akan semakin besar dan berpengaruh pada pertanyaan yang akan dijawab.
  1. Metadata

  • Secara konsep, metadata dikelompokkan dalam tiga komponen.
    • Komponen Direktori Teknikal, berisi informasi tentang data
    • Komponen Direktori Bisnis, berisi perspektif pengguna pada data
    • Komponen Navigasi Informasi, berisi cara akses pada direktori bisnis dan data warehouse.
  • Komponen Direktori Teknikal menjelaskan kepada data warehouse administrator tentang sumber data dan bagaimana data dikelola dalam data warehouse. Direktori Teknikal juga menjelaskan aturan-aturan (rules) yang digunakan untuk membersihkan data dan mentrasformasikannya untuk kepentingan bisnis.

    Isi dari Direktori Teknikal

  1. Data souce
  • Nama file dan tipe file
  • Bagaimana nilai didefinisikan data source
  • Kapan data dibuat
  • Data dating dari system mana
  • Siapa pemlik data
  • Siapa yang memberikan data
  • User yang mana yang berhak mengakses data
  • Skema database operasional
  1. Data Target
  • Nama dan tipe field
  • Bagaimana nili didefinisikan dalam data warehouse
  • Dimana dta ditempatkan dalam data warehouse
  • Versi
  • Tanggal update terakhir
  • Frekwensi update terakhir
  • Siapa pemilik data
  • Siapa yang dapat mengakses data
  • Skema data dalam data warehouse
  • Cara end-user melakukan akses data
  1. Clean Up Rules
  • Record dan field yang akan dibersihkan
  • Mapping antara elemen data pada original data source dengan data warehouse
  • Rules yang digunakan untuk mengisi nilai pada fields yang kosong
  • Rules untuk data integrity
  • Rules untuk cek konsistensi data
  1. Transformation Rules
  • Bagaimana menentukan waktu dalam melakukan transformasi
  • Algoritma (business rules) untuk menentukan nilai yang diambil (nilai asal)
  • Bagaimana ringkasan data dibuat
  1. Mapping
  • Rules untuk melakukan filter data dan untuk melakukan penggabungan data dari field atau sumber data yang berbeda.
  • Komponen Direktori Bisnis. Berorientasi pada mekanisme data warehouse, yang meliputi :
  1. Istilah bisnis (business term) yang digunakan untuk mendeskripsikan data
  2. Nama teknis (alias) yang berhubungan dengan business term yang dapat digunakan untuk mengakses data
  3. Data Souse dan rules yang digunakan untuk mendapatkan data dan tanggal dimana data tersebut dibuat
  4. Catatan tetang report dan query yang ada
  5. Informasi tentang keamanan data (siapa yang mempunya hak akses)
  • Komponen Navigasi Informasi

    Menjelaskan interface yang memungkinkan user untuk mengakses direktori bisnis dan data warehouse. Dengan menggunakan kompunen ini, user dapat melakukan :

  1. Melakukan akses dan drill down pada data warehouse
  2. Melakukan querry ke data warehouse
  3. Meminta data baru dari warehouse administrator
  4. Melakukan transfer data dari warehouse ke datamart atau user lain

Komentar»

1. xnor - April 16, 2009

pertamax

2. sahrul - Juli 9, 2011

thanks jangan sungkan kunjungi http://www.e-bestdmp.com/home


Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s

%d blogger menyukai ini: