Apa itu Rekonsiliasi Data? Definisi, Proses, Alat

Daftar Isi:

Anonim

Apa itu Rekonsiliasi Data?

Rekonsiliasi data (DR) diartikan sebagai proses verifikasi data selama migrasi data. Dalam proses ini, data target dibandingkan dengan data sumber untuk memastikan bahwa arsitektur migrasi sedang mentransfer data. Validasi dan rekonsiliasi data (DVR) berarti teknologi yang menggunakan model matematika untuk memproses informasi.

Dalam tutorial ini, Anda akan belajar,

  • Apa itu Rekonsiliasi Data?
  • Mengapa Rekonsiliasi Data penting?
  • Terminologi yang terkait dengan Rekonsiliasi Data
  • Sejarah Rekonsiliasi Data
  • Proses Rekonsiliasi Data
  • Praktik terbaik Menggunakan Rekonsiliasi Data
  • Alat Rekonsiliasi Data

Mengapa Rekonsiliasi Data penting?

Dalam proses migrasi data, ada kemungkinan kesalahan dibuat dalam logika pemetaan dan transformasi. Masalah seperti kegagalan waktu berjalan seperti putusnya jaringan atau transaksi yang rusak dapat merusak data.

Jenis kesalahan ini dapat menyebabkan data menjadi tidak valid. Ini dapat menimbulkan berbagai masalah seperti:

  • Rekor hilang
  • Nilai yang hilang
  • Nilai salah
  • Catatan duplikat
  • Nilai berformat buruk
  • Hubungan yang rusak antar tabel atau sistem

Berikut adalah alasan penting untuk menggunakan Proses Rekonsiliasi Data:

  • Penggunaan Rekonsiliasi Data membantu Anda mengekstraksi informasi yang akurat dan andal tentang keadaan proses industri dari data pengukuran mentah.
  • Ini juga membantu Anda menghasilkan satu set data yang konsisten yang mewakili operasi proses yang paling mungkin.
  • Ini juga mengarah pada wawasan dan masalah yang tidak akurat dengan layanan pelanggan.
  • Rekonsiliasi data juga penting untuk integrasi kontrol perusahaan.

Selain di atas masih banyak keuntungan / keuntungan dari rekonsiliasi data.

Terminologi yang terkait dengan Rekonsiliasi Data

Kesalahan Kotor Kesalahan besar dalam pengukuran. Ini hanya mencerminkan kesalahan bias, kegagalan instrumen, atau lonjakan kebisingan abnormal jika Anda hanya menggunakan periode rata-rata waktu yang singkat.
Observabilitas Analisis observabilitas dapat memberi Anda detail tentang variabel apa yang dapat ditentukan untuk sekumpulan kendala dan satu set pengukuran.
Perbedaan Varians adalah ukuran variabilitas suatu sensor.
Redundansi Ini membantu Anda untuk menentukan pengukuran mana yang harus diestimasi dari variabel lain dengan menggunakan persamaan kendala.

Sejarah Rekonsiliasi Data

Di sini, adalah landmark penting dari sejarah Rekonsiliasi Data.

  • DVR (Validasi dan Rekonsiliasi Data) dimulai pada awal 1960-an. Ini bertujuan untuk menutup keseimbangan bahan dalam produksi di mana pengukuran mentah tersedia untuk semua variabel.
  • Pada akhir 1960-an, semua variabel yang tidak diukur dipertimbangkan dalam proses rekonsiliasi data.
  • Dinamika quasi-steady state untuk penyaringan dan estimasi parameter paralel dari waktu ke waktu diperkenalkan pada tahun 1977 oleh Stanley dan Mah.
  • Dynamic DVR dikembangkan sebagai model optimasi nonlinier yang dikeluarkan oleh Liebman pada tahun 1992

Proses Rekonsiliasi Data

Jenis metode Rekonsiliasi Data adalah:

Rekonsiliasi Master Data

Rekonsiliasi data master adalah teknik rekonsiliasi hanya data master antara sumber dan target. Data master sebagian besar tidak berubah atau lambat berubah sifatnya, dan tidak ada operasi agregasi yang dilakukan pada kumpulan data.

Beberapa contoh umum rekonsiliasi data master adalah:

  • Jumlah baris
  • Total Pelanggan dalam sumber dan target
  • Jumlah total item dalam sumber dan target
  • Jumlah total baris berdasarkan kondisi tertentu
  • Jumlah pengguna aktif
  • Jumlah pengguna yang tidak aktif, dll.

Akurasi Aktivitas

  • Anda perlu memastikan bahwa transaksi itu valid dan tujuannya benar.
  • Perlu memeriksa apakah transaksi telah diotorisasi dengan benar.

Rekonsiliasi Data Transaksional

Data transaksional menjadi dasar laporan BI. Oleh karena itu, ketidaksesuaian data transaksional dapat berdampak langsung pada keandalan laporan dan keseluruhan sistem BI secara umum.

Metode rekonsiliasi data transaksional digunakan dalam hal jumlah total yang mencegah ketidaksesuaian yang disebabkan oleh perubahan perincian dimensi kualifikasi.

Contoh tindakan yang digunakan untuk rekonsiliasi data transaksional adalah:

  1. Jumlah total pendapatan dihitung dari sumber dan target
  2. Jumlah keseluruhan item yang terjual, dihitung dari sumber dan target, dll.

Rekonsiliasi Data Otomatis:

Dalam sistem manajemen Data warehouse yang besar, akan lebih mudah untuk mengotomatiskan proses rekonsiliasi data dengan menjadikannya sebagai bagian integral dari pemuatan data. Ini memungkinkan Anda untuk mempertahankan tabel metadata pemuatan terpisah. Selain itu, rekonsiliasi otomatis akan membuat semua pemangku kepentingan mendapatkan informasi tentang validitas laporan.

Praktik terbaik Menggunakan Rekonsiliasi Data

  • Proses rekonsiliasi data harus ditujukan pada kesalahan pengukuran yang benar.
  • Kesalahan besar harus nol agar proses rekonsiliasi data menjadi efisien.
  • Pendekatan standar Rekonsiliasi Data mengandalkan penghitungan catatan sederhana untuk melacak apakah jumlah catatan yang ditargetkan telah bermigrasi atau tidak.
  • Solusi migrasi data memberikan kemampuan rekonsiliasi yang serupa dan fungsionalitas prototipe data yang menawarkan pengujian rekonsiliasi data volume penuh.

Alat Rekonsiliasi Data

1) OpenRefine

OpenRefine yang sebelumnya dikenal sebagai Google Refine adalah kerangka kerja Rekonsiliasi Database yang berguna. Ini memungkinkan Anda untuk membersihkan dan mentransfer data yang berantakan.

Tautan unduhan: https://openrefine.org/

2) Kejelasan TIBCO

Alat rekonsiliasi data ini menawarkan layanan perangkat lunak sesuai permintaan dari web dalam bentuk Perangkat Lunak sebagai layanan. Ini memungkinkan pengguna untuk memvalidasi data, dan membersihkan data. Ini menyediakan fitur pengujian rekonsiliasi lengkap. Banyak digunakan dalam proses ETL.

Tautan Unduhan: https://clarity.cloud.tibco.com/landing/index.html

3) Winpure

Winpure adalah perangkat lunak pembersih data yang terjangkau dan akurat. Ini memungkinkan Anda untuk membersihkan data dalam jumlah besar, menghapus duplikat, mengoreksi dan menstandarisasi untuk merancang kumpulan data akhir.

Unduh Tautan: https://winpure.com/

Ringkasan

  • Validasi dan rekonsiliasi data (DVR) adalah teknologi yang menggunakan model matematika untuk memproses informasi.
  • Penggunaan rekonsiliasi Data membantu Anda mengekstraksi informasi yang akurat dan andal tentang keadaan proses industri dari data pengukuran mentah.
  • Gross Error, Observability, Variance, Redundancy adalah istilah penting yang digunakan dalam proses Rekonsiliasi Data
  • Validasi dan Rekonsiliasi data dimulai pada awal 1960-an.
  • Tiga jenis metode Rekonsiliasi Data adalah 1) Rekonsiliasi Data Induk 2) Rekonsiliasi Data Transaksional 3) Rekonsiliasi Data Otomatis
  • Kesalahan besar harus nol agar proses rekonsiliasi data menjadi efisien.
  • Beberapa alat Rekonsiliasi Data penting adalah: 1) OpenRefine 2) TIBCO 3) Winpure
  • Metode ini banyak digunakan dalam pemantauan kinerja dan proses di penyulingan minyak / industri nuklir / kimia