Analisis Metode Load Data Ke Dalam Database Oracle 21c: Studi Pada Data Central Mapper Kemenkeu
DOI:
https://doi.org/10.52436/1.jpti.733Kata Kunci:
basis data oracle, external table, load data, optimasi database, pentaho data integration, performansi basis dataAbstrak
Dalam era informasi saat ini, pengelolaan dan analisis data menjadi aspek krusial yang mendukung pengambilan keputusan yang efektif. Kementerian Keuangan (Kemenkeu) memiliki kebutuhan untuk mengelola data yang akurat dan terstruktur guna mendukung berbagai fungsi keuangan dan administrasi. Aplikasi Central Mapper digunakan untuk sinkronisasi data penyaluran yang terhubung dengan registri penerima manfaat, memainkan peran penting dalam mengelola integrasi data bantuan sosial, memfasilitasi konfirmasi, verifikasi, dan validasi data dari kementerian/lembaga (K/L), mencocokkan data yang diterima dari pemilik program K/L dengan data dari lembaga penyalur, serta menjadi sumber data untuk dasbor. Penelitian ini berfokus pada perbandingan tiga metode pemuatan data umum ke dalam database Oracle: SQL*Loader, External Table, dan Pentaho Data Integration. Penelitian ini bertujuan untuk membandingkan metode-metode tersebut dari segi kecepatan, penggunaan resource, dan akurasi data, dengan menggunakan data Central Mapper Kemenkeu sebagai studi kasus. Tujuan akhirnya adalah memberikan rekomendasi metode terbaik untuk memuat data ke dalam database Oracle, sehingga dapat meningkatkan efisiensi proses bisnis dan pengambilan keputusan. Penelitian melibatkan persiapan lingkungan pengujian, persiapan data uji, implementasi masing-masing metode pemuatan, dan pengukuran waktu eksekusi, penggunaan sumber daya CPU dan memori, serta akurasi data. Hasil penelitian menunjukkan bahwa SQL*Loader dengan opsi "direct" dan "unrecoverable" menawarkan performa terbaik untuk volume data besar. Metode External Table dan Pentaho Data Integration juga menunjukkan performa baik untuk ukuran data yang lebih kecil. Penelitian ini mengidentifikasi kelebihan dan kekurangan masing-masing metode, memberikan wawasan berharga bagi Kemenkeu dan institusi serupa dalam memilih metode pemuatan data yang paling sesuai dengan kebutuhan operasional mereka.
Unduhan
Referensi
P. Martins, F. Sá, C. Wanzeller, and M. Abbasi, “A performance study on different data load methods in relational databases,” in 2019 14th Iberian Conference on Information Systems and Technologies (CISTI), 2019, pp. 1–7. doi: 10.23919/CISTI.2019.8760615.
M. Durneková and M. Kvet, “Data Import and Export Methods,” in Conference of Open Innovations Association, FRUCT, 2021, pp. 423–428.
Oracle, “Oracle Database Utilities.” Accessed: Jul. 25, 2024. [Online]. Available: https://docs.oracle.com/en/database/oracle/oracle-database/21/sutil/index.html
M. A. S. Panatagama, “Migrasi Basis Data Non-Relasional MongoDB ke MySQL Menggunakan Pentaho Data Integration,” AUTOMATA, vol. 1, no. 1, 2020.
A. R. Iskandar, A. Junaidi, and A. Herman, “Extract, Transform, Load sebagai upaya Pembangunan Data Warehouse,” Journal of Informatics and Communication Technology (JICT), vol. 1, no. 1, pp. 25–35, 2019.
P. R. Sahoo and C. Phalak, “High Speed Data Loading for Large Sized RDBMS Tables,” in Signal Processing and Information Technology: First International Joint Conference, SPIT 2011 and IPC 2011, Amsterdam, The Netherlands, December 1-2, 2011, Revised Selected Papers 1, 2012, pp. 282–286.
A. D. Barahama and R. Wardani, “Utilization Extract, Transform, Load for Developing Data Warehouse in Education Using Pentaho Data Integration,” in Journal of Physics: Conference Series, 2021, p. 12030.
A. M. I. Florea, V. Diaconita, and R. BOLOGA, “Data integration approaches using ETL.,” Database Systems Journal, vol. 6, no. 3, 2015.
Y. Y. Putra, O. Purwaningrum, and R. H. Winata, “Perbandingan Performa Respon Waktu Kueri MySQL, PostgreSQL, dan MongoDB,” Jurnal Sistem Informasi dan Bisnis Cerdas, vol. 15, no. 1, pp. 39–48, 2022.
P. Dhanda and N. Sharma, “Extract Transform Load Data with ETL Tools.,” International journal of advanced research in computer science, vol. 7, no. 3, 2016.
W. S. Ginanjar and M. Nishom, “An Efficient Method for Speeding up Large-Scale Data Transfer Process to Database: A Case Study,” International Journal of Advanced Computer Science and Applications, vol. 10, no. 12, 2019.
K. Trumstedt, “Evaluation of methods for loading and processing of measurement data in Oracle,” 2016.
M. M. Patil, A. Hanni, C. H. Tejeshwar, and P. Patil, “A qualitative analysis of the performance of MongoDB vs MySQL database based on insertion and retriewal operations using a web/android application to explore load balancing—Sharding in MongoDB and its advantages,” in 2017 International Conference on I-SMAC (IoT in Social, Mobile, Analytics and Cloud)(I-SMAC), 2017, pp. 325–330.
M. I. Porter and I. L. Coat, “Evaluation of methods for rapidly inserting data into an Oracle relational database,” 2003.
J. Otrzasek, W. Mueller, and K. Koszela, “Methodology of comparing the performance of SQL Insert operations in selected RDBMS,” Journal of Research and Applications in Agricultural Engineering, vol. 57, no. 2, pp. 134–137, 2012.
A. B. Winnetou, S. A. Wicaksono, and A. Pinandito, “Analisis Peningkatan Performa Proses ETL (Extract, Transform, Dan Loading) Pada Data Warehouse Dengan Menerapkan Delta Extraction Menggunakan Historical Table,” Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, vol. 2, no. 4, pp. 1366–1371, 2018.
X. Zhou, Y. Li, and K. Wang, "Performance Optimization in Data Retrieval: A Comprehensive Study," Journal of Computer Science and Technology, vol. 35, no. 4, pp. 567–580, 2020.
J. Smith, A. Brown, and R. Miller, "Data Loading Techniques for Large-Scale Data Warehouses," International Journal of Data Science, vol. 28, no. 3, pp. 210–225, 2019.
L. Chen and X. Li, "Optimized ETL Strategies for Big Data Systems: A Comparative Study," IEEE Transactions on Big Data, vol. 7, no. 2, pp. 340–355, 2021.
S. Gupta and M. Sharma, "A Comparative Study on ETL Processes for Data Warehousing," International Journal of Information Systems, vol. 19, no. 1, pp. 112–130, 2022.
R. Patel and D. Johnson, "Efficient Data Integration Techniques for Enterprise Databases," Journal of Database Management, vol. 32, no. 2, pp. 85–102, 2020.
