Hidayatullah, Syarif (2020) Streaming Data Log File Ke Hdfs Menggunakan Apache Flume. Diploma thesis, Politeknik Negeri Ujung Pandang.
STREAMING DATA LOG FILE .pdf - Published Version
Restricted to Registered users only
Download (7MB)
Abstract
Peningkatan jumlah pengguna internet menyebabkan semakin banyak informasi yang terkumpul dan diproses setiap waktu oleh aplikasi penyimpanan data, seperti aktifitas pengguna jaringan, log webserver, data sensor dan sebagainya. Data secara terus menerus akan disimpan berdasarkan waktu kedatangan atau timestamp, semakin banyak data yang diproses, maka urutan data yang tiba akan semakin sulit untuk dikontrol dan memungkinkan terjadinya kehilangan data saat melakukan transmisi ke penyimpanan terdistribusi. Gangguan yang terjadi saat proses pengiriman data akan membuat pengiriman terhambat bahkan terhenti sehingga menyebabkan ada data yang hilang dan membuat proses analisis menjadi tidak akurat, untuk itu, diperlukan tools yang dapat memproses data ke dalam penyimpanan dan menjamin data utuh tanpa ada data lost. Salah satu tools yang reliable untuk menangani data lost adalah Apache Flume. Oleh karena itu, dilakukan pengujian terhadap kinerja Apache Flume dengan menguji integritas data saat terjadi gangguan pada HDFS ataupun Apache Flume saat proses transmisi data dan menguji througput saat melakukan transmisi data dari local system menuju Hadoop HDFS menggunakan sistem satu aliran dan banyak aliran data. Hasil pengujian pada Apache Flume menunjukkan pengiriman data dalam kondisi tanpa gangguan, integritas data tetap terjaga tanpa ada data yang hilang. Saat terjadi gangguan, integritas data saat menggunakan memory channel kurang baik karena terdapat data yang hilang dengan rata-rata 917945,2 event. Saat menggunakan file channels, meskipun tidak terdapat data yang hilang, tetapi terjadi duplikasi data dengan rata-rata duplikasi sebanyak 48,9 event, serta peningkatan nilai througput lebih baik saat menggunakan satu aliran data dibanding menggunakan banyak aliran data sebanyak 1623,206 event/detik.
Item Type: | Thesis (Diploma) |
---|---|
Subjects: | Q Science > QA Mathematics > QA75 Electronic computers. Computer science |
Divisions: | Jurusan Teknik Elektro > D4 Teknik Komputer dan Jaringan |
Depositing User: | Unnamed user with username 197103102001121001 |
Date Deposited: | 25 Aug 2023 02:10 |
Last Modified: | 25 Aug 2023 02:10 |
URI: | https://repository.poliupg.ac.id/id/eprint/4946 |