Gosal, Calvin Valentino (2022) Implementasi Apache Mesos Sebagai Cluster Manager Pada Pemrosesan Data Stream Menggunakan Apache Spark. Diploma thesis, Politeknik negeri Ujung Pandang.
IMPLEMENTASI APACHE MESOS ... wtr.pdf - Published Version
Restricted to Registered users only
Download (6MB)
Abstract
RINGKASAN
Transformasi digital telah menciptakan lonjakan jumlah data yang signifikan. Untuk mendapatkan informasi dari banyaknya jumlah data tersebut, dibutuhkan pemrosesan data secara real-time stream processing. Dalam pemrosesan data stream jika jumlah data stream yang masuk lebih besar dibandingkan kecepatan pemrosesan, akan mengakibatkan data stream menjadi tertinggal. Untuk itu, dibutuhkan teknologi cluster komputasi untuk meningkatkan kecepatan pemrosesan data stream. Salah satu framework open-source yang dapat digunakan untuk pemrosesan data stream dan dapat berjalan pada cluster adalah Apache Spark. Saat Apache Spark berjalan pada sebuah cluster, diperlukan cluster manager untuk membagi sumber daya yang tersedia untuk menjalankan aplikasi. Secara default Apache Spark memiliki cluster manager internal bernama Standalone Scheduler. Namun, cluster manager tersebut memiliki kekurangan dalam hal penjadwalan sumber daya. Oleh karena itu diperlukan cluster manager eksternal. Salah satu cluster manager eksternal yang di dukung oleh Apache Spark adalah Apache Mesos. Apache Mesos menyediakan fitur penjadwalan sumber daya, opsi berbagi sumber daya yang dinamis, dan tidak terikat pada suatu framework. Pada penelitian ini, dirancang dan dibangun infrastruktur multi-node cluster tervirtualisasi dengan mengimplementasikan Mesos cluster manager pada pemrosesan data stream dengan menggunakan framework Apache Spark lalu dilakukan analisis pada kinerja komputasi dari Mesos cluster manager. Hasil penelitian ini berhasil mengimplementasikan Mesos cluster manager pada framework Spark pada infrastruktur multi-node cluster untuk mengeksekusi aplikasi Structured Streaming. Serta pada pengujian kinerja Mesos cluster manager, infrastruktur yang paling optimal untuk menjalankan setiap skenario pengujian yang ada adalah 1 master dan 3 slave dengan konsumsi sumber daya CPU sebanyak 100%, memory sebanyak 47,67 %, dan disk sebanyak 0%.
Item Type: | Thesis (Diploma) |
---|---|
Subjects: | T Technology > TK Electrical engineering. Electronics Nuclear engineering |
Divisions: | Jurusan Teknik Elektro > D4 Teknik Listrik |
Depositing User: | Sahriana S.Sos |
Date Deposited: | 22 Jun 2023 02:46 |
Last Modified: | 22 Jun 2023 02:46 |
URI: | https://repository.poliupg.ac.id/id/eprint/3828 |