Proses pengangkutan hasil panen di sektor pertanian masih banyak dilakukan secara manual sehingga membutuhkan tenaga fisik yang besar dan waktu kerja yang lebih lama. Untuk membantu mengatasi permasalahan tersebut, penelitian ini mengembangkan robot asisten berbasis computer vision dan deep learning yang mengombinasikan pengenalan gestur tangan dan deteksi rompi sebagai media interaksi dan pelacakan pengguna secara otomatis.
Penelitian ini bertujuan meningkatkan keandalan sistem mekanik, elektronik, dan kontrol robot asisten agar mampu mengikuti pengguna secara adaptif. Sistem menggunakan algoritma YOLOv8n untuk mendeteksi gestur tangan ON, gestur tangan OFF, dan rompi pengguna. Hasil deteksi diproses oleh Raspberry Pi 5B dan dikirim ke Arduino Mega 2560 untuk mengendalikan pergerakan robot secara real-time.
Hasil penelitian menunjukkan bahwa model YOLOv8n memiliki nilai precision 99,7%, recall 99,4%, dan mAP@50 99,2%. Pengujian menunjukkan bahwa image size 256 piksel memberikan performa terbaik untuk sistem real-time. Robot mampu mendeteksi gestur dan rompi pada berbagai kondisi pencahayaan, serta merespons perintah Follow ON dan Follow OFF dengan tingkat keberhasilan 100%. Pada pengujian lintasan simulasi panen, robot berhasil mengikuti pengguna secara stabil pada jalur lurus maupun tikungan dengan pelacakan rompi yang konsisten selama pengujian berlangsung.

Viska Sari
Muh. Maulana Arasy Sadar
Proses pengangkutan hasil panen di sektor pertanian masih banyak dilakukan secara manual sehingga membutuhkan tenaga fisik yang besar dan waktu kerja yang lebih lama. Untuk membantu mengatasi permasalahan tersebut, penelitian ini mengembangkan robot asisten berbasis computer vision dan deep learning yang mengombinasikan pengenalan gestur tangan dan deteksi rompi sebagai media interaksi dan pelacakan pengguna secara otomatis.
Penelitian ini bertujuan meningkatkan keandalan sistem mekanik, elektronik, dan kontrol robot asisten agar mampu mengikuti pengguna secara adaptif. Sistem menggunakan algoritma YOLOv8n untuk mendeteksi gestur tangan ON, gestur tangan OFF, dan rompi pengguna. Hasil deteksi diproses oleh Raspberry Pi 5B dan dikirim ke Arduino Mega 2560 untuk mengendalikan pergerakan robot secara real-time.
Hasil penelitian menunjukkan bahwa model YOLOv8n memiliki nilai precision 99,7%, recall 99,4%, dan mAP@50 99,2%. Pengujian menunjukkan bahwa image size 256 piksel memberikan performa terbaik untuk sistem real-time. Robot mampu mendeteksi gestur dan rompi pada berbagai kondisi pencahayaan, serta merespons perintah Follow ON dan Follow OFF dengan tingkat keberhasilan 100%. Pada pengujian lintasan simulasi panen, robot berhasil mengikuti pengguna secara stabil pada jalur lurus maupun tikungan dengan pelacakan rompi yang konsisten selama pengujian berlangsung.