Indonesia, negara kepulauan terbesar, mengandalkan transportasi laut untuk menghubungkan pulau-pulaunya. PT. Pelabuhan Indonesia Terminal Petikemas New Makassar menggunakan Rubber Tayred Gantry Crane (RTGC) untuk memindahkan kontainer, namun operator sering kesulitan memantau jalur RTGC, sehingga meningkatkan risiko kecelakaan. Keselamatan dan Kesehatan Kerja (K3) sangat penting di area operasional ini. Diperlukan sistem deteksi objek untuk membantu operator memantau dan mengontrol pergerakan RTGC, sehingga meningkatkan keselamatan dan efisiensi operasional.

Tujuan dari penelitian ini adalah merancang mekanisme pengenalan objek otomatis menggunakan pengolahan citra yang mengontrol pergerakan RTGC berdasarkan hasil pendeteksian objek tersebut. Sistem ini menggunakan CCTV dan algoritma pendeteksi untuk memantau area kerja RTGC secara real time. Hasil pendeteksian objek akan digunakan untuk mengontrol pergerakan gantry berdasarkan jarak objek tersebut dari alat RTGC.

Berdasarkan hasil penelitian, dirancang sebuah sistem yang dapat mengontrol gerakan RTGC menggunakan image processing berbasis machine learning. Sistem ini mampu mengontrol ON/OFF pada relay berdasarkan objek yang terdeteksi dalam area sebagai masukan kontrol PLC untuk sistem gerakan slow down dan stop pada alat RTGC dengan rata rata akurasi pendeteksian sebesar 91,67% dengan kecepatan pemrosesan gambar sebesar 0,20 detik. Dengan demikian, sistem ini secara signifikan meningkatkan keselamatan dan efisiensi operasional di terminal petikemas.

Kata Kunci: RTGC, Machine Learning, Deteksi Objek, Kontrol Relay