Jalan merupakan prasarana transportasi darat yang meliputi segala bagian jalan, bangunan, perlengkapan yang diperuntukkan bagi lalu lintas yang berada pada permukaan tanah, diatas permukaan tanah, dibawah permukaan tanah atau air, serta di atas permukaan air. Kerusakana jalan dapat dibedakan menjadi beberapa jenis diantaranya retak, distorasi, pengausan, penggemukan, dan lubang. Penelitian ini bertujuan untuk mengklasifikasikan jenis kerusakan jalan dengan menggunakan Convolutional Neural Network (CNN) pada algoritma yolov5s. Dataset yang digunakan untuk proses pelatihan dilakukan dengan menggunakan dataset yang diperoleh dari platform roboflow yang berjumlah 2.200 data. Sedangkan dataset yang digunakan untuk proses pengujian menggunakan data yang berupa citra digital sebanyak 20 data real dengan kondisi jalan yang mengalami kerusakan yang di-capture dengan menggunakan drone dan 10 data yang di-capture melalui satelit. Model yang digunakan untuk melakukan klasifikasi kerusakan jalan raya merupakan model yang diperoleh dari hasil training yang memiliki nilai f1-Score dan mAP@0.5 tertinggi serta respond time yang lebih sedikit yaitu training yang dilakukan dengan menggunakan parameter epoch ke-20. Pada penelitian ini, pengujian sistem dilakukan dengan menggunakan tiga skenario pengujian, yaitu pengujian yang dilakukan dengan menggunakan citra di-capture dari dua lokasi yang berbeda serta tidak memiliki noise didalamnya, kemudian pengujian yang dilakukan dengan menggunakan citra yang memiliki noise seperti kabel jaringan yang melintang ataupun kendaraan yang melintas, dan pengujian yang dilakukan dengan menggunakan citra yang di-capture melalui satelit. Berdasarkan hasil pengujian yang telah dilakukan dapat disimpulkan bahwa metode Convolutional neural Network (CNN) pada Algoritma yolov5s dapat digunakan dalam melakukan klasifikasi terhadap Kerusakan Jalan raya dengan akurasi yang sangat baik. Dari tiga skenario pengujian yang dilakukan, skenario pertama memperoleh akurasi sebesar 95%, skenario kedua hanya memperoleh akurasi sebesar 87%, dan skenario ketiga memperoleh akurasi sebesar 98%.