Analisis Akurasi Object Detection Menggunakan Tensorflow Untuk Pengenalan Bahasa Isyarat Tangan Menggunakan Metode SSD

Elisa Tikasni; Ema  Utami; Dhani  Ariatmanto

doi:10.37859/jf.v14i2.7512

Elisa Tikasni Universitas Amikom Yogyakarta
Ema Utami Universitas Amikom Yogyakarta
Dhani Ariatmanto Universitas Amikom Yogyakarta

https://doi.org/10.37859/jf.v14i2.7512

Keywords: Pengenalan Bahasa Isyarat Tangan, Tensorflow, Machine Learning, Computer Vision, Single Shot Detection (SSD)

Abstract

Penelitian ini bertujuan untuk menganalisis akurasi deteksi objek dalam pengenalan bahasa isyarat tangan menggunakan metode Single Shot Detection (SSD) yang diimplementasikan dengan tensorflow. Latar belakang penelitian ini berasal dari kebutuhan akan sistem komunikasi yang bagi penyandang disabilitas. Metode SSD dipilih karena kemampuannya mendeteksi objek secara real-time dengan efisiensi tinggi. Dataset yang digunakan terdiri dari gambar tangan dalam berbagai pose kata kerja dalam bahasa isyarat. Proses pelatihan model melibatkan peningkatan data dan penggunaan teknik transfer learning untuk meningkatkan performa deteksi. Faktor-faktor yang mempengaruhi akurasi, seperti kompleksitas latar belakang dan variasi pencahayaan, dianalisis untuk memberikan pemahaman yang analisis menyeluruh tentang kinerja model. Analisis ini sangat penting dalam mengidentifikasi potensi perbaikan dan memastikan kekuatan sistem deteksi dalam berbagai kondisi. Temuan penelitian ini menyoroti bahwa metode SSD yang diimplementasikan dengan tensorflow sangat efektif untuk pengenalan bahasa isyarat tangan. Efektivitas ini memainkan peran penting dalam memajukan pengembangan sistem komunikasi yang lebih inklusif, memberikan manfaat besar bagi komunitas penyandang disabilitas dengan meningkatkan kemampuan mereka untuk berkomunikasi. Dengan menjembatani kesenjangan komunikasi, penelitian ini berkontribusi pada penciptaan lingkungan yang lebih mudah diakses dan inklusif bagi individu dengan gangguan pendengaran. Selain itu, penerapan teknologi semacam ini dapat membuka jalan bagi kemajuan di masa depan dalam penggunaan perangkat komunikasi bantu.

Downloads

Download data is not yet available.

References

Akram, A., Fayakun, K., & Ramza, H. (2023). Klasifikasi Hama Serangga pada Pertanian Menggunakan Metode Convolutional Neural Network. Building of Informatics, Technology and Science (BITS), 5(2), 397–406. https://doi.org/10.47065/bits.v5i2.4063

M. Khali̇luzzaman, K. Kobra, S. Li̇aqat, And S. I. Khan, “Comparative Analysis On Real-Time Hand Gesture And Sign Language Recognition Using Convexity Defects And Yolov3,” Sigma Journal Of Engineering And Natural Sciences, Vol. 42, No. 1, Pp. 100–116, Feb. 2024, Doi: 10.14744/Sigma.2024.00012.

Althaf Adhari Rachman, & Ivan Maurits. (2023). Sistem Deteksi Pemakaian Masker Pada Wajah Secara Real Time Menggunakan Framework Tensorflow Dan Library Opencv. Jurnal Ilmiah Teknik, 2(1), 49–59. https://doi.org/10.56127/juit.v2i1.496

A. Prima, “Rancang Bangun Sistem Pendeteksi Aneka Ragam Buah Menggunakan Mobilenetv2,” Jurnal Sistim Informasi Dan Teknologi, Pp. 208–215, Jul. 2023, Doi: 10.60083/Jsisfotek.V5i2.217.

Amri, I. (2024). Implementasi Algoritma Convolutional Neural Network Untuk Menerjemahkan Bahasa Isyarat. Jurnal Multidisiplin Saintek Volume , 2(9), 70–87. https://ejournal.warunayama.org/kohesi

Abdillah, G., & Ilyas, R. (2024). Deteksi Objek Bahasa Isyarat Huruf Bisindo Menggunakan SSD-Mobilenet. Kesatria : Jurnal Penerapan Sistem Informasi (Komputer Dan Manajemen), 5(1), 47–60. https://tunasbangsa.ac.id/pkm/index.php/brahmana

Asmoro, J. D., Wibowo, A. T., & Ridwan, M. (2023). Virtual Mouse With Hand Gesture Recognition Based on Hand Landmark Model for Pointing Device. JURTEKSI (Jurnal Teknologi Dan Sistem Informasi), 9(2), 261–268. https://doi.org/10.33330/jurteksi.v9i2.2073

“Deep Learning Untuk Mendeteksi Pola Kebotakan Rambut Pada Pria Dengan Metode Cnn( Convolutional Neural Network),” Jurnal Ilmiah Komputasi, Vol. 21, No. 3, Sep. 2022, Doi: 10.32409/Jikstik.21.3.3006.

D. Adhar, “Penerapan Metode Cnn Menggunakan Tensorflow Untuk Mengklasifikasi Object Pola Gambar Pengenalan Sampah Organik Dan Non-Organik Berbasis Android,” 2024, [Online]. Available: Http://Kti.Potensi-Utama.Ac.Id/Index.Php/Jid

Saputra, R. D. (2023). Pengembangan Sistem Deteksi Objek pada Produk Retail dengan Arsitektur YOLOv4-tiny. https://dspace.uii.ac.id/handle/123456789/45878%0Ahttps://dspace.uii.ac.id/bitstream/handle/123456789/45878/19523235.pdf?sequence=1&isAllowed=y

Widjaya, V. S., & Wasito, I. (2024). Sistem Deteksi Kosakata Bahasa Isyarat Secara Real Time dengan Tensorflow Menggunakan Metode Convolutional Neural Network. 8, 1484–1493. https://doi.org/10.30865/mib.v8i3.7714

J. D. Asmoro, A. T. Wibowo, And M. Ridwan, “Virtual Mouse With Hand Gesture Recognition Based On Hand Landmark Model For Pointing Device,” Jurteksi (Jurnal Teknologi Dan Sistem Informasi), Vol. 9, No. 2, Pp. 261–268, Mar. 2023, Doi: 10.33330/Jurteksi.V9i2.2073.

Putra, R. F., & Mulyana, D. I. (2024). Optimasi Deteksi Objek Dengan Segmentasi dan Data Augmentasi Pada Hewan Siput Beracun Menggunakan Algoritma You Only Look Once (YOLO). Jurnal JTIK (Jurnal Teknologi Informasi Dan Komunikasi), 8(1), 93–103. https://doi.org/10.35870/jtik.v8i1.1391

Ramadhan, G., Khairiyah, R. D. A., Natania, S., & Harris, A. (2024). Vehicle Police Number Detection Using Yolov8. Media Journal of General Computer Science, 1(2), 62–70. https://doi.org/10.62205/mjgcs.v1i2.25

Sutisna, T., Rachmat Raharja, A., Hariyadi, E., & Hafizh Cahaya Putra, V. (2024). Penggunaan Computer Vision untuk Menghitung Jumlah Kendaraan dengan Menggunakan Metode SSD (Single Shoot Detector). INNOVATIVE: Journal Of Social Science Research, 4, 6060–6067. https://j-innovative.org/index.php/Innovative/article/view/10071/6958

Arip, A. A. S., Sazali, N., Kadirgama, K., Jamaludin, A. S., Turan, F. M., & Ab. Razak, N. (2024). Object Detection for Safety Attire Using YOLO (You Only Look Once). Journal of Advanced Research in Applied Mechanics, 113(1), 37–51. https://doi.org/10.37934/aram.113.1.3751

Barlybayev, A., Amangeldy, N., Kurmetbek, B., Krak, I., Razakhova, B., Tursynova, N., & Turebayeva, R. (2024). Personal protective equipment detection using YOLOv8 architecture on object detection benchmark datasets: a comparative study. Cogent Engineering, 11(1). https://doi.org/10.1080/23311916.2024.2333209

Brutas, M. J. B., Fajardo, A. L., Quilloy, E. P., Manuel, L. J. R., & Borja, A. A. (2024). Enhancing Seed Germination Test Classification for Pole Sitao (Vigna unguiculata (L.) Walp.) Using SSD MobileNet and Faster R-CNN Models. Applied Sciences (Switzerland), 14(13). https://doi.org/10.3390/app14135572

KIRAC, E., & ÖZBEK, S. (2024). Deep Learning Based Object Detection with Unmanned Aerial Vehicle Equipped with Embedded System. Journal of Aviation, 8(1), 15–25. https://doi.org/10.30518/jav.1356997

Miguel, J., Mendonça, P., Quelhas, A., Caldeira, J. M. L. P., & Soares, V. N. G. J. (2024). Using Computer Vision to Collect Information on Cycling and Hiking Trails Users. Future Internet, 16(3). https://doi.org/10.3390/fi16030104

Sainui, J., Thepporn, C., & Chusuwan, P. (2024). Thai License Plate Recognition using SSD MobileNet and EasyOCR. ACM International Conference Proceeding Series, 36–41. https://doi.org/10.1145/3645259.3645266

Sarvajcz, K., Ari, L., & Menyhart, J. (2024). AI on the Road: NVIDIA Jetson Nano-Powered Computer Vision-Based System for Real-Time Pedestrian and Priority Sign Detection. Applied Sciences (Switzerland), 14(4). https://doi.org/10.3390/app14041440

Yadav, S. P., Jindal, M., Rani, P., de Albuquerque, V. H. C., dos Santos Nascimento, C., & Kumar, M. (2024). An improved deep learning-based optimal object detection system from images. Multimedia Tools and Applications, 83(10), 30045–30072. https://doi.org/10.1007/s11042-023-16736-5