Pengenalan Pola Huruf Bahasa Isyarat Menggunakan Framework You Only Look Once (YOLO)
DOI:
https://doi.org/10.37859/jf.v15i2.10018
Abstract
Bahasa isyarat merupakan bentuk komunikasi visual yang penting bagi penyandang disabilitas rungu wicara. Namun, masih banyak masyarakat yang belum memahami Sistem Isyarat Bahasa Indonesia (SIBI), sehingga menimbulkan hambatan komunikasi. Penelitian ini bertujuan untuk mengembangkan sistem pengenalan huruf bahasa isyarat SIBI menggunakan framework You Only Look Once (YOLO). Data citra huruf dikumpulkan dari tangan penulis, dianotasi menggunakan Roboflow, dan dilatih dengan algoritma YOLOv11. Hasil deteksi huruf tidak hanya dikenali secara individu, tetapi juga disusun menjadi kalimat secara real-time melalui input kamera menggunakan pemrosesan sekuens huruf. Model terbaik menunjukkan nilai precision sebesar 0,835, recall 0,928, serta mean Average Precision (mAP) dengan mAP@50 (IoU 50%) sebesar 0,968 dan mAP@50–95 (rata-rata pada berbagai ambang IoU) sebesar 0,774. Sistem juga mencapai akurasi rata-rata 0,831 dan F1-score sebesar 0,865 dalam pengenalan huruf. Pada pengujian real-time, sistem berhasil menyusun kalimat sederhana “VINA SEDANG MAKAN” dengan akurasi 86,6%. Hasil ini membuktikan bahwa sistem tidak hanya mampu mendeteksi huruf, tetapi juga dapat merangkai huruf menjadi kalimat bermakna. Penelitian ini diharapkan dapat memberikan kontribusi nyata dalam pengembangan teknologi inklusif yang dapat menjembatani komunikasi antara penyandang disabilitas rungu wicara dengan masyarakat umum, serta berpotensi diimplementasikan dalam bidang pendidikan, pelayanan publik, maupun aplikasi sehari-hari
Downloads
References
Firsty Aufirandra, Bunga Adelya, and Syifa Ulfah, 2017. “Komunikasi Mempengaruhi Tingkah Laku individu,” JPGI (Jurnal Penelit. Guru Indones., vol. 2, no. 2, pp. 9–15.
V. Kissya, 2022. “Penggunaan Bahasa Isyarat Dalam Komunikasi Antara Penyandang Tunga Rungu, Guru, Serta Keluarga di (Sekolah Luar Biasa Pelitah Kasih) Rumah Tiga Ambon,” Hipotesa, vol. 16, no. 1, pp. 20–34.
E. Zulpicha, 2018. “Konflik Kebijakan Penggunaan Sistem Bahasa Isyarat Indonesia Di Lingkungan Pendidikan Formal,” J. Anal. Sosiol., vol. 6, no. 1, doi: 10.20961/jas.v6i1.18190.
R. Fatmawati, R. Asmara, Y. R. Prayogi, and R. Y. Hakkun, 2022. “Aplikasi Pembelajaran Sistem Isyarat Bahasa Indonesia (SIBI) Berbasis Voice Menggunakan OpenSIBI,” Technomedia J., vol. 7, no. 1, pp. 22–39, doi: 10.33050/tmj.v7i1.1690.
S. Allam, A. Balaram, Y. V. R. Rao, A. Kiran, H. Valpadasu, and S. Navya, 2024. “Sign Language Recognition Using Cnn,” Proc. 2nd Int. Conf. Adv. Smart, Secur. Intell. Comput. ASSIC 2024, vol. 12, no. 12, doi: 10.1109/ASSIC60049.2024.10507969.
J. Terven, D. M. Córdova-Esparza, and J. A. Romero-González, 2023. “A Comprehensive Review of YOLO Architectures in Computer Vision: From YOLOv1 to YOLOv8 and YOLO-NAS,” Mach. Learn. Knowl. Extr., vol. 5, no. 4, pp. 1680–1716, doi: 10.3390/make5040083.
E. Altiarika and W. P. Sari, 2023. “Pengembangan Deteksi Realtime untuk Bahasa Isyarat Indonesia dengan Menggunakan Metode Deep Learning Long Short Term Memory dan Convolutional Neural Network,” J. Teknol. Inform. dan Komput., vol. 9, no. 1, pp. 1–13, doi: 10.37012/jtik.v9i1.1272.
A. Kaisul Imam, K. Aeni, J. Raya Pagojengan Km, J. Tengah, and K. Kunci, 2023. “Deteksi Sistem Isyarat Bahasa Indonesia (Sibi) Menggunakan Algoritma Yolov5S,”.
Agus Nugroho, R. Setiawan, A. Harris, and Beny, 2023. “Deteksi Bahasa Isyarat Bisindo Menggunakan Metode Machine Learning,” J. Process., vol. 18, no. 2, pp. 152–158, doi: 10.33998/processor.2023.18.2.1380.
B. K. Pratama, Sri Lestanti, and Yusniarsi Primasari, 2024. “Implementasi Algoritma You Only Look Once (YOLO) untuk Mendeteksi Bahasa Isyarat SIBI,” ProTekInfo(Pengembangan Ris. dan Obs. Tek. Inform., vol. 11, no. 2, pp. 7–14, doi: 10.30656/protekinfo.v11i2.9105.
A. Farizi et al., 2024. “Implementasi Algoritma MobileNetV2 Berbasis CNN untuk Sistem Pengenalan Bahasa Isyarat SIBI,” BINA Insa. ICT J., [Online]. Available: https://api.semanticscholar.org/CorpusID:278017429
D. Permana and J. Sutopo, 2023. “APLIKASI PENGENALAN ABJAD SISTEM ISYARAT BAHASA INDONESIA (SIBI) DENGAN ALGORITMA YOLOv5 MOBILE APPLICATION ALPHABET RECOGNITION OF INDONESIAN LANGUAGE SIGN SYSTEM (SIBI) USING YOLOv5 ALGORITHM,” J. SimanteC, vol. 11, no. 2, pp. 231–240.
B. Agung Saputra, F. Eka Putra, S. Julio Elsada Lautt, V. Handrianus Pranatawijaya, and R. Priskila, 2024. “IMPLEMENTASI ALGORITMA YOLO VERSI 8 UNTUK MEMBACA BAHASA ISYARAT Universitas Palangka Raya,” J. Multidisiplin Inov., vol. 8, no. 4, pp. 2246–6110.
K. Aeni and A. S. Millah, 2025. “Implementasi Deteksi Objek Dengan Model YOLOV8 pada Pengenalan Bahasa Isyarat Implementation of Object Detection with YOLOV8 Model in Sign Language Recognition,” vol. 14, no. 105.
J. Zophie and H. H. Triharminto, 2020. “Implemetasi Algoritma You Only Look Once ( YOLO ) menggunakan Web Camera untuk Mendeteksi Objek Statis dan Dinamis Implementation of You Only Look Once ( YOLO ) Algorithm using Web Camera for Static dan Dinamic Object Detection,” vol. 1, no. 1, pp. 98–109.
Z. R. Mair and M. A. Rahmanda, 2025. “Perbandingan Versi Terbaik YOLO Dalam Mendeteksi Jarak Spasi Antar Baris Tulisan Tangan,” J. Sains, Nalar, dan Apl. Teknol. Inf., vol. 4, no. 2, pp. 103–110, doi: 10.20885/snati.v4.i2.40414.
Z. R. Mair and M. H. Irfani, 2023. “Permainan INGBAS (Gunting, Batu, Kertas) Menggunakan Arsitektur Convolutional Neural Network,” J. Tek. Inform. dan Sist. Inf., vol. 10, no. 1, pp. 1019–1026.
R. Heriansyah, D. A. Verano, Z. R. Mair, and others, 2024. “DETEKSI PENYAKIT DIABETES RETINOPATHY MENGGUNAKAN CITRA DIGITAL DENGAN METODE CONVOLUTIONAL NEURAL NETWORK (CNN),” Pros. SNAST, pp. 311–320.
Zaid Romegar Mair et al., 2023. “Z. R. Mair, W. Cholil, E. Yulianti, D. Marcelina, Theresiawati and I. N. Isnainiyah, ‘Convolutional Neural Network Analysis on Handwriting Patterns and Its Relationship to Personality: A Systematical Review,’ 2023 International Conference on Informatics, ,” pp. 308–312.
Downloads
Published
Issue
Section
License
Copyright (c) 2025 Tri Ahmad Jabar JABAR, Rudi Heriansyah, Evi Purnamasari
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
Copyright Notice
An author who publishes in the Jurnal FASILKOM (teknologi inFormASi dan ILmu KOMputer) agrees to the following terms:
- Author retains the copyright and grants the journal the right of first publication of the work simultaneously licensed under the Creative Commons Attribution-ShareAlike 4.0 License that allows others to share the work with an acknowledgement of the work's authorship and initial publication in this journal
- Author is able to enter into separate, additional contractual arrangements for the non-exclusive distribution of the journal's published version of the work (e.g., post it to an institutional repository or publish it in a book) with the acknowledgement of its initial publication in this journal.
- Author is permitted and encouraged to post his/her work online (e.g., in institutional repositories or on their website) prior to and during the submission process, as it can lead to productive exchanges, as well as earlier and greater citation of the published work (See The Effect of Open Access).
Read more about the Creative Commons Attribution-ShareAlike 4.0 Licence here: https://creativecommons.org/licenses/by-sa/4.0/.
_(1).png)
