KLASIFIKASI ABJAD SIBI MENGGUNAKAN MULTILAYER PERCEPTRON PADA PERANGKAT ANDROID DENGAN TENSORFLOW LITE
Abstract
Abstrak. Pengenalan bahasa isyarat berbasis sensor wearable menjadi pendekatan yang semakin relevan karena ketahanannya terhadap variasi pencahayaan dan oklusi jari dibandingkan pendekatan berbasis kamera. Penelitian ini bertujuan untuk mengklasifikasikan 26 abjad Sistem Isyarat Bahasa Indonesia (SIBI) menggunakan model Multilayer Perceptron (MLP) yang diimplementasikan secara on-device melalui TensorFlow Lite (TFLite) pada platform Android. Data masukan berdimensi 33 fitur diperoleh dari sarung tangan pintar yang dilengkapi lima flex sensor dan satu unit IMU MPU-6050, dikirimkan melalui Bluetooth Low Energy (BLE) setiap 300ms. Pra-pemrosesan data menggunakan normalisasi Z-score (StandardScaler), dan prediksi distabilkan menggunakan mekanisme Majority Voting 10-frame. Evaluasi menggunakan metode K-Fold Cross Validation (K=5) menghasilkan akurasi rata-rata sebesar 97.31% pada skenario subject-specific. Pengujian integrasi sistem menunjukkan rata-rata latensi end-to-end sebesar 285ms dan packet loss BLE sebesar 0.26%, keduanya jauh di bawah ambang batas target. Hasil ini membuktikan bahwa arsitektur MLP berbasis data sensor mampu menjadi Proof of Concept yang andal untuk sistem penerjemah isyarat ringan, luring, dan berlatensi rendah di perangkat Android.
Abstract. Sensor-based wearable sign language recognition has emerged as an increasingly relevant approach due to its robustness against lighting variations and finger occlusion compared to camera-based methods. This study aims to classify 26 alphabets of the Indonesian Sign Language System (SIBI) using a Multilayer Perceptron (MLP) model implemented on-device via TensorFlow Lite (TFLite) on the Android platform. The 33-dimensional input features are acquired from a smart glove equipped with five flex sensors and one IMU MPU-6050 unit, transmitted via Bluetooth Low Energy (BLE) every 300ms. Data preprocessing employs Z-score normalization (StandardScaler), and predictions are stabilized using a 10-frame Majority Voting mechanism. Evaluation using K-Fold Cross Validation (K=5) yields an average accuracy of 97.31% in a subject-specific scenario. System integration testing demonstrates an average end-to-end latency of 285ms and BLE packet loss of 0.26%, both well below target thresholds. These results demonstrate that an MLP architecture based on sensor data can serve as a reliable Proof of Concept for a lightweight, offline, low-latency sign language translation system on Android devices.
Downloads
References
Dinas Kependudukan dan Pencatatan Sipil Provinsi Jawa Barat, "Jumlah penduduk penyandang disabilitas berdasarkan kategori disabilitas," Open Data Jabar, 2024. [Online]. Available: https://opendata.jabarprov.go.id
R. Tuntun, K. Kusrini, dan K. Kusnawi, "Analisis Perbandingan Kinerja Algoritma Klasifikasi dengan Menggunakan Metode K-Fold Cross Validation," Jurnal Media Informatika Budidarma, vol. 6, no. 4, 2022.
D. O. Arianto, D. Arisandi, dan I. P. Sari, "Smart Gloves Berbasis IoT untuk Memonitor Kondisi Pasien Stroke," Seminar Nasional Teknologi Informasi & Ilmu Komputer (SEMASTER), vol. 2, pp. 392, 2023.
A. H. Rasidy dan E. Zaeni, "Implementasi Decision Tree pada Sarung Tangan Pintar Penerjemah SIBI," Jurnal Media Elektro, vol. XIII, no. 2, 2024.
E. Saputro et al., "Rancang Bangun Sarung Tangan Pintar untuk Menerjemahkan Abjad SIBI ke Teks pada Platform Android," 2022.
A. Prafanto, E. Budiman, P. P. Widagdo, G. M. Putra, dan R. Wardhana, "Pendeteksi Kehadiran menggunakan ESP32 untuk Sistem Pengunci Pintu Otomatis," JTT (Jurnal Teknologi Terapan), vol. 7, no. 1, pp. 37, 2021. doi: 10.31884/jtt.v7i1.318
R. Toyib, A. P. Affandi Mussa, A. Wijaya, dan A. Sonita, "Indonesian Sign System Introduction Application with TensorFlow Lite and Firebase Authentication," Jurnal Teknik Informatika dan Sistem Informasi, vol. 11, no. 1, pp. 31–48, 2025. doi: 10.28932/jutisi.v11i1.9678
A. Setia et al., "Perancangan Aplikasi Mobile Berbasis Flutter untuk Pemantauan Data Sensor IoT," JSAI: Journal Scientific and Applied Informatics, vol. 8, no. 1, 2025.
S. Khotijah dan D. Driyani, "Perancangan Media Pembelajaran Interaktif Bahasa Isyarat SIBI untuk Penyandang Disabilitas Tuna Rungu Berbasis Android," JIM: Jurnal Ilmiah Multidisiplin, vol. 2, no. 1, pp. 142–149, 2023.
E. Silpia dan R. M. Sari, "Implementasi Komunikasi Bahasa Isyarat Anak Tunarungu," JIIP - Jurnal Ilmiah Ilmu Pendidikan, vol. 6, no. 1, pp. 529–535, 2023. doi: 10.54371/jiip.v6i1.1413
R. A. Priono, B. H. Prasetio, dan E. Setiawan, "Pengembangan Sistem Monitoring pada Identifikasi Kesehatan Pencernaan menggunakan Bluetooth Low Energy (BLE) berbasis Aplikasi Smartphone," Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, vol. 7, no. 2, pp. 599–607, 2023.
S. Ernawati dan R. Setiawan, "Rancang Bangun Sistem Informasi Delivery Food Berbasis Web pada Epa Cafe & Resto," Jurnal Sains dan Informatika, vol. 9, no. 1, pp. 56–66, 2023. doi: 10.34128/jsi.v9i1.498
U. Abdurohim, H. Gunawan, dan R. Jaenal, "Rancang Bangun Aplikasi Text-to-Speech Ringan untuk Mendukung Digitalisasi UMKM di Indonesia," Jurnal Penelitian dan Pengembangan Teknologi Informasi dan Komunikasi, vol. 14, no. 1, pp. 56–67, 2025. doi: 10.58761/jurtikstmikbandung.v14.i1.179
N. Arrizqi, I. Santoso, dan Y. A. A. Soetrisno, "Implementasi Google Text To Speech Pada Aplikasi Pendeteksi Uang Berbasis Android," Transient: Jurnal Ilmiah Teknik Elektro, vol. 10, no. 3, pp. 510–516, 2021. doi: 10.14710/transient.v10i3.510-516
D. Duei Putri, G. F. Nama, dan W. E. Sulistiono, "Analisis Sentimen Kinerja Dewan Perwakilan Rakyat (DPR) Pada Twitter Menggunakan Metode Naive Bayes Classifier," JITET, vol. 10, no. 1, Jan. 2022. doi: 10.23960/jitet.v10i1
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
