SISTEM DETEKSI DAN PEMANTAUAN EMOSI PELANGGAN PADA LAYANAN KASIR BERBASIS PENGENALAN EKSPRESI WAJAH
Abstract
Pelayanan pelanggan pada antrean kasir sering kali dievaluasi menggunakan kuesioner konvensional yang subjektif dan mengganggu kenyamanan. Penelitian ini bertujuan mengembangkan sistem pemantauan emosi real-time berbasis pengenalan ekspresi wajah menggunakan algoritma YOLOv8n-cls yang terintegrasi dengan framework Laravel dan basis data MySQL. Pengumpulan data menggunakan dataset citra wajah bermasker dan tanpa masker yang diproses melalui augmentasi data dengan rasio distribusi 7:2:1. Model dilatih selama 50 epoch pada resolusi 224x224 piksel. Hasil pengujian menunjukkan model berhasil mencapai akurasi global sebesar 75,25%, dengan performa tertinggi pada emosi happy (precision 86,11% dan recall 80,55%). Keunggulan sistem ini terletak pada implementasi logika voting 10 detik yang terbukti efektif mereduksi noise data transien akibat fluktuasi ekspresi mikro. Secara keseluruhan, sistem ini memberikan implikasi praktis yang signifikan bagi manajemen ritel dalam menyediakan laporan indeks kepuasan pelanggan secara harian yang valid, otomatis, dan objektif.
Downloads
References
D. Prasetyawan and R. Gatra, “Model Convolutional Neural Network untuk Mengukur Kepuasan Pelanggan Berdasarkan Ekspresi Wajah,” J. Tek. Inform. Dan Sist. Inf., vol. 8, no. 3, Dec. 2022, doi: 10.28932/jutisi.v8i3.5493.
R. Saputra, Y. Yuhandri, and S. Arlis, “Sistem Deteksi Kepuasan Pelanggan dengan Teknik Pengelolaan Citra Menggunakan Convolutional Neural Networks,” J. Pustaka AI Pus. Akses Kaji. Teknol. Artif. Intell., vol. 5, no. 2, pp. 324–334, Aug. 2023, doi: 10.55382/jurnalpustakaai.v5i2.1219.
D. A. Diana, N. M. Anggadimas, and D. A. Sani, “PENERAPAN CONVOLUTIONAL NEURAL NETWORK UNTUK KLASIFIKASI EMOSI WAJAH PEKERJA,” JATI J. Mhs. Tek. Inform., vol. 9, no. 5, 2025, doi: https://doi.org/10.36040/jati.v9i5.14961.
S. Minaee, M. Minaei, and A. Abdolrashidi, “Deep-Emotion: Facial Expression Recognition Using Attentional Convolutional Network,” Sensors, vol. 21, no. 9, p. 3046, Apr. 2021, doi: 10.3390/s21093046.
A. Nurdiyansah and D. R. Rochmawati, “KLASIFIKASI EMOSI MENGGUNAKAN COMPUTER VISION DAN CONVOLUTIONAL NEURAL NETWORKS,” J. Teknol. Komput. Dan Inform. TEKOMIN, vol. 3, no. 2, 2025, doi: https://doi.org/10.59820/tekomin.v3i2.411.
Sutarti and Fariza Syaqialloh, “Klasifikasi dan Pengenalan Emosi dari Ekspresi Wajah Menggunakan CNN-BiLSTM dengan Teknik Data Augmentation,” Decode J. Pendidik. Teknol. Inf., vol. 5, no. 1, pp. 79–91, Mar. 2025, doi: 10.51454/decode.v5i1.1038.
Novi and Hendrick, “Implementasi Deep Learning untuk Deteksi Ekspresi Wajah Menggunakan Arsitektur CNN,” J. Penelit. Teknol. Inf. Dan Sains, vol. 3, no. 1, pp. 12–28, 2026, doi: https://doi.org/10.54066/jptis.v4i1.3856.
V. Patil, V. Chitale, V. Pawar, and M. Yannwar, “PERFORMANCE ANALYSIS OF EMOTION RECOGNITION USING YOLO,” ITEGAM-JETIA, vol. 12, no. 57, pp. 588–601, 2026, doi: https://doi.org/10.5935/jetia. v12i57.2880.
N. E. Rashidy, E. Allogmani, E. Hassan, K. Alnowaiser, H. Elmannai, and Z. H. Ali, “Toward real-time emotion recognition in fog computing-based systems: leveraging interpretable PCA_CNN, YOLO with self-attention mechanism,” Front. Comput. Sci., vol. 7, p. 1714394, Jan. 2026, doi: 10.3389/fcomp.2025.1714394.
M. A. Rahmadana, Sutami, I. S. Windiarti, A. Prabowo, and A. Ika Safitri, “IMPLEMENTASI CONVOLUTIONAL NEURAL NETWORK UNTUK KLASIFIKASI DETEKSI EMOSI WAJAH,” J. Sains Komput. Dan Teknol. Inf., vol. 8, no. 1, pp. 65–69, Nov. 2025, doi: https://orcid.org/0000-0002-9603-3397.
D. F. Mukarom and D. Gustina, “Ekspresi Wajah ke Emoji: Inovasi Deteksi Emosi Real-Time Dengan Machine Learning dan OpenCV untuk Memantau Kepuasan Pelanggan,” J. Ilm. Tek. Inform. TEKINFO, vol. 26, no. 1, pp. 21–28, 2025, doi: https://doi.org/10.37817/Tekinfo.v26i1.
Michelle, S. Birowo, and M. A. Maulana, “Deteksi Suasana Hati Karyawan Berbasis Deep Learning Menggunakan CNN,” Bit-Tech, vol. 8, no. 1, pp. 18–24, Aug. 2025, doi: 10.32877/bt.v8i1.1882.
H. Kao et al., “The Potential for High-Priority Care Based on Pain Through Facial Expression Detection with Patients Experiencing Chest Pain,” Diagnostics, vol. 15, no. 1, p. 17, Dec. 2024, doi: 10.3390/diagnostics15010017.
Sriani, Armansyah, and A. Nabila, “IMPLEMENTASI DEEP LEARNING UNTUK MENGIDENTIFIKASI UMUR MANUSIA MENGGUNAKAN CONVOLUTIONAL NEURAL NETWORK (CNN),” J. Inform. Dan Tek. Elektro Terap., vol. 12, no. 3, Aug. 2024, doi: 10.23960/jitet.v12i3.4457.
A. Kumar, S. Bhattacharjee, A. Kumar, and D. N. K. Jayakody, “Facial identity recognition using StyleGAN3 inversion and improved tiny YOLOv7 model,” Sci. Rep., vol. 15, no. 1, p. 9102, Mar. 2025, doi: 10.1038/s41598-025-93096-0.
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
