PENGEMBANGAN SISTEM SPEECH EMOTION RECOGNITION BERBASIS DEEP LEARNING WAV2VEC2.0 UNTUK RESPONS EMOSIONAL KARAKTER KUCING INTERAKTIF DI GAME UNITY

Farrel Reyhan Putra; Hafidz Muhammad  Dzaky; Maheswara  Putratama; Mochammad Rabee Fathi Al  Fikri; Vitri  Tundjungsari

doi:10.23960/jitet.v14i1.9064

Authors

Farrel Reyhan Putra Universitas Esa Unggul
Hafidz Muhammad Dzaky Universitas Esa Unggul
Maheswara Putratama Universitas Esa Unggul
Mochammad Rabee Fathi Al Fikri Universitas Esa Unggul
Vitri Tundjungsari Universitas Esa Unggul

DOI:

https://doi.org/10.23960/jitet.v14i1.9064

Abstract Views: 82 File Views: 26

Keywords:

Artificial Intelligence, Speech Emotion Recognition, Wav2Vec2.0, Deep Learning, Game Unity

Abstract

Penelitian ini bertujuan untuk mengembangkan sistem Speech Emotion Recognition (SER) berbasis deep learning yang mampu mengenali emosi suara dan mengimplementasikannya pada sebuah game interaktif menggunakan Unity. Model SER dibangun dengan memanfaatkan arsitektur Wav2Vec 2.0 yang telah dipra-latih (pretrained) dan dilakukan fine-tuning menggunakan dataset CREMA-D dengan empat kelas emosi, yaitu angry, happy, neutral, dan sad. Data dibagi dengan rasio 80% untuk pelatihan dan 20% untuk validasi. Hasil pengujian menunjukkan bahwa model mampu mencapai nilai akurasi validasi maksimum sebesar 78–79% dengan weighted F1-score sebesar 0,79. Analisis confusion matrix memperlihatkan bahwa kelas angry memiliki tingkat pengenalan tertinggi, sementara kesalahan klasifikasi paling sering terjadi antara kelas neutral dan sad akibat kemiripan karakteristik prosodi. Model yang telah dilatih kemudian diekspor ke format ONNX dan berhasil diintegrasikan ke dalam game Unity untuk mendeteksi emosi suara pemain secara real-time. Hasil implementasi menunjukkan bahwa sistem mampu memberikan respons karakter yang adaptif berdasarkan emosi suara pengguna, sehingga meningkatkan interaksi dalam permainan.

Downloads

Download data is not yet available.

References

S. Madanian et al., “Speech emotion recognition using machine learning — A systematic review,” Intell. Syst. with Appl., vol. 20, no. September 2022, p. 200266, 2023, doi: 10.1016/j.iswa.2023.200266.

B. J. Abbaschian, D. Sierra-Sosa, and A. Elmaghraby, “Deep learning techniques for speech emotion recognition, from databases to models,” Sensors (Switzerland), vol. 21, no. 4, pp. 1–27, 2021, doi: 10.3390/s21041249.

Z. He, “Research Advanced in Speech Emotion Recognition based on Deep Learning,” Theor. Nat. Sci., vol. 86, no. 1, pp. 45–52, 2025, doi: 10.54254/2753-8818/2025.20333.

A. Agustani, H. Setiawan, and T. Tasmi, “Analisis Perilaku Pengguna Terhadap Akses Internet Di Pt Chiyoda International Indonesia Menggunakan Machine Learning,” J. Inform. dan Tek. Elektro Terap., vol. 13, no. 3, pp. 1807–1814, 2025, doi: 10.23960/jitet.v13i3.6594.

V. Tundjungsari, “Dasar Machine Learning_v.3.0_FULL ISBN,” 2024, Deepublish.

M. Ichsan, “Machine Learning Deteksi Penyakit Pada Kucing Menggunakan,” vol. 13, no. 3, 2000.

S. Sunitha, “An overview of deep learning,” Informatics Med. Unlocked, vol. 26, no. 5, pp. 300–303, 2021, doi: 10.1016/j.imu.2021.100723.

M. R. S. Alfarizi, M. Z. Al-farish, M. Taufiqurrahman, G. Ardiansah, and M. Elgar, “Use of Python as a Programming Language for Machine Learning and Deep Learning,” Sci. Work Students Belief Monoth. (KARIMAH TAUHID), vol. 2, no. 1, pp. 1–6, 2023.

S. SONI and D. NANDAN, “A Comprehensive Review of Machine Learning and Deep Learning Methods and Applications,” Int. J. Multidiscip. Res., vol. 7, no. 4, 2025, doi: 10.36948/ijfmr.2025.v07i04.56249.

S. Rahmadani, Cicih Sri Rahayu, Agus Salim, and Karno Nur Cahyo, “Deteksi Emosi Berdasarkan Wicara Menggunakan Deep Learning Model,” J. Inform. Teknol. dan Sains, vol. 4, no. 3, pp. 220–224, 2022, doi: 10.51401/jinteks.v4i3.1952.

P. K. S. Raja and P. D. D. Sanghani, “Speech Emotion Recognition Using Machine Learning,” Educ. Adm. Theory Pract., vol. 30, no. 6, pp. 118–124, 2024, doi: 10.53555/kuey.v30i6(s).5333.

D. Sriharsha, C. A. Reddy, P. K. Kumar, and R. S. Kumar, “Speech Emotion Recognition,” IET Conf. Proc., vol. 2021, no. 11, pp. 55–59, 2021, doi: 10.1049/icp.2022.0313.

D. Ferdiansyah, C. Sri, and K. Aditya, “Implementasi Automatic Speech Recognition Bacaan Al-Qur’an Menggunakan Metode Wav2Vec 2.0 dan OpenAI-Whisper,” vol. 11, no. 1, pp. 0–5, 2024.

L. Pepino, P. Riera, and L. Ferrer, “Emotion recognition from speech using wav2vec 2.0 embeddings,” Proc. Annu. Conf. Int. Speech Commun. Assoc. INTERSPEECH, vol. 1, pp. 551–555, 2021, doi: 10.21437/Interspeech.2021-703.

M. Kodali, S. R. Kadiri, and P. Alku, “Classification of Vocal Intensity Category from Speech using the Wav2vec2 and Whisper Embeddings,” Proc. Annu. Conf. Int. Speech Commun. Assoc. INTERSPEECH, vol. 2023-Augus, pp. 4134–4138, 2023, doi: 10.21437/Interspeech.2023-2038.

A. NOERCHOLIS, T. DWIANDINI, and F. S. MUKTI, “Optimasi Teknologi WAV2Vec 2.0 menggunakan Spectral Masking untuk meningkatkan Kualitas Transkripsi Teks Video bagi Tuna Rungu,” ELKOMIKA J. Tek. Energi Elektr. Tek. Telekomun. Tek. Elektron., vol. 12, no. 4, p. 877, 2024, doi: 10.26760/elkomika.v12i4.877.

N. H. Muttaqin and A. M. Widodo, “Evaluation of Transfer Learning-Based Convolutional Neural Networks (InceptionV3 and MobileNetV2) for Facial Skin-Type Classification,” J. Ilmu Komput. dan Inform., vol. 5, no. 1, pp. 11–32, 2025, doi: 10.54082/jiki.264.