IDENTIFIKASI KONTEN VISUAL BUATAN AI DENGAN RESNET DAN FINE-GRAINED FEATURE EXTRACTION

Dzikri Maulana; Nur Salamah Azzahrah; Reiza Alithian Syach; Sopian Syauri; Malik Syafi’i; Chaerur Rozikin

doi:10.23960/jitet.v13i3S1.8056

Authors

Dzikri Maulana
Nur Salamah Azzahrah
Reiza Alithian Syach
Sopian Syauri
Malik Syafi’i
Chaerur Rozikin

DOI:

https://doi.org/10.23960/jitet.v13i3S1.8056

Abstract Views: 124 File Views: 78

Keywords:

Fine-grained feature extraction, AI-generated image, ResNet-50

Abstract

Perkembangan pesat kecerdasan buatan (AI), khususnya dalam generasi citra digital, menghasilkan gambar yang semakin realistis dan sulit dibedakan dari gambar asli. Kondisi ini berisiko menimbulkan disinformasi, manipulasi opini publik, dan penurunan kepercayaan masyarakat. Penelitian ini mengusulkan sistem deteksi gambar palsu menggunakan arsitektur ResNet-50 yang diperkuat dengan teknik ekstraksi fitur granular melalui integrasi Squeeze-and-Excitation (SE) Block. Dataset yang digunakan berasal dari Kaggle, berisi citra asli dan buatan AI, dengan tahapan pra-proses berupa resize, normalisasi, dan augmentasi. Hasil eksperimen menunjukkan bahwa model ResNet-50 yang dimodifikasi mencapai akurasi validasi 96,7% dengan penurunan loss yang konsisten, menunjukkan proses optimisasi yang stabil dan kemampuan generalisasi yang baik tanpa indikasi overfitting. Model terbukti mampu membedakan citra asli dan buatan AI secara efektif, meskipun masih terdapat tantangan pada kasus borderline ketika gambar sintetis tampil sangat realistis. Penelitian ini menegaskan bahwa ekstraksi fitur granular mampu meningkatkan sensitivitas model terhadap detail tekstur halus, sehingga dapat menjadi pendekatan handal untuk forensik digital dan verifikasi konten visual.

Downloads

Download data is not yet available.

References

A. A. Abu-Ein, O. M. Al-Hazaimeh, A. M. Dawood, and A. I. Swidan, “Analysis of the current state of deepfake techniques-creation and detection methods,” Indonesian Journal of Electrical Engineering and Computer Science, vol. 28, no. 3, pp. 1659–1667, Dec. 2022, doi: 10.11591/ijeecs.v28.i3.pp1659-1667.

W. J. Hadi, S. M. Kadhem, and A. R. Abbas, “A survey of deepfakes in terms of deep learning and multimedia forensics,” International Journal of Electrical and Computer Engineering, vol. 12, no. 4, pp. 4408–4414, Aug. 2022, doi: 10.11591/ijece.v12i4.pp4408-4414.

S. A. Gulo, A. A. Pertiwi, S. Putri, S. Nasution, and H. Syahputra, “DETEKSI DEEPFAKE DALAM CITRA MENGGUNAKAN CONVOLUTIONAL NEURAL NETWORK (CNN),” 2025.

D. Suharyanto, C. Lubis, ) Agus, and B. Dharmawan, “Jurnal Ilmu Komputer dan Sistem Informasi PENERAPAN CONVOLUTIONAL NEURAL NETWORK DAN CAPSULE NETWORKS DALAM MENDETEKSI DEEPFAKE.”

H. Kusniyati, “Komparasi Performa VGG19, ResNet50, DenseNet121 dan MobileNetV2 Dalam Mendeteksi Gambar Deepfake Performance Comparation of VGG19, ResNet50, DenseNet121 and MobileNetV2 in Detecting Deepfake Image,” 2024. [Online]. Available: www.jurnal.unimed.ac.id

M. Berrahal, M. Boukabous, M. Yandouzi, M. Grari, and I. Idrissi, “Investigating the effectiveness of deep learning approaches for deep fake detection,” Bulletin of Electrical Engineering and Informatics, vol. 12, no. 6, pp. 3853–3860, Dec. 2023, doi: 10.11591/eei.v12i6.6221.

M. Fauzan Novriandy, B. Rahmat, and A. Junaidi, “KLASIFIKASI CITRA PENYAKIT KANKER MULUT MENGGUNAKAN ARSITEKTUR RESNET50 OPTIMASI ADAM DAN SGD,” Jurnal Informatika dan Teknik Elektro Terapan, vol. 12, no. 3, Aug. 2024, doi: 10.23960/jitet.v12i3.4732.

S. A. Hakim et al., “KLASIFIKASI CITRA GENERASI ARTIFICIAL INTELLIGENCE MENGGUNAKAN METODE FINE TUNING PADA RESIDUAL NETWORK AI GENERATED IMAGE CLASSIFICATION USING FINE TUNING ON RESIDUAL NETWORK,” vol. 11, no. 3, pp. 655–666, 2024, doi: 10.25126/jtiik.2024118118.

X. Jin, “Analysis of Residual Block in the ResNet for Image Classification,” INSTICC, Jun. 2024, pp. 253–257. doi: 10.5220/0012800400003885.

Y. Wang, “Research on Image Classification Based on ResNet,” 2023, pp. 971–979. doi: 10.2991/978-94-6463-300-9_98.

T. Zhou et al., “Fine-grained image recognition method for digital media based on feature enhancement strategy,” Neural Comput Appl, vol. 36, no. 5, pp. 2323–2335, Feb. 2024, doi: 10.1007/s00521-023-08968-1.

J. Fu, H. Zheng, and T. Mei, “Look Closer to See Better: Recurrent Attention Convolutional Neural Network for Fine-Grained Image Recognition,” in 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, Jul. 2017, pp. 4476–4484. doi: 10.1109/CVPR.2017.476.

J. Ren, C. Li, Y. An, W. Zhang, and C. Sun, “Few-Shot Fine-Grained Image Classification: A Comprehensive Review,” AI, vol. 5, no. 1, pp. 405–425, Mar. 2024, doi: 10.3390/ai5010020.

J. Hu, L. Shen, and G. Sun, “Squeeze-and-Excitation Networks,” in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, IEEE, Jun. 2018, pp. 7132–7141. doi: 10.1109/CVPR.2018.00745.

Alessandra Sala, Manuela Jeyaraj, Toma Ijatomi, and Margarita Pitsiani, “AI vs. Human-Generated Images,” https://www.kaggle.com/datasets/alessandrasala79/ai-vs-human-generated-dataset. Accessed: Oct. 07, 2025. [Online]. Available: https://www.kaggle.com/datasets/alessandrasala79/ai-vs-human-generated-dataset