FINE-TUNING MODEL BAHASA BESAR OPEN-SOURCE UNTUK LITERASI DAN KREATIVITAS INDONESIA: EVALUASI KOMPARATIF

Abstract

Adaptasi Model Bahasa Besar (LLM) ke dalam konteks budaya non-Inggris, terutama dalam bidang yang sarat nuansa seperti literasi dan kreativitas, masih menjadi tantangan yang signifikan. Penelitian ini mengatasi kesenjangan tersebut dengan mengembangkan dan mengevaluasi ‘Cakrakarsa’, sebuah chatbot AI yang dibuat melalui penyempurnaan model open-source Mistral-7B-Instruct. Model ini diadaptasi menggunakan teknik QLoRA pada dataset yang dikurasi khusus berisi 11.330 entri yang mencakup cerita rakyat, sastra, dan puisi Indonesia. Kinerja diukur terhadap model dasar melalui kerangka evaluasi internal yang komprehensif, yang menggabungkan metrik kuantitatif (Perplexity, Evaluation Loss) dan penilaian kualitatif melalui metode LLM-as-a-Judge pada 30 prompt khusus. Model yang telah disesuaikan menunjukkan keunggulan yang signifikan, dengan pengurangan sebesar 67,11% pada Perplexity dan 61,52% pada Evaluation Loss. Secara kualitatif, model inimenang dalam 81,11% perbandingan langsung, menunjukkan peningkatan yangmencolok dalam pemahaman konteks budaya, koherensi, dan kreativitas. Temuan kritis mengungkapkan adanyapertukaran antara spesialisasi domain yang mendalam dan pengetahuan umum yang luas. Penelitian inimenyumbangkan chatbot yang fungsional dan sadar budaya, serta metodologi yang kokoh dan dapat direplikasi untuk menyesuaikan LLM dengan domain budaya spesifik dengan sumber daya komputasi yang terbatas.

The adaptation of Large Language Models (LLMs) to non-English cultural contexts, particularly in nuanced domains like literacy and creativity, remains a significant challenge. This study addresses this gap by developing and evaluating 'Cakrakarsa', an AI chatbot created by fine-tuning the open-source Mistral-7B-Instruct model. The model was adapted using the QLoRA technique on a custom-curated dataset of 11,330 entries comprising Indonesian folklore, literature, and poetry. Performance was measured against the baseline model through a comprehensive internal evaluation framework, combining quantitative metrics (Perplexity, Evaluation Loss) and qualitative assessment via the LLM-as-a-Judge method on 30 dedicated prompts. The fine-tuned model demonstrated significant superiority, achieving a 67.11% reduction in Perplexity and a 61.52% reduction in Evaluation Loss. Qualitatively, it won 81.11% of head-to-head comparisons, showing marked improvements in cultural context understanding, coherence, and creativity. A critical finding reveals a trade-off between deep domain specialization and broad general knowledge. This research contributes a functional, culturally-aware chatbot and a robust, replicable methodology for adapting LLMs to specific cultural domains with limited computational resources.