PENGEMBANGAN CHATBOT BERBASIS PDF MENGGUNAKAN LOCAL RETRIEVAL-AUGMENTED GENERATION (RAG) DAN OLLAMA
DOI:
https://doi.org/10.23960/jitet.v13i2.6361Abstract Views: 1082 File Views: 888 File Views: 0 File Views: 0
Abstract
Chatbot berbasis PDF dengan pendekatan Local Retrieval-Augmented Generation (RAG) telah dikembangkan untuk meningkatkan aksesibilitas dan efisiensi pencarian informasi dalam dokumen. Penelitian ini bertujuan untuk membangun sistem chatbot yang dapat memahami dan menjawab pertanyaan pengguna berdasarkan isi dokumen PDF secara lokal tanpa bergantung pada layanan cloud. Implementasi sistem ini menggunakan ChromaDB sebagai vector database untuk penyimpanan embedding teks, model embedding nomic_embed_text untuk representasi vektor, serta Ollama sebagai LLM Manager yang mengelola proses inferensi. Metode penelitian yang digunakan adalah Rapid Application Development (RAD), yang terdiri dari tahapan perencanaan, desain, implementasi, dan pengujian. Proses ini memungkinkan pengembangan chatbot secara iteratif dengan penyesuaian cepat terhadap kebutuhan pengguna. Pengujian dilakukan menggunakan metrik ROUGE-L, yang menunjukkan skor sebesar 0,85, menandakan tingkat relevansi jawaban yang cukup tinggi. Meskipun sistem memiliki keunggulan dalam privasi data dan efisiensi pencarian, terdapat keterbatasan dalam dukungan bahasa serta waktu respon yang bervariasi tergantung spesifikasi perangkat. Hasil penelitian ini menunjukkan bahwa chatbot berbasis Local RAG dapat menjadi solusi alternatif yang efisien dalam pencarian informasi berbasis dokumen PDF. Pengembangan lebih lanjut diperlukan untuk meningkatkan kecepatan respon serta mendukung multi-bahasa guna memperluas cakupan penggunaannya.Downloads
References
M. F. Allard and A. Voutama, “Rancang Bangun Sistem Informasi Reservasi Hotel ‘Hotel Hebat’ Berbasis Website,” J. Inform. dan Tek. Elektro Terap., vol. 12, no. 2, 2024, doi: 10.23960/jitet.v12i2.4224.
T. N. Muthmainnah and A. Voutama, “Volume 6 ; Nomor 2,” Juli, vol. 6, pp. 463–471, 2023, [Online]. Available: https://ojs.trigunadharma.ac.id/index.php/jsk/index
T. B. Brown et al., “Language models are few-shot learners -- special version,” Conf. Neural Inf. Process. Syst. (NeurIPS 2020), no. NeurIPS, pp. 1–25, 2020.
M. Raeini and D. Ph, “Privacy-Preserving Large Language Models ( PPLLMs ),” pp. 1–16.
A. Zürcher and A. Zürcher, “Developing a Chatbot for Internal Documents Author”.
H. Xu et al., “Large Language Models for Cyber Security: A Systematic Literature Review,” 2024, doi: 10.1145/3695988.
A. Vaswani et al., “Attention is all you need,” Adv. Neural Inf. Process. Syst., vol. 2017-Decem, no. Nips, pp. 5999–6009, 2017.
P. Lewis et al., “Retrieval-augmented generation for knowledge-intensive NLP tasks,” Adv. Neural Inf. Process. Syst., vol. 2020-Decem, no. NeurIPS, 2020.
“A Comprehensive Survey of Retrieval-Augmented Generation (RAG): Evolution, Current Landscape and Future Directions,” no. Ml.
T. Taipalus, “Vector database management systems: Fundamental concepts, use-cases, and current challenges,” Cogn. Syst. Res., vol. 85, no. January, p. 101216, 2024, doi: 10.1016/j.cogsys.2024.101216.
R. Peng, K. Liu, P. Yang, Z. Yuan, and S. Li, “Embedding-based Retrieval with LLM for Effective Agriculture Information Extracting from Unstructured Data,” no. 2018, p. 2627, 2023, [Online]. Available: http://arxiv.org/abs/2308.03107
Z. Nussbaum, J. X. Morris, B. Duderstadt, and A. Mulyar, “Nomic Embed: Training a Reproducible Long Context Text Embedder,” vol. 002, pp. 1–17, 2024, [Online]. Available: http://arxiv.org/abs/2402.01613
P. Lewis et al., “Retrieval-augmented generation for knowledge-intensive NLP tasks,” Adv. Neural Inf. Process. Syst., vol. 2020-Decem, 2020.
E. Haaralahti, “Utilization of local large language models for business applications,” 2024.
S. Mercer, S. Spillard, and D. P. Martin, “Brief analysis of DeepSeek R1 and its implications for Generative AI,” pp. 1–9, 2025, [Online]. Available: http://arxiv.org/abs/2502.02523
J. B. Gruber and M. Weber, “rollama: An R package for using generative large language models through Ollama,” no. April, 2024, doi: 10.48550/arXiv.2404.07654.
