PENGEMBANGAN CHATBOT BERBASIS PDF MENGGUNAKAN LOCAL RETRIEVAL-AUGMENTED GENERATION (RAG) DAN OLLAMA

Gerald Dustin Albert; Apriade Voutama

doi:10.23960/jitet.v13i2.6361

Gerald Dustin Albert
Universitas Singaperbangsa Karawang
Apriade Voutama
Universitas Singaperbangsa Karawang

DOI: https://doi.org/10.23960/jitet.v13i2.6361

Abstract Views (Last 12 Months)

3755 Abstract Views

3108 Downloads

Abstract

Chatbot berbasis PDF dengan pendekatan Local Retrieval-Augmented Generation (RAG) telah dikembangkan untuk meningkatkan aksesibilitas dan efisiensi pencarian informasi dalam dokumen. Penelitian ini bertujuan untuk membangun sistem chatbot yang dapat memahami dan menjawab pertanyaan pengguna berdasarkan isi dokumen PDF secara lokal tanpa bergantung pada layanan cloud. Implementasi sistem ini menggunakan ChromaDB sebagai vector database untuk penyimpanan embedding teks, model embedding nomic_embed_text untuk representasi vektor, serta Ollama sebagai LLM Manager yang mengelola proses inferensi. Metode penelitian yang digunakan adalah Rapid Application Development (RAD), yang terdiri dari tahapan perencanaan, desain, implementasi, dan pengujian. Proses ini memungkinkan pengembangan chatbot secara iteratif dengan penyesuaian cepat terhadap kebutuhan pengguna. Pengujian dilakukan menggunakan metrik ROUGE-L, yang menunjukkan skor sebesar 0,85, menandakan tingkat relevansi jawaban yang cukup tinggi. Meskipun sistem memiliki keunggulan dalam privasi data dan efisiensi pencarian, terdapat keterbatasan dalam dukungan bahasa serta waktu respon yang bervariasi tergantung spesifikasi perangkat. Hasil penelitian ini menunjukkan bahwa chatbot berbasis Local RAG dapat menjadi solusi alternatif yang efisien dalam pencarian informasi berbasis dokumen PDF. Pengembangan lebih lanjut diperlukan untuk meningkatkan kecepatan respon serta mendukung multi-bahasa guna memperluas cakupan penggunaannya.

Downloads

Download data is not yet available.

References

M. F. Allard and A. Voutama, “Rancang Bangun Sistem Informasi Reservasi Hotel ‘Hotel Hebat’ Berbasis Website,” J. Inform. dan Tek. Elektro Terap., vol. 12, no. 2, 2024, doi: 10.23960/jitet.v12i2.4224.

T. N. Muthmainnah and A. Voutama, “Volume 6 ; Nomor 2,” Juli, vol. 6, pp. 463–471, 2023, [Online]. Available: https://ojs.trigunadharma.ac.id/index.php/jsk/index

T. B. Brown et al., “Language models are few-shot learners -- special version,” Conf. Neural Inf. Process. Syst. (NeurIPS 2020), no. NeurIPS, pp. 1–25, 2020.

M. Raeini and D. Ph, “Privacy-Preserving Large Language Models ( PPLLMs ),” pp. 1–16.

A. Zürcher and A. Zürcher, “Developing a Chatbot for Internal Documents Author”.

H. Xu et al., “Large Language Models for Cyber Security: A Systematic Literature Review,” 2024, doi: 10.1145/3695988.

A. Vaswani et al., “Attention is all you need,” Adv. Neural Inf. Process. Syst., vol. 2017-Decem, no. Nips, pp. 5999–6009, 2017.

P. Lewis et al., “Retrieval-augmented generation for knowledge-intensive NLP tasks,” Adv. Neural Inf. Process. Syst., vol. 2020-Decem, no. NeurIPS, 2020.

“A Comprehensive Survey of Retrieval-Augmented Generation (RAG): Evolution, Current Landscape and Future Directions,” no. Ml.

T. Taipalus, “Vector database management systems: Fundamental concepts, use-cases, and current challenges,” Cogn. Syst. Res., vol. 85, no. January, p. 101216, 2024, doi: 10.1016/j.cogsys.2024.101216.

R. Peng, K. Liu, P. Yang, Z. Yuan, and S. Li, “Embedding-based Retrieval with LLM for Effective Agriculture Information Extracting from Unstructured Data,” no. 2018, p. 2627, 2023, [Online]. Available: http://arxiv.org/abs/2308.03107

Z. Nussbaum, J. X. Morris, B. Duderstadt, and A. Mulyar, “Nomic Embed: Training a Reproducible Long Context Text Embedder,” vol. 002, pp. 1–17, 2024, [Online]. Available: http://arxiv.org/abs/2402.01613

P. Lewis et al., “Retrieval-augmented generation for knowledge-intensive NLP tasks,” Adv. Neural Inf. Process. Syst., vol. 2020-Decem, 2020.

E. Haaralahti, “Utilization of local large language models for business applications,” 2024.

S. Mercer, S. Spillard, and D. P. Martin, “Brief analysis of DeepSeek R1 and its implications for Generative AI,” pp. 1–9, 2025, [Online]. Available: http://arxiv.org/abs/2502.02523

J. B. Gruber and M. Weber, “rollama: An R package for using generative large language models through Ollama,” no. April, 2024, doi: 10.48550/arXiv.2404.07654.

PENGEMBANGAN CHATBOT BERBASIS PDF MENGGUNAKAN LOCAL RETRIEVAL-AUGMENTED GENERATION (RAG) DAN OLLAMA

Abstract

Downloads

References

Most read articles by the same author(s)