Evaluasi Kinerja Gemini Pro dalam Interaksi Bahasa Alami dengan Data Jadwal Seminar dan Sidang Skripsi: Studi Perbandingan antara Teks Tidak Terstruktur dan Teks Terstruktur

Peneliti

Galih Hermawan, S.Kom, M.T Dr. Ednawati Rainarli, S.Si., M.Si.

Deskripsi/Abstrak

Penelitian ini bertujuan untuk mengevaluasi kinerja AI (Artificial Intelligence) bot Gemini Pro, yang didasarkan pada Large Language Model (LLM), dalam memproses interaksi bahasa alami terkait informasi jadwal seminar dan sidang skripsi. Data yang digunakan dalam penelitian ini mencakup dua jenis format: teks tidak terstruktur dari fail PDF, dan teks terstruktur yang menyerupai format CSV. Fokus utama penelitian ini adalah membandingkan kemampuan LLM dalam menangani kedua jenis data tersebut serta menganalisis dampaknya terhadap kualitas respons, waktu pemrosesan, dan akurasi. AI bot berbasis LLM yang mampu memahami dan merespons pertanyaan dari pengguna mengenai jadwal seminar dan sidang skripsi akan diuji pada kedua jenis data ini. Pengujian ini bertujuan untuk mengevaluasi bagaimana struktur data memengaruhi performa LLM, termasuk tantangan dalam mengekstraksi informasi dari teks tidak terstruktur dibandingkan dengan teks terstruktur. Hasil penelitian ini diharapkan memberikan wawasan mengenai tantangan dan peluang dalam menggunakan AI bot untuk memproses berbagai bentuk data, serta implikasinya terhadap pengembangan sistem serupa di masa mendatang.