ANALISIS KINERJA GEMINI 1.5 PRO DALAM VALIDASI DAN DETEKSI EMAIL PHISHING

Abstract

Email phishing merupakan ancaman siber yang terus berkembang dan menuntut solusi deteksi yang lebih efektif. Penelitian ini menganalisis kinerja model bahasa besar Gemini 1.5 Pro dalam validasi dan deteksi email phishing. Sebuah dataset yang terdiri dari 200 email berlabel, dengan komposisi seimbang antara 100 email phishing dan 100 email sah, digunakan untuk mengevaluasi kemampuan Gemini 1.5 Pro. Hasil eksperimen menunjukkan performa yang menggembirakan, dengan akurasi mencapai 93% dalam membedakan email phishing dan email sah. Analisis lebih lanjut menggunakan metrik presisi, recall, dan F1-score mengungkap kemampuan model dalam meminimalisir false positive dan false negative. Laporan klasifikasi menunjukkan presisi sempurna (1.00) untuk kategori email phishing, meskipun recall-nya mencapai 0.79, sementara untuk email sah, recall sempurna (1.00) dicapai dengan presisi 0.90. Matriks konfusi memberikan gambaran detail tentang kinerja klasifikasi, dengan 52 email phishing terklasifikasi benar, 14 salah diklasifikasikan sebagai sah, dan seluruh 124 email sah terklasifikasi dengan benar. Temuan ini mengindikasikan potensi Gemini 1.5 Pro sebagai alat yang efektif dalam mendeteksi email phishing dan membuka peluang riset lebih lanjut untuk mengoptimalkan kinerjanya serta mengeksplorasi aplikasinya dalam sistem keamanan siber yang lebih komprehensif.

Kata kunci : Phishing, Ancaman Siber, Gemini 1.5 Pro, Email