Seberapa Mampu AI Chatbots Membantu Memerangi Kejahatan di Dunia Maya?

Suara.com - Pakar Kaspersky telah melakukan penelitian yang mempelajari kemampuan ChatGPT dalam mendeteksi tautan phishing.

Sementara ChatGPT sebelumnya telah mendemonstrasikan kemampuan untuk membuat email phishing dan menulis malware, keefektifannya dalam mendeteksi tautan berbahaya terbatas.

Studi tersebut mengungkapkan bahwa meskipun ChatGPT mengetahui banyak hal tentang phishing dan dapat menebak target serangan phishing, ChatGPT memiliki tingkat positif palsu yang tinggi hingga 64 persen.

ChatGPT, model bahasa bertenaga AI, telah menjadi topik diskusi di dunia keamanan siber karena potensinya untuk membuat email phishing dan kekhawatiran tentang dampaknya terhadap keamanan.

Pakar Kaspersky memutuskan untuk melakukan eksperimen guna mengungkapkan kemampuan ChatGPT dalam mendeteksi tautan phishing, serta pengetahuan keamanan siber yang dipelajarinya selama pelatihan.

Pakar perusahaan menguji gpt-3.5-turbo, model yang mendukung ChatGPT, pada lebih dari 2.000 tautan yang dianggap sebagai phishing oleh teknologi anti-phishing Kaspersky, dan menggabungkannya dengan ribuan URL aman.

Dalam percobaan, tingkat deteksi bervariasi tergantung pada perintah yang digunakan.

Eksperimen ini didasarkan pada dua pertanyaan yang diajukan kepada ChatGPT: Apakah tautan ini mengarah ke situs web phishing dan apakah tautan ini aman untuk dikunjungi?.

Hasilnya menunjukkan bahwa ChatGPT memiliki tingkat deteksi 87,2 persen dan tingkat positif palsu 23,2 persen untuk pertanyaan pertama.

Pertanyaan kedua, “Apakah tautan ini aman untuk dikunjungi?” memiliki tingkat deteksi yang lebih tinggi sebesar 93,8 persen, tetapi tingkat positif palsu yang lebih tinggi yaitu sebesar 64,3 persen.

Sementara tingkat deteksi sangat tinggi, tingkat positif palsu terlalu tinggi untuk segala jenis aplikasi produksi.

Pertanyaannya kemudian, bisakah ChatGPT membantu mengklasifikasikan dan menyelidiki serangan?

Karena penyerang biasanya menyebutkan merek populer di tautan mereka untuk mengelabui pengguna agar mempercayai bahwa URL tersebut asli dan milik perusahaan terkemuka, model bahasa AI menunjukkan hasil yang mengesankan dalam mengidentifikasi potensi target phishing.

ChatGPT mungkin memiliki persoalan serius ketika harus membuktikan poinnya pada keputusan apakah tautan tersebut berbahaya.

Beberapa penjelasan bersifat tepat dan berdasarkan fakta, sedangkan lainnya mengungkapkan keterbatasan model bahasa, termasuk halusinasi dan pernyataan yang salah.

“ChatGPT benar-benar menjanjikan dalam membantu kita para analis (manusia) dalam mendeteksi serangan phishing, tetapi mari jangan membiarkan itu mendahului kita karena model bahasa masih memiliki keterbatasan," kata Vladislav Tushkanov, Ilmuwan Data Utama di Kaspersky.

Meskipun teknologi tersebut mungkin setara dengan analis phishing, dia menambahkan, tingkat intern dalam hal penalaran mengenai serangan phishing dan mengekstraksi siapa saja yang termasuk target potensial, mereka cenderung masih menghasilkan pernyataan yang bersifat keliru.

"Meskipun mungkin belum merevolusi lanskap keamanan siber, mereka masih dapat menjadi alat yang bermanfaat bagi komunitas dan masyarakat,” pungkasnya dalam keterangan resminya, Senin (1/5/2023).