Kenapa email spam bisa langsung masuk folder Spam?
Dari daftar kata terlarang sampai mesin yang belajar dari laporan jutaan orang. Begini filter spam bekerja, lengkap dengan sumbernya dari tim Google sendiri.
Setiap hari ada banyak sekali email sampah yang dikirim ke kotak masuk orang. Hampir semuanya tidak pernah kamu lihat, karena sudah disaring sebelum sampai. Video di atas menceritakan bagaimana filter spam berkembang, dari daftar kata sampai mesin yang belajar dari laporan pengguna.
Empat cara menyaring spam
- Daftar kata (1990-an). Email yang mengandung kata tertentu, misalnya "gratis" atau "hadiah", langsung dibuang. Gampang diakali: spammer tinggal menulis "GR4TIS". Email biasa yang kebetulan memakai kata itu malah ikut terbuang.
- Daftar hitam pengirim (1997). Yang diblokir bukan lagi isinya, tapi pengirimnya. Alamat yang ketahuan mengirim spam masuk daftar hitam. Masalahnya, spammer bisa ganti alamat setiap hari.
- Filter Bayes (2002). Semua kata dalam email ditimbang: seberapa sering kata itu muncul di spam, dan seberapa sering di email biasa. Hasilnya digabung jadi satu angka, yaitu kemungkinan email itu spam. Spammer membalas dengan menaruh tulisannya di dalam gambar dan menambahkan kata-kata biasa supaya timbangannya ketipu.
- Reputasi pengirim dan laporan pengguna. Gmail menilai email dari siapa pengirimnya (domain dan alamat IP). Setiap kali ada orang yang menekan "Laporkan spam" atau "Bukan spam", penilaian itu diperbarui. Laporan dari jutaan orang setiap hari membuat sistemnya terus belajar.
Sumbernya
Bagian Gmail di video ini berdasarkan dua tulisan dari tim Google sendiri:
- Bradley Taylor, "Sender Reputation in a Large Webmail Service", CEAS 2006. Menjelaskan bahwa Gmail menyaring email berdasarkan siapa pengirimnya, dan bahwa tombol "Report Spam" dan "Not Spam" ikut memperbarui reputasi pengirim.
- Bradley Taylor, Dan Fingal dan Douglas Aberdeen, "The War Against Spam: A report from the front line", workshop NIPS 2007. Menjelaskan bahwa sistem anti-spam Google menggabungkan aturan tetap, aturan yang dipelajari mesin, pengelompokan, dan sistem reputasi.
Tiga cara pertama adalah sejarah filter spam secara umum, bukan cara kerja Gmail. Filter Bayes dipopulerkan oleh Paul Graham lewat esai A Plan for Spam (2002).
Mau bisa membuat model seperti ini?
Filter Bayes adalah salah satu model klasifikasi. Cara membuat dan menguji model klasifikasi dibahas sambil praktik di kursus Machine Learning Part 1.