Ekstraktor N-gram

Apa yang diberitahukan oleh setiap panjang n-gram

Bagaimana alat ini memecah teks Anda

• Semua diubah menjadi huruf kecil, sehingga “The” dan “the” masuk ke baris yang sama.
• Kata adalah setiap rangkaian huruf, angka, atau apostrof. Karakter lain (tanda baca, simbol, ganti baris) dianggap pemisah dan dibuang.
• Batas kalimat tidak dipertahankan. Kata terakhir sebuah kalimat dan kata pertama kalimat berikutnya masih bisa membentuk satu n-gram, jadi perlakukan pasangan lintas kalimat dengan hati-hati. Jika hal itu penting, analisislah satu kalimat atau paragraf setiap kali.
• Stopword tetap dipertahankan. Tidak ada yang disaring untuk Anda; hapus baris-baris tersebut dari CSV jika Anda hanya menginginkan frasa semantis.
• Kata dikenali lewat spasi dan tanda baca. Artinya alat ini menghitung n-gram kata untuk bahasa yang memisahkan kata dengan spasi, seperti bahasa Indonesia. Bahasa Tionghoa, Jepang, dan Thai tidak memakai spasi antarkata: satu rangkaian tanpa spasi akan masuk sebagai satu kata. Segmentasikan teks itu lebih dulu (dengan tokenizer seperti jieba, MeCab, atau pemenggal kata Thai) agar kata-katanya dipisahkan spasi, baru tempelkan hasilnya di sini.

Kapan stopword sebaiknya dibuang

Stopword adalah kata fungsi berfrekuensi tinggi seperti “the”, “a”, “of”, dan “and” dalam bahasa Inggris, atau “yang”, “di”, “dan”, dan “untuk” dalam bahasa Indonesia. Membiarkannya akan membanjiri daftar bigram dengan pasangan tak berguna seperti “of the” dan “yang di”. Ekstraktor ini mempertahankannya, jadi hapus baris tersebut dari hasil ekspor bila Anda ingin frasa semantis saja, dan biarkan bila Anda meneliti gaya penulisan, atribusi kepengarangan klasik, atau model bahasa yang justru mengandalkan kata fungsi sebagai sinyal.

Kasus penggunaan SEO

Untuk artikel yang menargetkan “nginx config generator”, periksa:

• Bigram dan trigram target Anda muncul di 20 besar. Jika “nginx config” berada di peringkat 40, kemungkinan besar Anda kurang menggunakan istilah tersebut.
• Anda tidak menjejalkan kata kunci. Jika istilah itu menempati peringkat 1 dengan selisih yang sangat jauh, tulisan Anda akan terbaca seperti spam.
• Ada tetangga semantis. Bigram terkait seperti “server block”, “proxy pass”, dan “ssl certificate” meyakinkan mesin pencari bahwa topiknya benar-benar dibahas.

Penggunaan di NLP dan dunia akademik

• Model bahasa memakai frekuensi n-gram untuk penghalusan (smoothing) dan backoff (Kneser-Ney, Good-Turing).
• Studi atribusi kepengarangan membandingkan sebaran trigram antar calon penulis.
• Evaluasi terjemahan mesin (BLEU) menilai tumpang tindih n-gram antara terjemahan kandidat dan terjemahan rujukan.