Pemeriksa Indeksabilitas

Periksa keterindeksan

Buka halaman di browser, tampilkan kode sumbernya (Ctrl+U, atau Option+Cmd+U di Mac), pilih semuanya, lalu tempel di sini. Bagian <head> saja sudah cukup. Pemeriksa ini tidak membuka halaman, jadi alamat web saja tidak bisa diperiksa.

Sebuah halaman bisa sangat bagus tetapi tetap tidak muncul di penelusuran karena satu tag bertuliskan “noindex” atau canonical-nya mengarah ke alamat lain. Tempel kode sumber HTML halaman dan, jika ada, alamat serta header respons HTTP-nya: pemeriksa ini membaca tag meta robots, header X-Robots-Tag, kode status, dan link canonical, lalu memberi tahu apakah ada yang menghalangi Google mengindeks halaman, mengapa, dan apa yang perlu diubah. Pemeriksa ini tidak membuka halaman dan tidak membaca robots.txt, jadi yang dinilai persis apa yang Anda tempel.

Cara memeriksa kemampuan indeksasi

  1. 1

    Tempel kode sumber HTML

    Buka halaman, tampilkan kode sumbernya (Ctrl+U, atau Option+Cmd+U di Mac), lalu tempel. Bagian head saja sudah cukup.

  2. 2

    Tambahkan URL dan header jika ada

    Dengan URL halaman, pemeriksa dapat membandingkan canonical. Header respons menambahkan header X-Robots-Tag dan status HTTP: salin dari tab Network di alat developer atau tampilkan dengan curl -I.

  3. 3

    Setiap sinyal dalam teks yang Anda tempel dibaca

    Tag meta robots dan googlebot dengan urutan atribut apa pun, X-Robots-Tag, kode status, dan canonical, sesuai aturan yang didokumentasikan Google.

  4. 4

    Hasil dan alasannya

    Diblokir, perlu perhatian, atau tidak ada sinyal pemblokir, lengkap dengan tag atau header yang menjadi dasar hasil.

Sinyal indeksabilitas dan urutan keutamannya

Google mengevaluasi sejumlah sinyal dalam urutan tertentu; satu sinyal negatif saja dalam rantai tersebut sudah cukup untuk menghambat proses pengindeksan.

Urutan evaluasi sinyal

  1. Status HTTP: Diperlukan kode 2xx. Kode 3xx mengikuti pola tertentu; kode 4xx dan 5xx menandai akhir proses indeksing.
  2. robots.txt: jika URL tersebut dilarang oleh Googlebot, halaman tersebut tidak akan pernah dikaji (dikraw), sehingga tag noindex pada halaman tersebut tidak akan terdeteksi sama sekali.
  3. header X-Robots-Tag: Nilai noindex dalam header respons HTTP menghambat proses pengindeksan.
  4. Meta robots: <meta name="robots" content="noindex"> menghambat proses pengindeksan.
  5. Canonical: jika sebuah tautan menunjuk ke alamat lain secara kanonik, berarti Google akan mengindeks URL tersebut sebagai tautan utama.
  6. Kualitas konten dan deteksi duplikat: Google dapat tidak melakukan indeksing meskipun tidak ada direktif eksplisit.

Alasan umum halaman tidak diindeks

Masalah Penyebab
Seluruh bagian tidak diindeks Aturan Disallow: dalam robots.txt
Halaman tertentu tidak diindeks noindex dalam meta robots
Diindeks dengan URL yang salah Nilai canonical berada di tempat lain
Terjebak di 5xx Kesalahan server menghentikan proses perayapan
Konflik Disallow + noindex Robots.txt memblokir perayapan, tag noindex tidak pernah dibaca
Kebocoran dari lingkungan uji ke produksi Sisa X-Robots-Tag: noindex dari lingkungan uji

Perangkap robots.txt + noindex

Jika Anda menambahkan sebuah URL ke dalam file robots.txt dengan tag Disallow:, Google tidak akan mengkrawl URL tersebut, sehingga tag noindex tidak akan terdeteksi sama sekali. URL tersebut tetap dapat muncul dalam hasil pencarian sebagai entri “kosong” yang hanya berisi URL tanpa deskripsi. Untuk menghapus URL dari indeks secara tepat, izinkan proses pengkrawlan dan gunakan tag noindex; blokir proses pengkrawlan hanya setelah Google telah menghapusnya dari indeks.

Cara mendapatkan HTML dan header

Pemeriksa ini tidak membuka halaman, jadi yang dinilai persis apa yang Anda tempel. Untuk HTML, buka halaman dan tampilkan kode sumbernya (Ctrl+U, atau Option+Cmd+U di Mac). Untuk header, buka alat developer (F12), masuk ke tab Network, muat ulang halaman, pilih permintaan pertama, lalu salin header responsnya; di terminal, curl -I https://example.com/halaman akan menampilkannya. Periksa halaman produksi, bukan salinan staging, dan ingat bahwa robots.txt adalah file terpisah: laporan robots.txt di Google Search Console menunjukkan cara Google membacanya.

Pertanyaan yang Sering Diajukan

Kondisi “boleh diindeks” hanya berarti tidak ada hambatan teknis; hal ini tidak menjamin terjadinya indeksasi. Keputusan Google juga didasarkan pada kualitas konten yang dinilai, adanya konten duplikat, serta anggaran pemindaian situs web. Gunakan fitur Inspeksi URL di Search Console untuk memperoleh jawaban pasti langsung dari Google.

Umumnya, hanya meta robots (atau X-Robots-Tag) yang merupakan solusi yang tepat. Robot.txt menghambat proses penginderaan, sedangkan meta robots menghalangi pencitraan halaman. Untuk halaman yang tidak ingin diindeks, izinkan penginderaan agar Google dapat membaca tag noindex Anda.

Tidak. Pemeriksa hanya membaca apa yang Anda tempel, jadi tidak pernah meminta halaman, pengalihannya, atau file robots.txt-nya. Jika header Anda menunjukkan 301 atau 302, periksa halaman yang dituju header Location, karena URL itulah yang dinilai Google. Untuk robots.txt, gunakan laporan robots.txt di Google Search Console.

Ya, tempel kode sumbernya dan pemeriksa akan membaca tag-tagnya. Perlu diingat, Google tidak dapat mengindeks halaman yang mengharuskan login, apa pun isi tag-nya. Jika halaman itu perlu muncul di penelusuran, terbitkan versi publiknya.

Alat Terkait

Alat ini tersedia dalam bahasa lain

Panduan dan contoh penggunaan