Softonic

Pemeriksa Indeksabilitas

Langkah 1 / 3 Periksa keterindeksan
Berikutnya

Sebuah halaman bisa sepenuhnya valid namun tidak terindeks oleh mesin pencari karena hanya satu tag yang mencantumkan “noindex” atau file robots.txt menghalangi proses indeksasi oleh crawler. Masukkan URL tersebut; alat pemeriksa ini akan mengevaluasi semua faktor yang digunakan Google, seperti robots.txt, meta robots, header X-Robots-Tag, target kanonik, dan status HTTP, lalu memberitahu Anda apakah halaman tersebut dapat diindeks, alasan di baliknya, serta perubahan apa yang perlu dilakukan jika tidak dapat diindeks.

Cara memeriksa kemampuan indeksasi

  1. 1

    Masukkan URL

    Alat pemeriksa tersebut mengambil URL seperti yang dilakukan oleh Googlebot.

  2. 2

    Ini menyelesaikan pengalihan.

    Rantai dari 301/302 hop telah dilacak; URL akhir yang digunakan adalah yang telah dievaluasi.

  3. 3

    Sistem membaca setiap sinyal indeksabilitas.

    Aturan robots.txt, meta robots, X-Robots-Tag, canonical, kode status.

  4. 4

    Verdikt dan alasan

    Terkindeks / tidak terindeks / parsial, dengan sinyal tepat yang menyebabkan keputusan tersebut.

Sinyal indeksabilitas dan urutan keutamannya

Google mengevaluasi sejumlah sinyal dalam urutan tertentu; satu sinyal negatif saja dalam rantai tersebut sudah cukup untuk menghambat proses pengindeksan.

Urutan evaluasi sinyal

  1. Status HTTP: Diperlukan kode 2xx. Kode 3xx mengikuti pola tertentu; kode 4xx dan 5xx menandai akhir proses indeksing.
  2. robots.txt: jika URL tersebut dilarang oleh Googlebot, halaman tersebut tidak akan pernah dikaji (dikraw), sehingga tag noindex pada halaman tersebut tidak akan terdeteksi sama sekali.
  3. header X-Robots-Tag: Nilai noindex dalam header respons HTTP menghambat proses pengindeksan.
  4. Meta robots: <meta name="robots" content="noindex"> menghambat proses pengindeksan.
  5. Canonical: jika sebuah tautan menunjuk ke alamat lain secara kanonik, berarti Google akan mengindeks URL tersebut sebagai tautan utama.
  6. Kualitas konten dan deteksi duplikat: Google dapat tidak melakukan indeksing meskipun tidak ada direktif eksplisit.

Kesalahan umum yang terdeteksi

Masalah Penyebab
Seluruh bagian tidak diindeks Aturan Disallow: dalam robots.txt
Halaman tertentu tidak diindeks noindex dalam meta robots
Diindeks dengan URL yang salah Nilai canonical berada di tempat lain
Terjebak di 5xx Kesalahan server menghentikan proses perayapan
Konflik Disallow + noindex Robots.txt memblokir perayapan, tag noindex tidak pernah dibaca
Kebocoran dari lingkungan uji ke produksi Sisa X-Robots-Tag: noindex dari lingkungan uji

Perangkap robots.txt + noindex

Jika Anda menambahkan sebuah URL ke dalam file robots.txt dengan tag Disallow:, Google tidak akan mengkrawl URL tersebut, sehingga tag noindex tidak akan terdeteksi sama sekali. URL tersebut tetap dapat muncul dalam hasil pencarian sebagai entri “kosong” yang hanya berisi URL tanpa deskripsi. Untuk menghapus URL dari indeks secara tepat, izinkan proses pengkrawlan dan gunakan tag noindex; blokir proses pengkrawlan hanya setelah Google telah menghapusnya dari indeks.

Pengujian dari perspektif Googlebot

Perangkat lunak pemeriksa mengirimkan data kepada agen pengguna Googlebot agar semua trik di sisi server yang hanya dapat dilihat oleh crawler terdeteksi dengan jelas. Selalu verifikasi URL pada lingkungan produksi, bukan pada lingkungan uji coba.

Pertanyaan yang Sering Diajukan

Kondisi “boleh diindeks” hanya berarti tidak ada hambatan teknis; hal ini tidak menjamin terjadinya indeksasi. Keputusan Google juga didasarkan pada kualitas konten yang dinilai, adanya konten duplikat, serta anggaran pemindaian situs web. Gunakan fitur Inspeksi URL di Search Console untuk memperoleh jawaban pasti langsung dari Google.

Umumnya, hanya meta robots (atau X-Robots-Tag) yang merupakan solusi yang tepat. Robot.txt menghambat proses penginderaan, sedangkan meta robots menghalangi pencitraan halaman. Untuk halaman yang tidak ingin diindeks, izinkan penginderaan agar Google dapat membaca tag noindex Anda.

Google mengevaluasi tujuan akhir dari rantai redireksi. Redireksi tipe 301 dari A ke B berarti Google pada akhirnya akan mengindeks situs B, bukan situs A. Alat pemeriksa mensimulasikan proses ini dengan menyelesaikan semua redireksi terlebih dahulu sebelum melakukan evaluasi.

Tidak. Halaman yang memerlukan autentikasi secara definisi tidak dapat diindeks. Jika Anda membutuhkan dukungan SEO untuk halaman tersebut, pertimbangkan menggunakan versi pratinjau publik.

Alat Terkait

Pemeriksa Panjang Deskripsi Meta

Ukur meta deskripsi dalam karakter dan perkiraan piksel, bandingkan acuan editorial, lalu tinjau contoh tata letak desktop dan seluler.

Simulator SERP Google

Periksa snippet perkiraan bergaya Google dengan batas karakter untuk seluler dan desktop. Draf Anda tetap di sesi browser ini.

Validator Sitemap XML

Periksa XML sitemap di browser untuk menemukan error parsing, lokasi yang hilang, URL duplikat, dan nilai kolom umum.

Pemeriksa header keamanan HTTP

Tempel header respons HTTP dan tinjau HSTS, CSP, clickjacking, MIME, referrer, serta kebijakan lintas origin secara lokal.

Pemeriksa URL Canonical

Tempelkan HTML sebuah halaman dan periksa tag rel=canonical-nya: apakah ada, apakah URL absolut yang valid, apakah cocok dengan URL halaman?

Pemeriksa Tautan Rusak

Tempel URL sebuah halaman dan periksa tautan keluar untuk menemukan 404 dan galat HTTP lainnya, lengkap dengan kode status tiap tautan.

Alat ini tersedia dalam bahasa lain