Langsung dari Google:
Tag meta adalah cara terbaik bagi webmaster untuk memberikan informasi tentang situs mereka kepada mesin telusur. Tag meta dapat digunakan untuk memberikan informasi kepada semua jenis klien, dan setiap sistem hanya memproses tag meta yang mereka pahami dan mengabaikan sisanya.
Jika Anda ingin memblokir semua mesin telusur:
Mengapa?
Mungkin ini adalah URL yang agak pribadi di situs Anda, tetapi tidak dilindungi sedemikian rupa sehingga bot pencarian tidak dapat melihatnya. Seperti jika suatu halaman memerlukan login untuk melihatnya, itu tetap diblokir dari bot pencarian. Tetapi jika itu hanya URL yang dikaburkan, siapa yang tahu bagaimana bot pencarian menyebar, jadi Anda mungkin ingin mencegah pengindeksan.
Hasil pencarian adalah hal umum lainnya. Aneh jika hasil pencarian menjadi hasil pencarian, mungkin. Tema WordPress cenderung mencakup ini:
Saya mungkin mengubahnya sedikit dan memberi tahu bot, hei, Anda dapat mengikuti tautan di sini untuk membantu terus mengindeks situs, tetapi jangan mengindeks halaman ini secara khusus.
Lainnya
Mesin pencari cenderung menggunakan tag deskripsi untuk konten teks di samping :
Lihat halaman Google untuk halaman khusus Google lainnya seperti kemampuan menghentikan UI khusus Google seperti "kotak pencarian link situs" mereka.