Cara setting Robots.txt pada Blogspot

Aryan.ngrambe.net - Robots.txt berfungsi untuk mencegah web crawler bekerja sama dengan robot web lain untuk mengakses semua atau bagian dari sebuah website yang jika dilihat secara terbuka. Intinya sebuah file robots.txt pada sebuah situs web akan berfungsi sebagai permintaan agar robot tertentu mengabaikan file tertentu atau direktori ketika merangkak dalam sebuah situs.

Jika anda menggunakan Blog platform wordpress.org maka file robots.txt dapat di buat sendiri melalui file manager di cpanel, namun jika anda pengguna blogspot seperti saya maka ada langkah-langkah yang perlu sebelum mengaktifkan robots.txt (secara default tidak aktif)

Langkah-langkah setting Robots.txt untuk Blogger :

1. Login ke akun Blogger Anda
2. Klik Setelan > Preferensi Penelusuran

3. Pada Tab Perayapan dan Pengindeksan muncul menu robots.txt khusus pilih edit

Pengaturan Robot.txt Blogspot

4. Kemudian isi dengan perintah dibawah ini :

User-agent: Mediapartners-Google
Allow:/
User-agent: Googlebot
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search?*
User-agent: Twitterbot
Allow:/
User-agent: *
Disallow: /search
Disallow: /p/*
Disallow: /view/*
Allow: /
Sitemap: http://www.hanisah.com/feeds/post/default?orderby=UPDATED

5. Simpan

Nah, jika anda ingin mengaktifkan juga fitur Tag Header Robot Khusus maka dapat anda setting seperti berikut :

Pengaturan Tag Header Blogspot.

Untuk website dengan beberapa subdomain, subdomain masing-masing harus memiliki file robots.txt sendiri. Jika example.com memiliki file robots.txt tapi sub.example.com tidak, aturan yang akan berlaku untuk example.com tidak akan berlaku untuk a.example.com