User-agent: *
Disallow: /
Kata "User-agent: *" artinya berlaku untuk semua robot dan kata "Disallow: /" memberi tahu robot untuk tidak mengunjungi beberapa halaman dari blog tersebut.
Ada dua pertimbangan penting yang harus kita pikirkan ketika menggunakan /robots.txt yaitu :
- Robot bisa saja mengabaikan / robots.txt sobat blogger.
- File / robots.txt adalah file yang tersedia untuk umum.
Memberikan pengecualian semua robot dari seluruh server
User-agent: *Membiarkan semua robot untuk melakukan Akses di blog tersebut :
Disallow: /
User-agent: *Memberikan pengecualian terhadap semua robot dari bagian Server
Disallow:
User-agent: *Memberikan pengecualian terhadap single robot
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
User-agent: BadBotMembiarkan single robot
Disallow: /
User-agent: GoogleMemberikan pengecualian terhadap semua file kecuali satu
Disallow:
User-agent: *
Disallow: /
User-agent: *Atau sobat blogger dapat secara eksplisit melarang semua halaman dianulir:
Disallow: /~joe/stuff/
User-agent: *
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html
Cara Setting Custom robots.txt di blog :
- Login di http://www.blogger.com
- Pada menu Drop Down, Klik Settings dan Search preferences
- Lihat bagian Crawlers and indexing
- Klik kata Edit pada Custom robots.txt ?
- Di bagian Enable custom robots.txt content?, kasih tanda pada kolom "yes"
- di bawah ini merupakan kode bawaan dari blogspot
- Kemudian silakan ganti dan Masukkan kode berikut di bawah ini pada kolom kosong Enable custom robots.txt content :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Sitemap: http://economoy.blogspot.com/feeds/posts/default?orderby=updated&max-results=999
- Klik Save Changes
Tambahan :
Jangan lupa ganti http://economoy.blogspot.com dengan URL blog sobat.
Kode yang saya gunakan untuk Custom robots.txt di atas merupakan kode yang biasa di terapkan di blog. Kalau sobat blogger ingin menggunakan kode yang berbeda dengan saya (economoy.blogspot.com), Sobat bisa gunakan salah satu dari kode yang sudah saya jabarkan sebelumnya.
Itu adalah tutorial singkat tentang cara Setting Custom robots.txt di blogger. Semoga informasi ini berguna buat sobat blogger. Untuk mendapatkan informasi yang lebih banyak tentang robots.txt, sobat blogger bisa mengunjungi halaman berikut : http://www.robotstxt.org/robotstxt.html