Sebelum kita berbicara tentang robots.txt, yang perlu dan harus sobat
tahu adalah tentang Protokol Robots Exclusion. Mungkin istilah ini
jarang atau bahkan tumben sobat blogger dengar selama sobat blogger
menekuni dunia website atau blog. Oleh karena itu, saya uraikan sedikit
tentang Protokol Robots Exclusion.
Pemilik situs Web atau blog menggunakan file / robots.txt untuk
memberikan instruksi tentang situs/blog mereka untuk robot web, inilah
yang disebut Protokol Robots Exclusion .
Protokol Robots Exclusion bekerja dengan cara seperti ini : Ketika
sebuah robot akan mengunjungi URL dari sebuah blog, sebagai contoh
http://lenterablogger.blogspot.com/welcome.html. Sebelum melakukan
kunjungan tersebut, Robots Exclusion Protocol akan memeriksa terlebih
dahulu http://economoy.blogspot.com/robots.txt, dan menemukan
User-agent: *
Disallow: /
Kata "User-agent: *" artinya berlaku untuk semua robot dan kata
"Disallow: /" memberi tahu robot untuk tidak mengunjungi beberapa
halaman dari blog tersebut.
Ada dua pertimbangan penting yang harus kita pikirkan ketika menggunakan /robots.txt yaitu :
- Robot bisa saja mengabaikan / robots.txt sobat blogger.
- File / robots.txt adalah file yang tersedia untuk umum.
Berikut ini contoh robots.txt beserta fungsinya masing-masing :
Memberikan pengecualian semua robot dari seluruh server
User-agent: *
Disallow: /
Membiarkan semua robot untuk melakukan Akses di blog tersebut :
User-agent: *
Disallow:
Memberikan pengecualian terhadap semua robot dari bagian Server
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
Memberikan pengecualian terhadap single robot
User-agent: BadBot
Disallow: /
Membiarkan single robot
User-agent: Google
Disallow:
User-agent: *
Disallow: /
Memberikan pengecualian terhadap semua file kecuali satu
User-agent: *
Disallow: /~joe/stuff/
Atau sobat blogger dapat secara eksplisit melarang semua halaman dianulir:
User-agent: *
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html
Apakah sobat blogger sudah bisa memahami penjelasan di atas?
Mungkin sobat blogger malah tambah pusing. Jadi, lebih baik saya
jelaskan langsung tentang cara menambahkan Custom robots.txt pada blog
yang bernaung di bawah Paltform blogger.com
Cara Setting Custom robots.txt di blog :
- Lihat bagian Crawlers and indexing
- Klik kata Edit pada Custom robots.txt ?
- Di bagian Enable custom robots.txt content?, kasih tanda pada kolom "yes"
- di bawah ini merupakan kode bawaan dari blogspot
- Kemudian silakan ganti dan Masukkan kode berikut di bawah ini pada kolom kosong Enable custom robots.txt content :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Sitemap: http://economoy.blogspot.com/feeds/posts/default?orderby=updated&max-results=999
Tambahan :
Jangan lupa ganti
http://economoy.blogspot.com dengan URL blog sobat.
Kode yang saya gunakan untuk Custom robots.txt di atas merupakan kode
yang biasa di terapkan di blog. Kalau sobat blogger ingin menggunakan
kode yang berbeda dengan saya (
economoy.blogspot.com), Sobat bisa gunakan
salah satu dari kode yang sudah saya jabarkan sebelumnya.
Itu adalah tutorial singkat tentang cara Setting Custom robots.txt di
blogger. Semoga informasi ini berguna buat sobat blogger. Untuk
mendapatkan informasi yang lebih banyak tentang robots.txt, sobat
blogger bisa mengunjungi halaman berikut :
http://www.robotstxt.org/robotstxt.html