CARA MENGGUNAKAN FILE ROBOT TXT

Cara Menggunakan File Robots.txt - Googlebot atau robot mesin telusur google akan merayapi situs Anda secara otomatis. Seluruh URL pada blog Anda akan dirayapi oleh robot mesin telusur tersebut. Namun, sebelum melakukan perayapan, googlebot akan memeriksa apakah ada file yang mencegah untuk merayapi halaman tertentu. File yang memberikan perintah untuk mencegah akses robot mesin telusur biasa disebut dengan file robots.txt. Dengan demikian, jika ada file robots.txt yang mencegah robot mesin telusur untuk merayapi halaman atau folder tertentu, maka robot mesin telusur tidak akan melakukan perayapan pada halaman yang dibatasi tersebut.

Oleh karena itu, jika Anda tidak ingin suatu halaman atau folder dirayapi oleh mesin telusur, maka Anda bisa memblokirnya menggunakan file robots.txt. Untuk mengaktifkan fungsi file robots.txt, Anda harus memiliki akses ke root direktori atau domain Anda. Namun, jika tidak memiliki akses untuk itu, Anda bisa menerapkan fungsi robot.txt melalui pemasangan meta tag robot. Pada artikel ini akan kami bahas mengenai cara menggunakan file robots.txt pada blogger.

Membuat File Robots.txt

Pada dasarnya, file robots.txt tersusun atas dua elemen utama, yaitu elemen User-agent : dan Disallow :. User-agent : merupakan elemen yang menjelaskan nama robot yang akan terpengaruh oleh file robot.txt yang Anda buat. Contoh, User-agent: Mediapartners-Google, elemen tersebut menjelaskan bahwa file robots.txt yang dibuat berlaku untuk robot Mediapartners-Google. Untuk mengatur robot mana yang akan dibatasi, Anda tinggal memasukkan nama robot dimaksud, sementara untuk membatasi semua robot, maka elemen User-agent: isi dengan tanda *.

Sedangkan elemen Disallow : akan menjelaskan mengenai url dari halaman atau folder yang akan diblokir. Contoh, Disallow: /search, elemen tersebut menjelaskan bahwa file robots.txt yang dibuat berlaku untuk memblokir semua URL yang terdapat unsur search, misalnya http://www.tanijogonegoro.com/search?updated-max=2013-10-12T17:36:00%2B07:00&max-results=10. Dua elemen tersebut merupakan entri tunggal dalam file robots.txt. Anda bisa membuat beberapa entri, atau memasukkan beberapa elemen User-agent maupun Disallow dalam satu file robots.txt.

Selain itu, file robots.txt juga bisa digunakan untuk mengirimkan peta situs atau sitemap. Beberapa mesin telusur dapat menerima sitemap dari robots.txt. Untuk membuat sitemap melalui file robot.txt tinggal tuliskan Sitemap: masukkan sitemap Anda.

Contoh Penggunaan File Robots.txt Pada Blog

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search

Pada entri pertama file robots.txt di atas, dijelaskan bahwa aturan berlaku untuk robot Mediapartners-Google yang diperbolehkan untuk mengindeks seluruh halaman yang ada. Pada entri di atas, menjelaskan bahwa Disallow :, yang berarti tidak ada URL yang diblokir.

Pada entri kedua file robots.txt di atas, dijelaskan bahw aturan berlaku untuk semua robot, dan halaman atau folder yang diblokir yang memiliki unsur search. Tanda / pada baris Disallow : menunjukkan URL utama, contoh http://www.tanijogonegoro.com/. Sementara, search menunjukkan salah satu unsur pada URL yang dibatasi.

Cara Menggunakan File Robots.txt Pada Blogger

Untuk menggunakan file robots.txt pada blog yang berplatform blogger, silahkan ikuti beberapa langkah di bawah ini:

1. Masuk ke akun blogger, klik Setting atau Setelan, lalu pilih Search Preferences atau Preferensi Penelusuran.
2. Pada bagian Crawlers and indexing atau Perayap dan pengindekan, klik edit pada Custom robots.txt atau robots.txt khusus.
3. Muncul pertanyaan Enable custom robots.txt content? atau Aktifkan konten robots.txt khusus?, pilih Yes.
4. Akan muncul kotak kecil, buat file robots.txt pada kotak tersebut.
   Lihat gambar di bawah ini.
   
5. Klik tombol Save change atau Simpan perubahan jika file robots.txt selesai di buat.

Mengatur File Robots.txt Agar SEO Friendly

Untuk membuat file robots.txt agar blog Anda SEO Friendly, ada beberapa kriteria yang sebaiknya diperhatikan. Beberpa kriteria tersebut antara lain:

1. Untuk menghindari duplikat konten, sebaiknya halaman label dan archive tidak dirayapi oleh mesin pencari, oleh karena itu, gunakan parameter tersebut saat membuat file robots.txt.
2. Halaman paginasi, misalnya halaman Next/Prev atau Newer/Older Post juga harus dibatasi agar tidak terindeks oleh mesin telusur.
3. Biarkan robot Google Adsense tetap mengindek seluruh halaman Anda, agar iklan yang ditampilkan lebih kontekstual.
4. Manfaatkan file robots.txt untuk mengirimkan peta situs atau sitemap.

Dengan parameter tersebut, maka file robots.txt yang dibuat adalah:

User-agent: Mediapartners-Google
Allow: /

User-agent: *
Disallow: /search
Disallow: /*?
Disallow: /*archive

Sitemap: http://www.tanijogonegoro.com/feeds/posts/default

Atau jika Anda menggunakan sitemap atom, agar file sitemap tersebut tidak diblokir robots.txt, maka Anda dapat membuatnya seperti di bawah ini:

User-agent: Mediapartners-Google
Allow: /

User-agent: *
Disallow: /search
Disallow: /*archive

Sitemap: http://www.tanijogonegoro.com/atom.xml?redirect=false&start-index=1&max-results=500

Ganti tulisan berwarna biru dengan URL blog Anda.

Demikian informasi terbaik yang dapat kami sajikan, semoga aritkel Cara Menggunakan File Robots.txt, bermanfaat bagi pembaca sekalian. Terima kasih atas kunjungannya, salam Tanijogonegoro.