Pengaturan Robot Txt Dan Tag Tajuk Robot Khusus Yang Aman Buat Blogger

 File Robots.txt terletak di direktori root situs sobat. Jadi di www.example.com, file robots.txt terletak di www.example.com/robots.txt. Pengaturan robots.txt dan tag tajuk robot khusus di Blogger bertujuan agar search engine (mesin pencari) mudah merayapi blog sobat, sehingga artikel lebih cepat terindex. Jika diatur dengan benar, maka blog akan menjadi SEO friendly. Sebaliknya, jika kurang tepat maka blog akan diabaikan oleh mesin pencari yang mengakibatkan artikel tidak muncul di hasil pencarian.

 Jadi bagaimana cara mengatur robot.txt agar tidak berbahaya ?. Jika sobat menggunakan layanan hosting situs seperti Wix atau Blogger, sobat mungkin tidak perlu membuat atau mengedit file robots.txt. Pada Blogger Settingan robots.txt default bawaan blogger inilah yang paling aman, tapi bukan berarti tidak efektif. Sobat tidak perlu mengaktifkan settingan robots.txt di blog sobat, karena untuk robots.txt default ini sudah aktif sejak sobat pertama kali membuat blog tersebut.

 Berikut pengaturan robot.txt default blogger

Keterangan :
*. User-agent: (Nama robot mesin pencari).
*. Mediapartners-Google (Penanda bahwa blog menggunakan AdSense).
*. Disallow: (Direktori atau halaman yang tidak di izinkan dirayapi robot mesin pencari).
*. User-agent: * (Semua robot mesin pencari).
*. Disallow: /search (Tidak mengijinkan url setelah /search seperti …./search/label dan … search/search?updated…), seperti https://blog-sobat.com/search/label/SEO, karena link tersebut tidak menuju ke satu halaman satu artikel penuh.
*. Allow: / (Direktori atau halaman Yang diijinkan untuk dirayapi robot mesin pencari).
*. Tanda (/) (adalah nama blog)
*. Sitemap: https://blog-sobat.blogspot.com/sitemap.xml (Sitemap/peta situs blog).

 Jika sobat tetap ingin melakukan customasi pada robots.txt, maka modifikasi robots.txt di bawah ini dapat sobat terapkan.

Customasi robots.txt di atas tidak mengijinkan robot mesin pencari untuk merayapi halaman About dan halaman Contact pada halaman statis. jika sobat ingin halaman tertentu tidak dirayapi robot mesin pencari, maka sobat tinggal menambahkan seperti cara di atas.

Cara menerapkan pengaturan robot.txt di blogger
Login ke akun sobat pilih bloh yang akan di custom robot.txtnya klik Setelan » Preferensi penelusuran » Perayap dan Pengindeksan » Robot.txt khusus » Edit

Selanjutnya masukkan pengaturan robot.txt yang aman seperti gambar di bawah

Untuk mengaktifkan tag tajuk robot khusus, masih di halaman yang sama Setelan » Preferensi penelusuran » Perayap dan Pengindeksan » Tag tajuk robot khusus » Edit

Selanjutnya terapkan pengaturannya sama seperti gambar di bawah ini

 Pengaturan di atas bertujuan untuk membolehkan robot mesin pencari merayapi halaman beranda, default untuk pos dan laman (semua isi blog), namun tidak membolehkan robot mesin pencari untuk mengindeks laman arsip dan penelusuran (model pencarian yang terjadi di dalam blog).

 Demikian artikel cara setting robot.txt dan customasi tag tajuk robot khusus di blog. Semoga artikel ini bermanfaat untuk sobat semua