File robots.txt bisa diakses sama siapa aja. Padahal kan tujuannya cuma buat robot atau crawler. Bisa gak disembunyiin? Jadi misalnya orang masukin alamat website diikuti robots.txt biasanya kan kebuka tuh file teksnya. Nah ada gak caranya supaya si pengunjung ini bakal ke redirect. Misalmya ke homepage atau mungkin ke halaman error?
Tapi ini berlaku cuma buat pengunjung manusia aja bukan crawler robot.
Daripada usaha buat nyembunyiin, mending gak usah dibikin aja sekalian. Google pernah bilang kalo jangan sembunyiin file robots atau nyembunyiin indormasi penting di file itu.
Kalo gak salah sih ada caranya, tapi lebih ribet dan gak efektif karena besar kemungkinan bot yang bagus malah ikutan keblok gara2 gak bisa baca.
Daripada usaha buat nyembunyiin, mending gak usah dibikin aja sekalian. Google pernah bilang kalo jangan sembunyiin file robots atau nyembunyiin indormasi penting di file itu.
Kalo gak salah sih ada caranya, tapi lebih ribet dan gak efektif karena besar kemungkinan bot yang bagus malah ikutan keblok gara2 gak bisa baca.
kan ada user-agent. jangan dikasih bintang "*" karena in maksudnya untuk semua bot.
user-agent: * terus dibawahnya dikasih disallow. ini yang bisa bikin masalah. kalau mau, pakai "*" dan dibawahnya dicantumin direktori2 yang allow dan mana yang disallow. jadi jangan sampe isi robots.txt itu
User-agent: *
Disallow: /
ini artinya jangan ada bot yang boleh masuk. tapi harap maklum kalau ini khusus bot2 baik. bot2 jahat yang tujuannya content scrapping misalnya, gak patuh sama perintah robots dan harus di atur di htaccess.
info lebih lanjut bisa baca langsung dari google di
buat apa di sembunyiin bos?
coba aja liat https://www.google.com/robots.txt">https://www.google.com/robots.txt