Cara sembunyiin robots.txt

4 posting / 0 new
Entri terakhir
Chandra
Avatar Chandra
Offline
Last seen: 4 tahun 7 bulan yang lalu
Joined: 11 Nov 2013 - 14:05
Points: 310
Cara sembunyiin robots.txt

File robots.txt bisa diakses sama siapa aja. Padahal kan tujuannya cuma buat robot atau crawler. Bisa gak disembunyiin? Jadi misalnya orang masukin alamat website diikuti robots.txt biasanya kan kebuka tuh file teksnya. Nah ada gak caranya supaya si pengunjung ini bakal ke redirect. Misalmya ke homepage atau mungkin ke halaman error?

Tapi ini berlaku cuma buat pengunjung manusia aja bukan crawler robot.

0
No votes yet
Andre
Avatar Andre
Offline
Last seen: 4 tahun 10 bulan yang lalu
Joined: 17 Sep 2013 - 16:00
Points: 229
buat apa di sembunyiin bos?

buat apa di sembunyiin bos?

coba aja liat https://www.google.com/robots.txt sam https://www.facebook.com/robots.txt. website sekelas mereka aja gak di sembunyiin.

5
Your rating: Nihil Average: 5 (1 vote)
Darman
Avatar Darman
Offline
Last seen: 3 tahun 1 bulan yang lalu
Joined: 14 Agu 2013 - 14:47
Points: 507
Daripada usaha buat

Daripada usaha buat nyembunyiin, mending gak usah dibikin aja sekalian. Google pernah bilang kalo jangan sembunyiin file robots atau nyembunyiin indormasi penting di file itu.

Kalo gak salah sih ada caranya, tapi lebih ribet dan gak efektif karena besar kemungkinan bot yang bagus malah ikutan keblok gara2 gak bisa baca.

0
No votes yet
Rudiansyah
Avatar Rudiansyah
Offline
Last seen: 4 tahun 8 bulan yang lalu
Joined: 2 Mar 2013 - 11:54
Points: 417
Darman wrote:

Darman wrote:

Daripada usaha buat nyembunyiin, mending gak usah dibikin aja sekalian. Google pernah bilang kalo jangan sembunyiin file robots atau nyembunyiin indormasi penting di file itu.

Kalo gak salah sih ada caranya, tapi lebih ribet dan gak efektif karena besar kemungkinan bot yang bagus malah ikutan keblok gara2 gak bisa baca.

kan ada user-agent. jangan dikasih bintang "*" karena in maksudnya untuk semua bot.

user-agent: * terus dibawahnya dikasih disallow. ini yang bisa bikin masalah. kalau mau, pakai "*" dan dibawahnya dicantumin direktori2 yang allow dan mana yang disallow. jadi jangan sampe isi robots.txt itu

User-agent: *
Disallow: /

ini artinya jangan ada bot yang boleh masuk. tapi harap maklum kalau ini khusus bot2 baik. bot2 jahat yang tujuannya content scrapping misalnya, gak patuh sama perintah robots dan harus di atur di htaccess.

info lebih lanjut bisa baca langsung dari google di https://support.google.com/webmasters/answer/6062608

0
No votes yet