File robots.txt bisa diakses sama siapa aja. Padahal kan tujuannya cuma buat robot atau crawler. Bisa gak disembunyiin? Jadi misalnya orang masukin alamat website diikuti robots.txt biasanya kan kebuka tuh file teksnya. Nah ada gak caranya supaya si pengunjung ini bakal ke redirect. Misalmya ke homepage atau mungkin ke halaman error?
Tapi ini berlaku cuma buat pengunjung manusia aja bukan crawler robot.
buat apa di sembunyiin bos?
coba aja liat https://www.google.com/robots.txt">https://www.google.com/robots.txt