Siang rekan2 sekalian. Buat yang paham .HTACCESS dan ROBOTS.TXT mohon pencerahannya dong.
Yang ane tahu, itu dua file bisa berefek banyak ke bagaimana website kita diakses baik sama visitor manusia dan visitor mesin pencari. Bisa tolong dijelasin gunanya masing2 dan bagaimana caranya webmasters bisa ngontrol websitenya dari file2 ini.
Yang ane tahu, .HTACCESS itu adalah file konfigurasi untuk server dimana website berada. Dengan file ini, webmasters bisa menambah atau mengurangi fitur dari server sehingga mempengaruhi fungsi dan jalannya website. Sementara itu ROBOTS.TXT itu adalah file teks dimana webmasters bisa ngontrol search engine apa yang bisa index apa.
Bisa kasih pencerahan bagaimana secara spesifik cara mereka bekerja?
Makasih sebelumnya.
htaccess sama robots itu ada di folder utama (root). htaccess buat server, robots buat search engine.
http://www.eyerys.com/articles/using-htaccess-file-manage-and-configuring-your-web-server[/embed]
http://www.eyerys.com/articles/understanding-robots-file[/embed]
htaccess itu file yang ngasih perintah ke server untuk ngelakuin sesuatu yang mungkin beda dari konfigurasi global server itu. jadi misalnya, ada folder2 tertentu di server yang mau diubah cara kerjanya, htaccess ini berperan buat ngasih perintah itu disini. biasanya file ini ada di root sama di folder2 tertentu.
robots itu file yang beda dan cara kerjanya juga gak sama. dia lebih kearah eksternal sebagai informasi ke mesin pencari, atau crawler2 lainnya supaya index tempat2 tertentu, dan jangan index di tempat2 lain. contohnya website lagi dalam pengembangan kan gak lucu dan gak profesional kan kalo website belum jadi tapi isinya udah diindex? nah biasanya website yang masih dalam proses ini punya file robots yang ngasih perintah jangan dulu index. abis website itu selesai, baru deh perintah itu diapus
robots sama sitemap gunanya mirip dong? sama2 buat mesin pencari kan?
Sitemap ibarat peta. Robots itu perintah
kalo gak punya file2 itu gimana? gpp kan?
memang gpp gak punya. file robot itu sunnah. file htaccess itu makruh :)
dikira sholat ya? hahaha
hahahaha... cari pahala aja deh kalo gitu. thanks bos
awas tergoda sama yang haram. hahahaha
ceritanya kan biar selamat dunia akhirat. hahahaha
gak perlu bikin file htaccess kalo settingannya di server udah cukup. bikin file itu hanya kalo memang dibutuhin buat direktori2 tertentu aja. kalo robots ya harus terutama kalo lagi design website baru atau mau block akses search engine dari halaman2 tertentu.
ini ada penjelasannya langsung di http://www.robotstxt.org/. buat tutorial htaccess bisa liat di http://www.freewebmasterhelp.com/tutorials/htaccess/
kalo masukin perintah di htaccess salah bisa bikin website error dong ya. robots kalo bikinnya salah gak masalah.
robots bisa ngatur semua web crawler kan?
gak semua crawler patuh sama robots. tapi kalo google atau crawler yang bagus sih pasti nurut. crawler bukan punya search engines doang fyi, banyak juga yang pake bikinan sendiri biar bisa index website ngambil2 article buat referensi sendiri.
kalo htaccess salah masukin bisa bikin website gak mau kebuka. solusinya ya tinggal benerin atau dihapus. kecuali kalo directory itu memang butuh htaccess jangan dihapus.
makasih buat infonya rekan2. udh dikasih belimbing semua ya hehe
kalau mau gak di index Google, bisa dengan cara:
1. IP whitelisting: jadi cuma IP tertentu yang bisa ngebuka. ini cara paling bagus.
2. noindex di robots.txt: bagus dan disarankan, tapi gak semua bot mau ngikutin perintah robots ini.
3. tag noindex: pakai meta tag atai X-Robots-Tag di HTTP header. bagus tapi ngurangin quota indexing kita.
4. cononical: agak rumit dan saya gak rekomen karena bisa ada kesalahan dari halaman sehingga Google malah gak ngerti.
Disallow: / di file robots.txt
paling cocok pakai ini