Cara mudah Membuat Robots.txt di Google Webmaster Tools

Diulas oleh Dunia Baca Jumat, 03 Februari 2012 0 komentar
Cara mudah Membuat Robots.txt di Google Webmaster Tools | angsung saja , begini caranya
Sign in ke Webmaster Tools, kemudian klik situs yang Anda inginkan.
Di menu Site configuration, klik Crawler access.
Klik tab Generate robots.txt .
Pilih default crawler kamu . Saya menyarankan untuk Allow all robots , dan menggunakan step selanjutnya untuk memblok robot apa saja yang tidak boleh mengaksesnya direktori kita .
Tentukan aturan untuk si robot ini . contoh , saya akan memblok folder1 agar tidak di crawl oleh si robot :
Di Action list, Pilih Disallow.
Di Robot list, Klik Googlebot.
Di Files atau direktori , ketikan /folder1 .
Klik Add. nah setelah klik add selesai maka kode akan otomatis akan tergenerate .
Download robots.txt atau menyalin kode tadi yang sudah tergenerate ke dalam notepad / text editor lainnya , save dengan nama robots.txt . ingat namanya gak boleh salah ya “robots.txt”. Kemudian Upload file robots.txt tadi ke hosting ,
misalnya : http://seputarseo.com/robots.txt , nah kalau upload di situ berarti benar , ini contoh yang salah http://www.seputarseo.com/bla_bla/robots.txt .
neh aku kasih screen shotnya biar gak pada bingung .

nah itu tadi cara buat robots.txt di Google Webmaster Tools tinggal di test robots.txtnya , nah di postingan saya selanjutnya akan membahas tentang cara manual membuat robots.txt .
Jangan Lupa Jempolnya Sob, Makasih Sebelumnya



Anda baru saja membaca artikel yang berkategori Tips SEO dengan judul Cara mudah Membuat Robots.txt di Google Webmaster Tools. Anda bisa bookmark halaman ini dengan URL http://duniabaca22.blogspot.com/2012/02/cara-mudah-membuat-robotstxt-di-google.html. Terima kasih!