Robot.txt merupakan file dengan extention .txt yang digunakan untuk mengontrol file mana yang dapat diakses crawler search engine yang meng-crawl situs Anda, robots.txt terdiri dari aturan memblokir atau mengizinkan akses crawler tertentu ke jalur file yang telah ditentukan di situs anda. Robot.txt berada pada folder root situs / public_html anda contohnya public_html/robot.txt atau bisa juga www.domain-anda.com/robot.txt
untuk menggunakan fitur ini webseite anda harus menggunkan nama seperti ini http://namadomainanda.com, harus ada http:// atau https:// didepan nama domain anda kalau tidak property website anda tidak akan muncul di pilihan property select box.
Nah di tutorial ini saya akan berbagi cara membuat dan test robot.txt di Google Search Console, disini saya asumsikan anda sudah mendaftarkan website anda di google search console.
- Login ke google search console
- Pilih property website yang akan anda buatkan robot.txt
- Pilih “legacy tools and reports” lalu klik “learn more” pada menu sebelah kanan seperti gambar dibawah ini
4. setelah itu akan muncul kotak dialog box disebelah kanan seperti gambar dibawah ini, lalu klik tulisan “Robot.txt Tester”
5. Pilih property website yang akan anda buatkan robot.txt dari halaman yg muncul seperti gambar dibawah ini
disini jika anda tidak menggunakan http:// atau https:// di depan nama domain anda, nama website anda tidak akan kelihatan di dropdown box “Please select a property”, jika nama domain website anda kelihatan lalu pilih salah satu.
6. setelah anda memilih nama domain website anda diatas Saatnya anda membuat isi dari file robots.txt anda dikotak yang telah disediakan, anda bisa menuliskan kode seperti gambar dibawah ini
7. setelah selesai membuat file robots.txt tekan tombol submit
8. Silahkan test semua url website anda apakah di block oleh crawler search engine atau tidak pada bagian bawah seperti gambar dibawah ini
Demikian tutorial Membuat dan test robot.txt di Google Search Console, semoga dapat memberikan manfaat bagi kita semua.