Saya yakin istilah robots.txt ini pasti tidak asing lagi di telinga teman- teman, ya kan? Yes, kenyataannya, sewaktu Saya ngobrol sore bersama seorang rekan blogger Saya, tiba- tiba teman Saya itu bertanya tentang robots.txt. Kebetulan teman Saya ini memang baru belajar blogging, dan dia penasaran banget apa itu robots.txt. Dia memang sering dengar istilah ini, tapi masih belum ngeh pengertian, fungsi dan cara menggunakannya. Kalau ada teman- teman yang mengalami hal serupa, pas banget ya artikel ini untuk teman- teman :).
Pengertian robots.txt
Sebelum kita mengenal fungsi dan menerapkannya di website kita, tentu kita wajib tahu dulu apa itu robots.txt. Robots.txt adalah sebuah file teks sederhana yang berfungsi sebagai filter atau kontrol terhadap cara mesin pencari bekerja menjelajah di website kita. Secara keseluruhan, website kita memiliki banyak file, dan dengan robots.txt ini maka kita bisa memerintahkan robot mesin pencari untuk menentukan mana yang boleh diindeks dan mana yang tidak boleh di-indeks.
Pada dasarnya, sebuah robot search engine dirancang untuk mengindeks informasi dari sebuah website sebanyak yang mereka bisa. Dengan membuat perintah teks ini, maka website kita akan aman dari file- file yang seharusnya tidak boleh diindeks oleh robots.txt. Jadi bisa dibilang fungsi robots.txt ini adalah membatasi kebebasan menjelajah robot crawler dan juga melindungi file tertentu website kita yang memang tidak boleh diakses oleh robot penjelajah.
Mengapa penting menggunakan robots.txt?
Ada beberapa alasan, tapi yang paling menonjol, ada dua alasan penting mengapa kita wajib menggunakan file robots.txt ini. Yang pertama ialah melindungi website kita agar tidak rentan dan tidak mudah di hack. Jika kita membuka semua data terhadap mesin pencari, hal ini memungkinkan orang iseng untuk mengakses data rahasia tersebut dan hal tersebut sama saja dengan mengambil resiko besar tanpa kita sadari.
Alasan yang kedua, dengan mengijinkan mesin pencari untuk mengakses situs kita tanpa batasan, maka hal ini sama saja dengan jumlah bandwidth yang besar. Sebagai efeknya, situs kita dapat menjadi lebih lambat dan menurut performanya.
Sekilas robots.txt ini memang sebuah file kecil. Tapi,dibalik dua alasan yang kita menggunakan file ini, maka sesungguhnya robots.txt memiliki manfaat yang sangat besar untuk keamanan website dan juga SEO. Bayangkan jika kita tidak memberikan arahan dan larangan terhadap robot crawler, maka robot tersebut dapat mengakses folder file kita sesuka hati dan hal itu tentu berbahaya untuk website kita.
Tag/ Skenario robots.txt
Robots.txt bekerja sesuai dengan perintah yang kita berikan. Beberapa sintaks command/ perintah yang kerap digunakan di robots.txt antara lain :
User-agent:*Â Â Â : sintaks yang menunjukkan bahwa aturan ini dibuat untuk sebuat robots dari semua mesin pencari
Disallow:/config/        : sintaks untuk melarang robot dari semua mesin pencari untuk menelusuri folder ‘config’
Disallow:/admin/Â Â Â Â Â Â Â Â : sintaks yang melarang robot dari semua mesin pencari untuk menelusuri folder admin
Allow:/                        : sintaks kebalikan dari ‘disallow’, yang artinya mengijinkan robot dari semua mesin pencari untuk menelusuri folder tersebut
Di dalam robots.txt Anda, Anda dapat membuat peraturan ‘Disallow’ dan ‘Allow’ sesuai dengan kebutuhan Anda. Jadi tentu saja nanti aka nada contoh file robots.txt di artikel ini, dan Anda dapat mengeditnya sesuai dengan perintah yang Anda inginkan untuk mesin pencari.
Membuat File robots.txt yang SEO Friendly
Untuk dapat membuat file robot.txt, Anda wajib memiliki akses ke root domain. Untuk dapat mengakses root domain, Anda dapat login ke akun cPanel hosting Anda, lalu masuk ke ‘File Manager’ dan pilih root domain untuk website Anda. Setelah masuk ke public_html root domain Anda, langkah selanjutnya adalah pilih ‘New File’ atau ‘File Baru’dan beri nama ‘robots.txt’ seperti gambar di bawah ini :
Setelah Anda membuat nama file tersebut, lalu pilih ‘Edit’ atau ‘Sunting’ diantara deretan menu di atasnya atau dengan klik kanan. Untuk opsi editing, pilih utf-8 untuk pengkode-an karakter. Setelah itu, berikut ini adalah salah satu contoh file robots.txt dengan komposisi yang cukup SEO Friendly. Anda tentu dapat mengeditnya untuk menambah dan mengurangi sintaks command sesuai dengan keinginan Anda :
| sitemap: https://www.pandagila.com/sitemap_index.xml User-agent: * # disallow all files in these directories Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /cgi-bin/ Disallow: /wp-content/ Disallow: /archives/ Disallow: /*?* Disallow: *?replytocom Disallow: /author Disallow: /comments/feed/ Disallow: */trackback/ Disallow: /wp-* Disallow: /*?* User-agent:Mediapartners-Google* Allow:/ User-agent:Googlebot-Image Allow:/wp-content/uploads/ User-agent:Adsbot-Google Allow:/ User-agent:Googlebot-Mobile Allow:/ |
Untuk sitemap, silahkan ganti dengan alamat sitemap Anda. Setelah selesai, pilih ‘Save’ atau ‘Simpan’. Done, kini Anda telah memiliki sebuah file robot.txt yang SEO Friendly untuk website Anda.
Setelah Anda memiliki file ini, maka Anda dapat tenang karena Google-Bot akan menjelajah file- file situs web Anda secara terkendali. Sekian artikel kali ini, mudah- mudahan bermanfaat untuk teman- teman blogger yang sedang bingung dengan robot.txt ini. Terimakasih sudah membaca.
