Let's make this life Easy, as well as you can
Mengulas berbagai cerita kehidupan mulai dari tradisi hingga teknologi, tips, solusi, informasi, internet, pekerjaan, hiburan, Kesehatan, mitos, fakta, klenik, unik bahkan mistik yang diulas berdasarkan pengalaman serta dari berbagai referensi, semoga bermanfaat
Untuk keperluan Search Engine Optimization, adanya file robots.txt memang sangat mempengaruhi, Robots.txt berfungsi untuk mengatur mana dan konten apa saja yang diizinkan atau tidak diijinkan untuk terindex oleh mesin telusur. Namun bagaimana jika robots.txt tersebut di hack dan kontennya di ubah menjadi disallow untuk semua folder website?

Robots.txt di webmastertool tidak sama


Ini hal yang baru saja dialami beberapa hari yang lalu pada salah satu website milik saya, hal ini baru diketahui setelah ada pemberitahuan dari google bahwa ada kerusakan parah yang menyebabkan banyak halaman penting di blokir, ini harus segera diperbaiki.

Setelah di cek di Google Webmastertool, ternyata permasalahannya terdapat pada penguji Robots.txt dimana konten file robot.txt telah memblokir folder utama website tersebut. dan ini bukan file robot.txt yang ada di hosting website saya. Kenapa bisa demikian?

isi daripada file robots.txt yang ada di hosting saya adalah sebagai berikut :

User-agent: *
Disallow:/cgi-bin/

Sitemap:/sitemap.xml

Namun yang terdeteksi di webmastertool malah berbeda dan ini jelas bukan milik saya, seperti dibawah ini, kita sebut saja Badbot :

User-agent: *
Disallow: /

User-agent: MJ12boot
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: dotbot
Disallow: /

Saya coba submit kembali robots.txt sampai puluhan kali, teteap saja yang terbaca bukan robots.txt milik saya, dan anehnya ketika file robots.txt dihapus dari server, webmastertool masih menampilkan konten robots diatas.

Jelas, konten robots tersebut telah memblokir konten website dari folder utama terlebih pada useragent yang pertama dimana tanda bintang merupakan cakupan global untuk semua perayap. Siapa yang melakukan hal ini? apakah di hack oleh kompetitor?

Memperbaiki robots.txt di webmastertool yang tidak mau berubah

Memperbaiki robots.txt di webmastertool yang tidak mau berubahSeperti diketahui, untuk mengubah kontan robots.txt di webmastertool adalah cukup dengan mengirim kembali robots.txt yang sudah diperbaiki, kemudian tunggu beberapa menit untuk refresh halaman dan melihat konten robot yang sudah diperbaiki.

Namun ketika beberapa kali mengirim ulang konten robot tetap tidak berubah dan hanya berisi badbot diatas.

if robots.txt on webmastertool cannot be changed [Solved]

Kebetulan saya menggunakan 2 hosting di server berbeda, dan permasalahan robots.txt ini berhasil diatasi setelah memindahkan Name Server ke hosting yang lain.

Setelah kurang lebih 1jam memindahkan Name Server ke hosting yang lain, kini konten robots.txt sudah sesuai dengan robots.txt milik saya yang ada di hosting lain, sengaja saya membuat sedikit perbedaan pada file robots.txt di setiap hosting tersebut untuk mengetahui dari hosting mana robots ini di ambil.

Jadi, permasalahan robots.txt ini terselesaikan setelah mengganti Name Server atau setelah memindahkan hosting ke server yang lain. So... masalahnya ada dimana coba?

Kita semua tahu, Share hosting memang rentan terhadap exploited (di hack).

Label: , ,

Bagikan ke :
facebook google+ twitter BBM

Tulisan Kenapa Robots.txt berubah ini ditulis pada 2/20/2017, Admin akan berusaha sebaik mungkin agar informasi ini sesuai dengan kondisi saat ini (Terupdate), harap maklum jika informasi yang terkandung dalam artikel ini sudah kadaluarsa
| Cari Kenapa Robots.txt berubah di : AOL | Ask | Bing | DuckDuckGo | Microsoft | Google | ixquick | Yahoo | Yandex | Yippy | MySearch