Home » Ask (Forum) » Cara Jitu Mengoptimalkan Robots.txt?

Question

Hi,
Saya pernah membaca artikel tentang SEO dimana disitu disebutkan tentang pentingnya robots.txt tetapi disitu tidak dijabarkan tentang cara mengoptimalkan robot.txt . Jadi adakah teman – teman yang baik hati dapat membantu saya untuk dapat mengoptimalkan robots.txt agar bisa bekerja dengan baik dan dapat membantu mengangkat blog yang saya miliki?

Aug 29, 2016 (3 months ago) - Posted by 1 Comment

One Answer

  1. waskito says:

    Hi,

    Pertama, login ke control panel hosting Anda, misalnya, cPanel. Cari dan file manager terbuka di direktori file selain Backup. Sekarang, Anda dapat melihat file-file website Anda seperti Robots.txt. Namun, jika anda tidak menemukan file tersebut, maka buatlah file baru dan beri nama sebagai Robots.txt , atau anda bisa membaca artikel di bawah ini untuk cara membuat file baru di cpanel.

    Kemudian, Anda perlu klik kanan pada file Robots.txt Anda dan klik kode sunting setelah pembukaan. Kemudian, pilih utf-8 sebagai pengkodean karakter dan klik edit. Setelah ini, copy dan paste kode berikut dalam file. Jangan lupa ganti tulisan centerklik dengan domain anda.

    sitemap: http://domain.com/sitemap.xml
    User-agent: *
    # disallow all files in these directories
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /cgi-bin/
    Disallow: /wp-content/
    Disallow: /archives/
    Disallow: /*?*
    Disallow: *?replytocom
    Disallow: /author
    Disallow: /comments/feed/
    Disallow: */trackback/
    Disallow: /wp-*
    Disallow: /*?*
    User-agent:Mediapartners-Google*
    Allow:/
    User-agent:Googlebot-Image
    Allow:/wp-content/uploads/
    User-agent:Adsbot-Google
    Allow:/
    User-agent:Googlebot-Mobile
    Allow:/
    Register Member

Your Answer

Your email address will not be published. Required fields are marked *