robots.txt



  • Olá pessoal, boa tarde!
    Poderiam me auxiliar sobre como devo colocar meu sitemap no robot.txt?
    Devo colocar:
    https://www.michelepsicologa.com/sitemap_index.xml
    ou
    Sitemap: https://www.michelepsicologa.com/sitemap_index.xml

    Psicóloga Alvorada

    Psicóloga Porto Alegre


  • Dev

    Olá @fabiovda, pelo seu site que vi, vc usa um site wordpress e como vc usa o YoastSEO para criar XML do seu site, o robots.txt só serve para controlar o que deseja quais links do site sejam indexados, é fornecer um conjunto de instruções aos bots dos motores de busca. Ele meio que diz assim : “Ei, você pode olhar essas páginas aqui, mas não vá para aquelas páginas ali!”. O seu robots.txt está linkando tudo, o que vc pode fazer é abrir o seu robots.txt e colocar a instrução padrão, tipo esse:

    User-Agent: *
    Disallow: /wp-admin/
    Disallow: /wp-content/plugins/
    Disallow: /wp-includes/
    

    O código acima está bloqueando links de página que acessam o admin do seu site e alguns conteúdos como os seus plugins do wordpress, links que o google não precisa indexar no seu site, já que contém informações q podem prejudicar o site através de hackers.

    Basta acessar o seu robots.txt e colocar esse código, lembrando que não é pra colocar os links do sitemap.xml dentro do robots.txt, no robots.txt só se coloca permissões e/ou bloqueios de links que vc deseja que o Google vai ver.



  • @charles disse em robots.txt:

    Olá @fabiovda, pelo seu site que vi, vc usa um site wordpress e como vc usa o YoastSEO para criar XML do seu site, o robots.txt só serve para controlar o que deseja quais links do site sejam indexados, é fornecer um conjunto de instruções aos bots dos motores de busca. Ele meio que diz assim : “Ei, você pode olhar essas páginas aqui, mas não vá para aquelas páginas ali!”. O seu robots.txt está linkando tudo, o que vc pode fazer é abrir o seu robots.txt e colocar a instrução padrão, tipo esse:

    User-Agent: *
    Disallow: /wp-admin/
    Disallow: /wp-content/plugins/
    Disallow: /wp-includes/
    

    O código acima está bloqueando links de página que acessam o admin do seu site e alguns conteúdos como os seus plugins do wordpress, links que o google não precisa indexar no seu site, já que contém informações q podem prejudicar o site através de hackers.

    Basta acessar o seu robots.txt e colocar esse código, lembrando que não é pra colocar os links do sitemap.xml dentro do robots.txt, no robots.txt só se coloca permissões e/ou bloqueios de links que vc deseja que o Google vai ver.

    @charles como ficaria esse código para colocar no robots.txt da minha loja?


  • Dev

    Olá @crazycdm, esse código no comentário acima, é para quem usa wordpress (é uma outra plataforma, não faz parte da xtech), não é para usar em lojas xtech, a xtech já possui o robots.txt configurado, vc não precisa mexer (só se vc tiver algo que não precise indexar nas buscas do google).