O que é o arquivo “robots.txt” no WordPress e como usá-lo?

A arte e a ciência de fazer com que seu site tenha uma boa classificação nos resultados de vários mecanismos de pesquisa é comumente conhecida como SEO (otimização de mecanismos de pesquisa). E há muitos aspectos diferentes quando se trata de SEO, talvez muitos para cobrir em um único artigo. É por isso que vamos nos concentrar em apenas um agora: o arquivo robots.txt do WordPress. Neste artigo, vamos nos aprofundar no que é o arquivo robots.txt e como usá-lo. Entre outras coisas, discutiremos diferentes maneiras de criar o arquivo e abordar as práticas recomendadas em relação às suas diretivas.

O que é o arquivo “robots.txt”?

Robots.txt é um arquivo de texto localizado no diretório raiz do WordPress. Você pode acessá-lo abrindo o seu-website.com/robots.txt URL em seu navegador. Ele ajuda os robôs do mecanismo de pesquisa a saber quais páginas do seu site devem e não devem ser rastreadas. A rigor, um site não precisa ter um arquivo robots.txt. Se você está no processo de criação de seu site, é melhor se concentrar primeiro na criação de conteúdo de qualidade. Os robôs dos mecanismos de pesquisa rastrearão o seu site, independentemente de você ter ou não o arquivo robots.txt.

No entanto, existem alguns benefícios em ter um arquivo robots.txt com as diretivas adequadas depois que seu site WordPress for concluído. Além de evitar que os rastreadores rastreiem conteúdo desnecessário, as diretivas otimizadas do robots.txt garantem que sua cota de rastreamento (o número máximo de vezes que um rastreador pode rastrear seu site durante um determinado tempo) não seja desperdiçada.

Além disso, as diretivas de robots.txt bem escritas do WordPress podem reduzir os efeitos negativos de robôs maliciosos ao não permitir o acesso a eles. Isto por sua vez, pode melhorar a velocidade geral de carregamento do seu site. Mas tenha em mente que as diretivas do robots.txt não devem ser sua única segurança. Os bots mal-intencionados geralmente ignoram essas diretivas, portanto, usar um bom plug-in de segurança é altamente recomendado, especialmente se o seu site estiver enfrentando problemas causados ​​por bots mal-intencionados.

Por fim, é um equívoco comum pensar que o arquivo robots.txt pode impedir que algumas das páginas do seu site sejam indexadas. O arquivo robots.txt pode conter diretivas que impedem o rastreamento, não a indexação. E mesmo que uma página não seja rastreada, ela ainda pode ser indexada por meio de links externos que levam a ela. Se você quiser evitar a indexação de uma página específica, você deve usar o noindex meta tag em vez das diretivas no arquivo robots.txt.

Como criar o arquivo “robots.txt”

Por padrão, o WordPress criará um arquivo robots.txt virtual para qualquer site. O referido arquivo pode ter a seguinte aparência, por exemplo:

Robôs

No entanto, se quiser editá-lo, você precisará criar um arquivo robots.txt real. Nesta seção, explicaremos três maneiras de fazer isso. Dois deles envolvem o uso de plug-ins WordPress, enquanto o terceiro é baseado no uso de FTP.

  • Yoast SEO

Com mais de 5 milhões de instalações ativas, Yoast SEO é um dos plug-ins de SEO mais populares disponíveis. Possui muitas ferramentas de otimização de sites, incluindo um recurso que permite aos usuários criar e editar arquivos robots.txt.

Depois de instalar o plugin, clique no recém-criado SEO seção, Seguido por Clique no Ferramentas subseção. Dentro da página que se abre, Clique no Editor de arquivos ligação perto do topo.

Editor de arquivo Yoast SEO

Na próxima página, localize o robots.txt seção. A partir daí, se você não o criou antes, você deve aperte o Crie um arquivo robots.txt botão.

Yoast SEO Criar um arquivo robots.txt

Isso criará o arquivo e você poderá ver seu conteúdo em uma área de texto. Usando essa mesma área de texto, você poderá editar o conteúdo do seu novo arquivo robots.txt. Quando você terminar de editar o arquivo, pressione o Salve as alterações no robots.txt botão abaixo.

Botão Salvar alterações do Yoast SEO
  • Tudo em um SEO

Tudo em um SEO é outro plugin de SEO muito popular que vem com vários recursos gratuitos, incluindo aqueles que permitem aos usuários criar e editar arquivos robots.txt do WordPress.

Depois de instalar o plugin, clique no novo Tudo em um SEO seção no menu do painel, seguido por um Clique no Gerente de função opção. Dentro de Gerente de função página, localize o Robots.txt característica e então aperte o Ativar botão ao lado do.

Gerenciador de recursos de SEO tudo-em-um

Isso criará o arquivo robots.txt. Então, você também verá uma mensagem de sucesso indicando que as opções foram atualizadas. E uma nova subseção chamada Robots.txt vai aparecer.

Tudo em um SEO atualizado

Ao clicar no Robots.txt opção, você terá uma visão da nova seção. Lá, você poderá adicionar novas regras / diretivas ao arquivo robots.txt, bem como ver como ele se parece atualmente.

Tudo em um SEO Robots.txt
  • Criação do arquivo “robots.txt” via FTP

Além de usar um plugin do WordPress, você pode simplesmente criar o arquivo robots.txt manualmente. Primeiro, crie um arquivo .txt vazio no seu computador e salve como robots.txt.

Robôs salvam

Então você precisa fazer o upload para o seu servidor usando FTP. Se você não está familiarizado com FTP, deve aprender mais sobre como usá-lo antes de continuar.

Robôs Públicos

Em alguns instantes, o arquivo será carregado e você poderá vê-lo entre os arquivos de seu diretório raiz do WordPress.

Se você quiser editar o arquivo robots.txt carregado, encontre-o no diretório raiz do WordPress, clique com o botão direito nele e selecione o Ver edição opção.

Robôs FTP

Adicione regras ao arquivo “robots.txt”

Agora que você sabe como criar e editar o arquivo robots.txt, podemos falar mais sobre as diretivas que esse arquivo pode conter. As duas diretivas que estão presentes no robots.txt com mais frequência são Agente de usuário e Recusar.

A diretiva User-agent especifica a qual bot as diretivas listadas abaixo da diretiva User-agent se aplicam. Você pode especificar um único bot (por exemplo, agente de usuário: Bingbot) ou faça com que as diretivas se apliquem a todos os bots colocando um asterisco (Agente de usuário: *).

A diretiva Disallow diz ao bot para não acessar uma parte específica do seu site. E também tem a diretiva Permitir que simplesmente faz o oposto. Você não precisa usá-lo com tanta frequência quanto Disallow, porque os bots têm acesso ao seu site por padrão. A diretiva Allow é freqüentemente usada em combinação com a diretiva Disallow. Mais precisamente, serve para permitir o acesso a um arquivo ou subpasta pertencente a uma pasta que não é permitida.

Além disso, existem duas outras diretivas: Atraso de rastreamento e Mapa do site. A política de atraso de rastreamento é usada para evitar a sobrecarga do servidor devido a solicitações de rastreamento excessivas. Porém, esta diretiva deve ser usada com cuidado já que não é suportado por alguns rastreadores (por exemplo, Googlebot) e rastreadores que o suportam (por exemplo, BingBot) o interpretam de maneiras diferentes. A diretiva Sitemap é usada para direcionar os mecanismos de pesquisa para seu arquivo de mapa de site XML. O uso desta diretiva é altamente recomendado, pois pode ajudá-lo a enviar o mapa do site XML criado para o Google Search Console ou para as Ferramentas do Google para webmasters Mas observe que você deve usar um URL absoluto para fazer referência ao mapa do site (por exemplo, mapa do site: https://www.example.com/sitemap_index.xml) ao usar esta diretiva.

  • Este snippet de exemplo não permite acesso a todo o diretório / wp-admin / para todos os bots, exceto para o arquivo /wp-admin/admin-ajax.php interno.

Agente de usuário: *
Não permitir: / wp-admin /
Permitir: /wp-admin/admin-ajax.php

  • Este snippet permite acesso à pasta / wp-content / uploads / para todos os bots. Ao mesmo tempo, ele nega acesso às pastas / wp-content / plugins /, / wp-admin / e / refer /, bem como ao arquivo /readme.html para todos os bots. O exemplo a seguir mostra a maneira correta de escrever várias diretivas; sejam eles do mesmo tipo ou de tipo diferente, um por linha é essencial. Além disso, este exemplo de snippet permite que você faça referência ao seu arquivo de sitemap especificando seu URL absoluto. Se você optar por usá-lo, certifique-se de substituir a parte www.example.com pelo URL do seu site real.

Agente de usuário: *
Permitir: / wp-content / uploads /
Não permitir: / wp-content / plugins /
Não permitir: / wp-admin /
Não permitir: /readme.html
Não permitir: / refer /

Mapa do site: https://www.example.com/sitemap_index.xml

Testando o arquivo “robots.txt”

Depois de adicionar as diretivas que atendem aos requisitos do seu site, você precisa testar o arquivo robots.txt do WordPress. Ao fazer isso, você verificará se há erros de sintaxe no arquivo e garantirá que as áreas apropriadas do seu site foram permitidas ou não permitidas corretamente.

Para testar o arquivo robots.txt do seu site, navegue para um Site de teste de SEO. Então insira qualquer url gerenciado pelo seu site (o url da sua página inicial, por exemplo), escolha um agente de usuário (Googlebot, por exemplo), e aperte o Prova botão.

Ferramenta de robôs

Se o URL for rastreável, você verá um resultado verde que diz Permitido. Caso contrário, dirá Não permitido. Para confirmar as políticas de rastreamento adequadas em seu site, você pode repetir o mesmo processo para quantos URLs diferentes quiser em seu site.

Pensamentos finais

O arquivo robots.txt é um arquivo de texto localizado no diretório raiz de todos os sites do WordPress. Ele contém diretrizes para rastreadores que informam quais partes do seu site eles devem ou não rastrear. Embora esse arquivo seja virtual por padrão, saber como criá-lo por conta própria pode ajudar muito em seus esforços de SEO.

É por isso que abordamos várias maneiras de fazer uma versão física do arquivo e compartilhar instruções sobre como editá-lo. Além disso, mencionamos as principais diretivas que um arquivo robots.txt do WordPress deve conter e como testar se você os configura corretamente. Agora que você já domina tudo isso, pode considerar como descobrir os outros aspectos de SEO do seu site.

Compartilhe este Link:

Compartilhar no facebook
Compartilhar no twitter
Compartilhar no linkedin
Compartilhar no pinterest
Compartilhar no email
Compartilhar no whatsapp
Compartilhar no telegram

Deixe um comentário

Receba nossos preços
e condções direto no seu email

Por favor, preencha os campos abaixo:

Preferência de contato: