Fala, pessoal! Hoje vamos entender como criar robots.txt para o seu site indexar melhor no Google! Imagine só: você acabou de criar um site incrível, cheio de conteúdo bacana e está pronto para conquistar clientes e fãs.
No entanto, tem algo errado e ele não está aparecendo no Google. Ou pode ter mais coisas aparecendo do que você gostaria. Como resolver?
Neste artigo, vamos entender como esse arquivo pode ser tão poderoso e importante para a sua estratégia de SEO. Ainda que seja um aspecto do SEO Técnico, ele é bem mais simples do que parece.
Então, bora lá desvendar os segredos do robots.txt e transformar você em um mestre da indexação no Google!
O que é o arquivo robots.txt?
Um arquivo robots.txt é um conjunto de instruções que informa aos mecanismos de pesquisa quais páginas devem ou não ser rastreadas em um site. Ele orienta o acesso do rastreador, mas não deve ser usado para manter as páginas fora do índice do Google.
Confira um exemplo de robots.txt do nosso site:
A princípio, a aparência dele pode assustar, eu sei. Mas vamos com calma, no final do artigo você vai ver que é muito mais simples do que parece.
Ele é um arquivo utilizado para enviar as solicitações, em linguagem de máquina, para o computador e bots que vão rastrear o site.
Como encontrar o robots.txt do meu site?
Agora vamos entender como identificar um arquivo robots.txt no seu site. Ele está hospedado em seu servidor, assim como qualquer outro arquivo em seu site.
Você pode visualizar o arquivo robots.txt de qualquer site digitando o URL completo da página inicial e adicionando “/robots.txt” no final.
Assim: “https://rankrup.com/robots.txt”
Pode testar aí no seu site!
Como funciona?
Os arquivos Robots.txt informam aos bots dos mecanismos de pesquisa quais URLs eles devem rastrear e, mais importante, quais devem ser ignoradas.
À medida que rastreiam páginas da web, os bots dos mecanismos de pesquisa descobrem e seguem links. Esse processo os leva do site A para o site B e para o site C por meio de links, páginas e sites.
No entanto, se um bot encontrar um arquivo robots.txt, ele irá lê-lo antes de fazer qualquer outra coisa.
Assim, você atribui regras identificando o “agente do usuário” (bot do mecanismo de pesquisa) e especificando as diretivas (regras). Para isso, é necessário saber o nome ou código do bot responsável pelo mecanismo de busca para o qual você deseja criar regras específicas.
Caso deseje aplicar regras gerais, para todos os bots, você pode usar um asterisco (*), como no exemplo do nosso robots.txt que mostramos anteriormente.
Para que serve?
Um arquivo robots.txt ajuda a gerenciar as atividades do rastreador da web, para que eles não sobrecarreguem seu site ou se preocupem com páginas que não devem ser exibidas ao público.
Confira mais detalhes sobre as funções do robots.txt.
Otimiza o orçamento de rastreamento
O orçamento de rastreamento refere-se ao número de páginas que o Google rastreará em seu site em um determinado período.
O número pode variar de acordo com o tamanho, a saúde e o número de backlinks do seu site.
Se o número de páginas do seu site exceder o orçamento de rastreamento do seu site, você poderá ter páginas importantes que não conseguem ser indexadas.
Essas páginas não indexadas não serão classificadas. O que significa que você perdeu tempo criando páginas que os usuários não verão.
O bloqueio de páginas desnecessárias com robots.txt permite que o Googlebot (rastreador da web do Google) e bots de outros mecanismos de busca gastem mais orçamento de rastreamento em páginas importantes.
Bloqueia páginas duplicadas e não públicas
Os bots de rastreamento não precisam examinar todas as páginas do seu site. Porque nem todos foram criados para serem veiculados nas páginas de resultados dos buscadores (SERPs), como:
- páginas internas de resultados de pesquisa;
- páginas duplicadas;
- páginas de login;
- sites de teste.
Alguns sistemas de gerenciamento de conteúdo cuidam dessas páginas internas para você.
O WordPress, por exemplo, desativa automaticamente a página de login “/wp-admin/” para todos os rastreadores. Isso impede que qualquer pessoa possa acessar facilmente a página de login do seu site.
Existem também outras medidas de segurança que possibilitam a personalização da URL de acesso, oferecendo mais segurança para o site.
Oculta recursos
Às vezes, você deseja excluir recursos como PDFs, vídeos e imagens dos resultados da pesquisa.
É possível fazer isso para mantê-los privados por serem materiais destinados à geração de leads ou para que o Google se concentre em conteúdos mais importantes.
Em ambos os casos, o robots.txt evita que eles sejam rastreados.
Como criar robots.txt em 4 passos
Você pode utilizar uma ferramenta de geração de robots.txt ou pode criar o seu do zero!
Veja como criar um do zero:
1. Crie um arquivo e nomeie-o como Robots.txt
Comece abrindo um documento .txt em um editor de texto, como o bloco de notas, ou um navegador da web.
Tome cuidado nesse momento! Não use um processador de texto, como o Word, por exemplo. Ele geralmente salva arquivos em um formato proprietário que pode adicionar caracteres aleatórios. Isso pode atrapalhar a leitura do robots.txt pelos rastreadores.
Depois de criar, nomeie o documento como “robots.txt”. Agora você está pronto para começar a descrever as instruções!
2. Descreva as instruções no arquivo robots.txt
Um arquivo robots.txt consiste em um ou mais grupos de orientações. E cada grupo consiste em múltiplas linhas de instruções.
Cada grupo começa com um agente de usuário e possui as seguintes informações:
- A quem o grupo se aplica (o agente do usuário);
- Quais diretórios (páginas) ou arquivos o agente deve acessar;
- Quais diretórios (páginas) ou arquivos o agente não deve acessar;
- Um mapa do site (opcional) para informar aos mecanismos de pesquisa quais páginas e arquivos você considera importantes;
- Os rastreadores ignoram as linhas que não correspondem a essas diretivas.
No exemplo abaixo, não queremos que o Google rastreie seu diretório “/shop/” porque ele é apenas para uso interno.
O primeiro grupo seria mais ou menos assim:
Acima você pode ver que há mais algumas páginas que não serão indexadas. Dessa forma, as outras instruções são adicionadas em uma linha separada abaixo.
Depois de finalizar todas as instruções gerais e específicas, basta adicionar o mapa do seu site.
Em seguida, salve seu arquivo robots.txt. E lembre-se de que deve se chamar “robots.txt”.
Se não souber qual é o seu sitemap, você utilizar uma ferramenta para gerá-lo.
3. Faça upload do arquivo Robots.txt
Depois de salvar o arquivo robots.txt em seu computador, carregue-o em seu site e disponibilize-o para rastreamento dos mecanismos de pesquisa.
Infelizmente, não existe uma ferramenta universal para esta etapa.
O upload do arquivo robots.txt depende da estrutura de arquivos e da hospedagem na web do seu site.
Você pode entrar em contato com seu provedor de hospedagem para entender como enviar seu arquivo robots.txt para o seu site.
No caso do WordPress, existem algumas formas mais simples de fazer utilizando o plugin de SEO Yoast.
Depois disso, basta clicar em “Editor de arquivo”, vão aparecer dois arquivos: o robots. txt e o .htaccess.
Tenha bastante cuidado nesse sentido pois o htacess é um arquivo muito importante, que vai orientar outras funcionalidades do site. Então, se não tiver o conhecimento necessário, não faça nenhum tipo de alteração pois pode quebrar o seu site!
Caso ainda não tenha, você poderá gerar o seu arquivo robots.txt por lá. No entanto, se desejar fazer alguma alteração, é possível fazer isso por meio dessa funcionalidade.
Depois de efetuar as alterações, você precisará clicar no botão de “Salvar alterações” para atualizar o arquivo.
4. Teste seu arquivo Robots.txt
Primeiro, teste se o seu arquivo robots.txt está acessível publicamente (ou seja, se foi carregado corretamente).
Você pode fazer isso abrindo uma janela anônima em seu navegador e digitando a URL do seu site seguida por “robots.txt”.
Por exemplo, “https://rankrup.com/robots.txt”
Se você vir seu arquivo robots.txt com o conteúdo adicionado, você está pronto para testar a marcação (código HTML).
Você pode fazer isso pelo relatório robots.txt no Google Search Console. Se você não vinculou seu site à sua conta do Google Search Console, você precisará adicionar uma propriedade primeiro.
Conclusão
Dominar o uso do arquivo robots.txt pode parecer uma tarefa complicada à primeira vista, mas com um pouco de prática, ele se torna uma ferramenta poderosa para otimizar a indexação do seu site pelo Google.
Desde ajudar a gerenciar o orçamento de rastreamento até bloquear páginas desnecessárias ou duplicadas, o robots.txt oferece controle significativo sobre como os bots dos mecanismos de pesquisa interagem com seu site.
Lembre-se sempre de testar seu arquivo robots.txt após configurá-lo e fazer upload para garantir que ele esteja acessível e funcionando corretamente. Isso garantirá que seu site seja rastreado da maneira mais eficiente possível, ajudando a melhorar sua visibilidade nos resultados de pesquisa.
Você também pode combinar o uso do robots.txt com outras práticas recomendadas de SEO para obter os melhores resultados possíveis. Nos vemos no próximo artigo! 😉
