Screaming Frog: guia para a ferramenta que executa auditorias completas em seu site

A otimização para buscadores pede a ajuda de ferramentas. Elas servem para os profissionais de SEO captarem dados valiosos e automatizarem ações que não seriam possíveis manualmente. E a Screaming Frog criou duas ferramentas ideais para isso.

SEO Spider e Log Fyle Analyser são as duas ferramentas da empresa que permitem fazer auditorias completas de SEO técnico. É com essas informações coletadas que você pode começar a traçar as estratégias de otimização, com conhecimento sobre o que está funcionando, o que precisa ser corrigido e o que deve melhorar.

Para isso, nada melhor que contar com funcionalidades que fazem varreduras completas e trazem relatórios com informações processadas para você, não é?

Então, vamos conhecer agora a Screaming Frog, um dos nomes mais conhecidos pelos profissionais de SEO no mundo inteiro. Acompanhe este texto e entenda:

• O que é a Screaming Frog?
• Como a Screaming Frog pode ajudar nas estratégias de SEO?
• Como funciona o SEO Spider, a principal ferramenta da Screaming Frog?
• Como funciona o Log File Analyser?

 

O que é a Screaming Frog?

Screaming Frog é uma agência de marketing do Reino Unido. Fundada em 2011, a empresa nasceu a partir da sua ferramenta mais conhecida: SEO Spider. Ela começou a ser desenvolvida ainda em 2010, com a intenção de coletar dados, identificar problemas técnicos em sites e embasar recomendações de SEO.

Depois da fundação da empresa, o SEO Spider foi lançado ao público em 2011, com uma versão gratuita e planos pagos. A partir daí, a ferramenta começou a se popularizar entre a comunidade de SEO e passou a se tornar indispensável para muitos profissionais.

Com o passar dos anos, ganhou novas atualizações. Atualmente, está na versão 12.0, lançada em 22 de outubro de 2019.

Em 2016, a Screaming Frog lançou mais uma ferramenta bastante usada pelos profissionais de SEO: Log File Analyser. Ela está, atualmente, na versão 3.0 e permite fazer análises técnicas sobre o rastreamento das páginas e o comportamento do robô do Google no site.

A seguir, vamos explicar melhor como cada uma dessas ferramentas pode ajudar nas suas estratégias de SEO.

 

Como a Screaming Frog pode ajudar nas estratégias de SEO?

A Screaming Frog se tornou um dos nomes mais reconhecidos do universo de SEO. As ferramentas que a agência criou auxiliam os profissionais com dados valiosos sobre os sites e as estratégias de Marketing Digital.

SEO Spider é sua ferramenta mais conhecida. Trata-se de um rastreador de sites ideal para fazer auditorias técnicas e embasar as decisões de SEO. Ao utilizar essa ferramenta, você consegue:

• encontrar links quebrados (erro 404) e erros de servidor;
• auditar redirecionamentos;
• analisar títulos e meta descriptions (comprimento, ausências, duplicações);
• identificar conteúdo duplicado;
• identificar páginas bloqueadas por robots.txt e tags “noindex”, “nofollow” e canonical;
• gerar sitemaps xml;
• visualizar a arquitetura do site em gráficos em árvore e diagramas interativos;
• integrar com o google analytics e search console (versão paga);
• renderizar sites e estruturas dinâmicas em javascript (versão paga);
• validar dados estruturados (versão paga).

O Log File Analyser também pode ser muito útil para as suas estratégias, mas é um pouco mais técnico e não é tão popular quanto o SEO Spider. Com ele, você pode:

• identificar quais urls o robô consegue rastrear e quais não consegue;
• descobrir a frequência de rastreamento pelos robôs;
• descobrir links quebrados e erros de rastreamento;
• analisar as urls mais e menos rastreadas;
• identificar as páginas mais pesadas e lentas.

 

Como funciona o SEO Spider, a principal ferramenta da Screaming Frog?

Screaming Frog SEO Spider é um rastreador de sites que simula a ação do robô do Google no rastreamento das páginas.

Com essa ferramenta, você identifica como o buscador está vendo suas páginas e quais problemas está encontrando, de maneira que você possa corrigi-los e melhorar seus resultados com SEO.

Para utilizar o SEO Spider, você precisa fazer o download de um programa no seu computador — é diferente de outras ferramentas, como SEMrush e SimilarWeb, que rodam na nuvem. O software funciona em Windows, Mac e Ubuntu.

O programa pode ser baixado gratuitamente, mas tem limitações: algumas funcionalidades não estão disponíveis, você só pode analisar 500 URLs e não tem suporte técnico.

Já na versão paga, é possível rastrear quantas URLs você quiser, o suporte técnico está incluído e há funcionalidades avançadas, como a validação de dados estruturados e Accelerated Mobile Pages (AMPs).

Se você se interessar pela versão paga, há planos a partir de 149 libras por ano. Esse valor cobre até 4 licenças, e há descontos se você adquirir mais licenças para a sua empresa.

Tutorial Screaming Frog SEO Spider: como dar os primeiros passos na ferramenta?

Depois de baixar e instalar no seu computador, o programa já está pronto para ser usado. Esta é a primeira visão que você vai ter dele:

Para começar, então, você deve inserir o site que deseja analisar no campo que está lá em cima, ao lado do nome “Screaming Frog”. Como exemplo, vamos rastrear o próprio site da Screaming Frog.

Neste campo, você também pode inserir algum diretório específico do site, como o blog. Nesse caso, poderíamos inserir “https://www.screamingfrog.co.uk/blog/” e faríamos uma análise de todas as páginas incluídas dentro do blog.

Perceba, porém, que a versão gratuita rastreia apenas 500 páginas. Se você quiser analisar mais páginas (até 10.000!), é possível inseri-las no modo Lista, que está disponível no menu superior.

Nesse caso, não é o crawler da ferramenta que vai buscar as URLs — é você quem deve enviá-las, manualmente, por meio de um arquivo ou um sitemap.

Com essa busca, você já vai receber um relatório de todas as páginas rastreadas, com o qual é possível fazer uma auditoria completa do site.

Nesse relarório, você pode ver informações como o título da página, meta description, heading tags, canonical tags, número de links internos e externos, tempo de resposta, última atualização, entre outros dados. Se quiser guardar esses dados ou levar para outro programa, é possível exportar o relatório em CSV ou XLS.

Navegue pelas abas (Internal, External, Protocol etc.) e utilize os filtros para encontrar exatamente as informações que você deseja. Você também pode personalizar as abas para trabalhar apenas com aquilo que interessa no momento.

Na coluna à direita, há também um relatório geral sobre as páginas rastreadas, com o número total de URLs encontradas, o número de páginas que estão com título muito longo ou que não têm meta description, a quantidade de imagens sem alt text, entre outras informações.

Se você clicar em algum item desse relatório, pode ver as informações detalhadas — quais são as páginas com títulos duplicados, por exemplo — e já fazer as correções necessárias.

Funcionalidades úteis do Screaming Frog SEO Spider

Só com esses relatórios, você já pode coletar uma infinidade de informações sobre as suas páginas e definir por onde as suas ações de SEO devem começar. Mas vamos destacar algumas funcionalidades interessantes da ferramenta que podem ajudar ainda mais no seu trabalho.

Auditar redirecionamentos

Em uma migração de site ou domínio, é comum utilizar o redirecionamento 301 para que os usuários não encontrem um erro 404 ao visitarem uma página antiga. Esse recurso também é bastante usado quando o site muda a sua estrutura de URLs.

Porém, também é comum que vários erros aconteçam nesses redirecionamentos, já que eles costumam ser feitos em grande volume.

Portanto, o SEO Spider pode ajudar a verificar se está tudo certo com os redirecionamentos. Para fazer isso, você deve utilizar o programa no modo Lista, como mostramos acima. Faça o upload das URLs antigas e marque, nas configurações, o campo “Always Follow Redirects”.

Depois, inicie o rastreamento. Quando todas as URLs forem rastreadas, vá até o menu Reports e clique em Redirects > All Redirects. Assim, você vai obter um relatório completo de todas as URLs com redirecionamento, bem como o status da página.

Editar títulos e meta descriptions

Quem trabalha com produção de conteúdo sabe a importância do título e da meta description de uma página. Esses elementos não apenas ajudam o Google a entender o seu conteúdo, mas também servem para o usuário decidir se clica no link nos resultados da busca.

O Screaming Frog SEO Spider sabe da importância disso e desenvolveu um recurso para poder editar o título e a descrição da página diretamente no programa.

Para fazer isso, clique em qualquer URL que esteja no relatório de páginas rastreadas. Na janela inferior, você vai ver as informações da página selecionada. Entre as abas da janela inferior, procure por “SERP Snippet”. Assim, você vai conseguir visualizar o snippet da página exatamente como ele aparece nos resultados da busca do Google.

Um pouco mais abaixo, você vai ver os campos de edição do título e da meta description. À medida que você editar esses campos, o programa informa quantos caracteres você ainda pode usar.

Depois de fazer todas as edições que quiser, basta exportar o relatório de Page Titles e depois fazer o upload no seu site. Assim fica bem mais fácil, não é?

Perceba também que você pode selecionar o tipo de dispositivo para visualização. Aliás, você sabia que o snippet dos resultados da busca aparece de forma diferente no desktop e no mobile? Veja esse exemplo abaixo:

Exportar sitemaps

Se você ainda não tem um sitemap, está na hora de criar um para o seu site e enviar ao Google. Esse arquivo informa ao buscador todas as páginas do site que ele deve rastrear, bem como a sua frequência de atualização e outras informações importantes.

O Screaming Frog SEO Spider oferece a funcionalidade de exportação do sitemap em formato XML. Depois de rastrear as páginas do site, você deve ir ao menu Sitemaps e selecionar XML Sitemap. Em seguida, você vai ver a página abaixo, em que pode selecionar os campos que deseja incluir nesse arquivo.

Depois, envie o sitemap ao Google. Isso pode ser feito via Google Search Console, na ferramenta específica para isso.

Visualizar a arquitetura do site

Quer saber se o seu site está bem organizado, se a categorização das páginas faz sentido e se a hierarquização é intuitiva para o usuário? A visualização do site em forma de árvore pode ajudar nessa compreensão.

Primeiramente, faça o rastreamento das URLs. Depois, no menu do SEO Spider, vá até Visualisation e clique em Crawl Tree Graph. Então, a ferramenta vai abrir uma página como esta abaixo, que mostra as conexões entre as URLs do site.

Analisar concorrentes

Você percebeu que, neste artigo, fizemos a análise do site da Screaming Frog, sem sermos proprietários dele? Isso significa que você pode rastrear as URLs de qualquer site — inclusive dos seus concorrentes!

Já falamos aqui sobre a importância de ficar de olho na concorrência. Você precisa saber como os concorrentes estão organizando suas estratégias digitais para perceber falhas e acertos e se inspirar para aprimorar o seu site. Além disso, você também tem uma percepção melhor sobre a sua posição no mercado — se está à frente ou atrás deles.

No Screaming Frog SEO Spider, você pode analisar como o concorrente organizou o site, como ele elabora os títulos e meta descriptions, se tem páginas em outras línguas, se utiliza dados estruturados, entre outras informações valiosas.

E você jamais conseguiria todos esses dados sem uma ferramenta para isso! Então, aproveite para espionar a concorrência e obter insights para a sua atuação na web. 

 

Como funciona o Log File Analyser?

Agora, vamos falar da outra ferramenta da Screaming Frog. Como propõe o seu nome, o Log File Analyser analisa arquivos de log. Esses arquivos carregam dados que mostram exatamente o que aconteceu quando um robô de busca visitou o site.

Sempre que um site é solicitado, tanto por um visitante humano quanto por um robô, uma nova linha com as informações da visita é gravada nos logs. Essas entradas são geradas continuamente e, em apenas um segundo, várias linhas podem ser criadas.

Porém, esses arquivos são extremamente pesados, técnicos e difíceis de compreender por quem não tem experiência em programação. Portanto, a função da ferramenta é tornar essa tarefa menos trabalhosa, ao processar os dados para o usuário e gerar relatórios mais fáceis de entender.

No Log File Analyser, é o usuário quem deve enviar os arquivos para o programa fazer as análises. Para lidar com esses arquivos, o ideal é ter pessoal especializado. Nestes links, você encontra tutoriais de acesso aos logs do Apache (Linux), NGINX (Linux) e IIS (Windows).

Para utilizar o programa, você também precisa fazer download no site. Ele está disponível para Windows, Mac e Ubuntu.

As versões paga e gratuita incluem as mesmas funcionalidades. Mas, como premium, você não tem limite de análises e projetos e ainda tem suporte técnico incluído. Os planos pagos partem de 99 libras por ano, com descontos a partir de 4 licenças.

Como usar o Screaming Frog Log File Analyser

Ao fazer o download do Screaming Frog Log File Analyser, você vai se deparar com uma tela assim:

Então, para começar uma análise, você deve fazer upload dos logs do seu site. O Log File Analyser suporta formatos de arquivo Apache, W3C Extended e Amazon Elastic Load Balancing.

Para exemplificar, vamos usar o arquivo de demonstração que a ferramenta oferece. Depois de subir os arquivos, já se vê uma tela com várias informações e gráficos:

Na primeira janela, você vê um resumo das URLs coletadas e dos eventos registrados por dia, bem como as respostas do servidor para as requisições.

Na segunda janela, há um gráfico com as respostas do servidor. Eles são representados pelos seguintes códigos:

• 2xx: sucesso;
• 3xx: redirecionamento;
• 4xx: erro do cliente;
• 5xx: erro do servidor.

Dessa forma, você pode identificar quais páginas estão com erro e qual o motivo do problema para poder corrigi-lo.

Na janela de Eventos, você pode visualizar quais robôs visitaram o seu site e qual é a frequência de visita. Perceba que não é apenas o Googlebot que está em ação — o Bing e o Baidu, por exemplo, também podem estar de olho!

Enfim, na última janela, está o número de URLs que foram rastreadas por cada robô. Se você quiser visualizar apenas as informações de um dos agentes, é possível selecionar apenas o que interessa.

Você ainda pode navegar pelas abas no menu superior (Overview, URLs, Response Codes etc.). Na aba de URLs, por exemplo, você pode descobrir informações interessantes.

Ao clicar nessa aba, você vê uma coluna Number of Events, que se refere ao número de eventos relacionados a determinada página. Esses eventos dizem respeito à quantidade de vezes que o robô visitou o site.

Portanto, com essa coluna, você pode descobrir quais são as páginas mais ou menos rastreadas. Isso pode estar relacionado à frequência de atualização da URL, mas também ao nível de relevância que o Google dá àquela página. Se o robô visita várias vezes, provavelmente aquela página é importante para o buscador, e você deve dar atenção a ela.

Essa mesma informação pode ser encontrada na aba “Directories”. Nesse caso, o número de eventos se refere às visitas do robô a diretórios do site, como o blog ou categorias de páginas.

Enfim, essas são as duas ferramentas que a Screaming Frog oferece ao mercado de SEO. As informações que elas disponibilizam são valiosas para fazer auditorias de sites. Porém, é preciso saber ir além dos relatórios básicos e explorar a infinidade de dados, conhecer todos os recursos, acessar todas as abas e cruzar informações para embasar suas decisões estratégicas.

Agora, leia o nosso artigo sobre como fazer relatórios de SEO a partir de dados coletados em uma auditoria para gerar insights e resultados.