Identificação do robô

Este é o ConcedoScanner

Se você chegou aqui pelo log do seu servidor, foi porque alguém pediu uma análise de conformidade do seu site na nossa ferramenta: o scanner gratuito, que é aberto e não exige cadastro. Normalmente é o próprio responsável pelo site. O robô se identifica com este User-Agent:

ConcedoScanner/1.0 (+https://concedo.com.br/robo)

O que ele faz

Na análise pública, lê a página informada e algumas ligadas a ela. A varredura recorrente do domínio existe só para domínio cadastrado e verificado.
Executa a página num navegador real, sem aceitar nenhum banner, e observa o que dispara sozinho.
Registra scripts, iframes, requisições a terceiros e cookies gravados antes de qualquer escolha.
Nas páginas profundas de domínios com o snippet do Concedo, repete a leitura sem resposta, depois de recusar e depois de aceitar, com a escolha gravada só no navegador do robô, nunca no registro de consentimento do seu site.
Nas páginas profundas, rola a página, passa o ponteiro pelos cinco primeiros itens de menu, abre até cinco expansores seguros e tenta tocar o primeiro vídeo.
Nos domínios com o add-on, confere todo dia por HTTP. O navegador reabre o que mudou e as páginas principais.
Espera de 2,5 a 6 segundos por página, para pegar também o rastreador injetado depois do carregamento.

O que ele não faz

Não guarda o conteúdo das suas páginas: o que fica é a lista de rastreadores e a evidência de cada um.
Não preenche nem envia formulários, não digita e não usa o teclado. Durante os gestos, não aciona links, não interage com o banner do Concedo e fecha qualquer aba nova na hora.
Não clica em Sair, Logout, Excluir, Remover, Comprar, Finalizar, Pagar, Enviar, Cadastrar, Assinar, Confirmar, Apagar, Deletar, Cancelar ou Encerrar.
Não entra sozinho em área logada. O sensor observa o que carrega no navegador de quem já entrou, e o painel oferece Mapear área restrita para você fazer um passeio guiado na sua própria conta.
Não sai do domínio analisado: na análise pública fica em poucas páginas dele, e na varredura do domínio cadastrado lê só as rotas desse domínio.
Não rastreia a internet: a análise pública roda quando alguém pede, e a varredura recorrente só existe para domínio cadastrado e verificado.

A análise existe para mostrar o que o site entrega a terceiros antes do consentimento. É o oposto de coletar dado: o que interessa a ela são as tags, não o seu conteúdo.

E o robots.txt?

O robô usa o endereço de sitemap anunciado pelo seu robots.txt para descobrir páginas. A análise pública é feita a pedido de alguém, quase sempre o responsável pelo site, em poucas páginas e com identificação aberta. Quem quiser barrar o robô faz isso na proteção do site, como explicado abaixo, e quem pediu a análise vê que o site bloqueou a leitura, em vez de um relatório vazio. Se o site é seu, cadastre-o no painel e confirme o domínio: a varredura mensal do domínio é feita para domínio verificado. Com o add-on, a conferência por HTTP acontece todo dia e o navegador reabre o que mudou e as páginas principais.

Como liberar o robô

Proteções anti-bot costumam responder ao scanner com um desafio em vez da página. Quando isso acontece nós dizemos que não conseguimos ler o site, nunca que ele está limpo, porque aí ninguém olhou. Para liberar, use uma exceção estreita pelo User-Agent acima, combinada com o IP que apareceu no seu log, o host analisado e uma validade curta. Não libere apenas pelo User-Agent: qualquer cliente HTTP consegue copiá-lo.

Cloudflare

Primeiro confira o campo Service do evento em Security → Analytics. Se foi Super Bot Fight Mode ou Managed Rules, crie uma Custom rule com ação Skip combinando IP de origem do evento, host e User-Agent ConcedoScanner; selecione somente o recurso que bloqueou. O Bot Fight Mode do plano Free não aceita Skip: para um teste pontual, use uma IP Access Rule temporária para aquele IP ou desligue o recurso durante a leitura e reative logo depois.

A resposta traz o cabeçalho cf-mitigated ou uma página "Just a moment…".

DataDome

Localize a decisão no log e crie uma regra temporária para o IP de origem daquele evento junto do User-Agent ConcedoScanner e do host analisado. Se o seu plano não expõe regra composta, peça ao suporte uma allowlist temporária por IP. Nunca deixe uma liberação permanente só por User-Agent.

A resposta traz o cabeçalho x-datadome e uma página de verificação.

Imperva (Incapsula)

Na política que gerou o evento, crie uma exceção temporária de Bot Access Control limitada ao IP visto no log, ao host e ao User-Agent ConcedoScanner. Remova a exceção depois da análise.

A resposta traz o cabeçalho x-iinfo ou o cookie visid_incap_.

Akamai

No Bot Manager, crie uma exceção de monitoramento limitada ao IP visto no evento, ao hostname e ao User-Agent ConcedoScanner. Prefira uma regra com expiração ou retire-a assim que a análise terminar.

A resposta traz cabeçalhos akamai-* ou um Access Denied com número de referência.

Sucuri e outros WAFs

Crie uma exceção curta para o IP registrado no evento, combinada com o host e o User-Agent ConcedoScanner quando o provedor permitir. Em firewall que só aceita IP, libere esse IP apenas durante a análise e retire-o depois.

A resposta traz x-sucuri-block ou um bloqueio genérico do WAF.

Não identificamos a proteção

Procure no log pelo horário e pela URL mostrados no relatório. A exceção deve combinar o IP daquele evento, o host e o User-Agent ConcedoScanner e durar apenas o tempo da análise. Se não souber onde a regra mora, envie esses três dados ao suporte do provedor.

A leitura para sem que nenhum marcador conhecido apareça na resposta.

Se preferir barrar

A mesma regra com ação de bloqueio resolve, e nós respeitamos: o scanner não tenta outro caminho nem troca de identidade para insistir. Quem pediu a análise vê que o site bloqueou a leitura, e não um relatório vazio.

Ainda com dúvida?

Escreva para seguranca@concedo.com.br com a data e o horário do registro no seu log. Respondemos com o que foi analisado e por quem, e removemos o resultado se você for o responsável pelo site e quiser isso.