Se un ‘Googlebot’ sta martellando il tuo sito e sospetti che sia lui la causa dei picchi di carico, la prima cosa da fare è dubitarne. Un post di Bobbie Chen su Digital Seams pubblicato il 26 luglio 2026 ha rilanciato un problema tecnico noto da anni: molti Googlebot falsi impersonano il crawler ufficiale di Google per aggirare le difese anti-bot. Il vero Googlebot, in genere, si comporta in modo educato: sono gli impostori che aprono connessioni finché il server non cede. Vediamo come distinguerli con metodi che Google stesso ha reso pubblici.
- I Googlebot falsi impersonano il crawler di Google solo cambiando lo user-agent.
- Lo user-agent è testo libero: chiunque può scriverci ‘Googlebot’.
- Metodi affidabili di verifica: reverse DNS confermato (FCrDNS) e controllo dell’IP contro i range pubblicati da Google.
- Bloccare ‘chiunque dica di essere Googlebot’ via user-agent è un errore che rischia la deindicizzazione.
- Lo stesso schema si sta estendendo ai bot AI (GPTBot, ClaudeBot).
Indice
- Cosa sono i Googlebot falsi
- Perché un attaccante finge di essere Googlebot
- Verifica 1: reverse DNS confermato (FCrDNS)
- Verifica 2: controllo dei range IP pubblicati da Google
- Errori da evitare: bloccare per user-agent
- Il problema si estende ai bot AI
Cosa sono i Googlebot falsi
Un Googlebot falso è un bot che invia richieste HTTP dichiarando nell’header User-Agent di essere il crawler di Google, senza esserlo. Nei log del server compare una riga del tipo Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html), identica a quella del vero Googlebot. La differenza sta nell’IP: il traffico di Bobbie Chen, ad esempio, veniva da un IP registrato a Virtual Machine Solutions LLC, un hosting provider — cioè da un server preso in affitto da qualcuno che non è Google.
Il ricercatore Chris Siebenmann, citato da Chen, ipotizza che dietro la crescita recente ci sia una campagna su larga scala di un singolo crawler abusivo gestito da chi può permettersi molti server da molti provider, più che una moda ritrovata. La tecnica in sé è vecchia; il volume no.
Perché un attaccante finge di essere Googlebot
La motivazione è semplice: Googlebot gode di trattamento privilegiato. La maggior parte dei WAF, dei CDN e degli anti-scraping tool ha regole di allowlist per il vero Googlebot, per non rischiare di uscire dall’indice. Impersonandolo, un bot dannoso ottiene accesso a contenuti e funzioni normalmente bloccate — lo stesso speciale di Search Engine Land lo descrive come un pass gratuito per il bot cattivo. Gli scenari tipici sono:
- Scraping di contenuti e listini: si copiano testi, prezzi, cataloghi.
- Scansione di vulnerabilità: si cercano CMS obsoleti, pannelli admin, endpoint API deboli. Un caso documentato è il worm MaMa Casper, che si camuffava da Googlebot per sondare installazioni Joomla e PHP vulnerabili. Non è un caso isolato: anche i malware desktop usano tecniche di camuffamento simili.
- Mascheramento di DDoS o spam: un flood etichettato ‘Googlebot’ scoraggia il blocco automatico.
- Bypass di robots.txt: il vero Googlebot lo rispetta, l’impostore no. Fingendosi Googlebot il bot cattivo si prende anche le regole più permissive che il sito riserva a Google.
Lo schema è identico ad altre tecniche di impersonation più sofisticate: sfruttare la fiducia che il difensore ha in un’entità considerata affidabile.
Verifica 1: reverse DNS confermato (FCrDNS)
Il metodo classico, documentato da Google dal 2007, si chiama Forward-Confirmed Reverse DNS e si fa in due passi.
- Reverse lookup (PTR) sull’IP sospetto: deve restituire un hostname che termina in
googlebot.comogoogle.com. Es.66.249.66.1→crawl-66-249-66-1.googlebot.com. - Forward lookup sull’hostname ottenuto: deve risolvere di nuovo all’IP di partenza.
Se una delle due risoluzioni fallisce o non torna corrispondente, l’IP non è Googlebot, punto. Il doppio controllo serve proprio a impedire che un attaccante configuri un PTR fittizio: senza il forward di conferma, la catena si rompe. La procedura ufficiale è descritta nella pagina Verifying Googlebot and other Google crawlers.
Verifica 2: controllo dei range IP pubblicati da Google
Nel 2021 Google ha semplificato la vita ai sysadmin pubblicando in JSON i range di IP usati dai suoi crawler. I file sono quattro: uno per Googlebot e i crawler comuni, uno per i casi speciali (AdsBot ecc.), uno per i fetcher innescati dagli utenti (verifica sito, AMP cache), e la master list di tutti gli IP di Google. Sono aggiornati periodicamente e vanno riscaricati.
Il vantaggio è operativo: confrontare un IP contro una lista è molto più veloce di una PTR per ogni richiesta. Ed è la strada che hanno preso Cloudflare e AWS WAF, che validano Googlebot per IP, ASN e signature comportamentale, sfidando o bloccando automaticamente chi passa il test dello user-agent ma non quello dell’IP. Se hai visto Googlebot rifiutato da Cloudflare con un 403, probabilmente non era Googlebot.
| Metodo | Pro | Contro |
|---|---|---|
| User-agent | Zero effort | Falsificabile, non è verifica |
| Reverse DNS (FCrDNS) | Sicuro, ufficiale Google | Una query DNS per richiesta |
| IP range (JSON) | Veloce, batch-friendly | Lista da tenere aggiornata |
| WAF/CDN gestito | Zero manutenzione | Falsi positivi su nuovi IP |
Errori da evitare: bloccare per user-agent
La tentazione, quando il carico sale, è bloccare qualunque richiesta con ‘Googlebot’ nell’header. È l’errore più costoso possibile: si taglia anche il crawler reale, con effetti sull’indicizzazione e sulle posizioni. La stessa Google Search Advocate Martin Splitt, in un video pubblicato su YouTube, invita a non reagire a caldo davanti a errori insoliti e a controllare prima quali risposte il server ha effettivamente dato a chi si dichiarava Googlebot — in particolare picchi di 500, timeout e problemi DNS.
Fai anche attenzione a un dettaglio: solo gli hostname googlebot.com e google.com contano. I domini googleusercontent.com o generici IP registrati a Google LLC non bastano, perché includono anche Google Cloud, che chiunque può affittare.
Il problema si estende ai bot AI
Il modello si sta replicando fuori dal perimetro Google. Cloudflare ha misurato una crescita del 18% del traffico dei crawler di ricerca e AI tra maggio 2024 e maggio 2025, con GPTBot in aumento del 305% anno su anno. Human Security, analizzando due settimane di traffico associato a 16 crawler AI noti, ha trovato che il 5,7% delle richieste era falso, con un tasso di spoofing del 16,7% per lo user-agent di ChatGPT.
La logica difensiva non cambia: verifica IP contro le liste ufficiali (OpenAI le pubblica per GPTBot), reverse DNS confermato, alert sui picchi anomali. Il tema si intreccia con quello più ampio della sicurezza dei modelli AI e dei loro strumenti, dove il rischio di impersonation si estende dagli agent ai crawler.
tuttelevitediunmaker su YouTube e Patreon — Se ti interessano cybersecurity, log analysis e come costruire un WAF sensato in casa, sul canale @tuttelevitediunmaker ci sono video pratici, e su Patreon approfondimenti e materiali per chi vuole supportare il progetto. #tuttelevitediunmaker
Domande frequenti
Come faccio a sapere se un Googlebot è vero?
Fai un reverse DNS sull’IP: l’hostname deve terminare in googlebot.com o google.com. Poi fai un forward lookup su quell’hostname: deve tornare all’IP di partenza. Se una delle due verifiche fallisce, non è Googlebot. In alternativa confronta l’IP con i range JSON pubblicati da Google, che sono la soluzione più veloce quando devi validare tanto traffico in batch.
Perché un bot dovrebbe fingere di essere Googlebot?
Perché quasi tutti i sistemi anti-bot trattano Googlebot con guanti bianchi: bloccarlo significa uscire dai risultati di ricerca. Impersonandolo un attaccante bypassa allowlist di WAF e CDN, ignora i limiti di crawl-rate e aggira alcune regole di robots.txt. È il motivo per cui lo scraping abusivo, la scansione di vulnerabilità e certi DDoS scelgono proprio questo travestimento.
I Googlebot falsi possono davvero mandare offline un sito?
Sì, e capita spesso. Il vero Googlebot rispetta un ritmo di crawl controllato; gli impostori no, e possono aprire centinaia di richieste al secondo. Nei casi peggiori esauriscono banda e connessioni finché il server non cede o l’hosting sospende l’account. Il rapporto Imperva 2025 stima che circa il 51% del traffico web sia automatizzato, con una quota significativa di bot dannosi.
Devo bloccarli tutti dal WAF?
Solo dopo aver messo in piedi la verifica IP o DNS, e sempre in modalità monitor prima di enforcement. Un blocco fatto solo sullo user-agent taglia anche Googlebot reale e può costarti indicizzazione e posizioni. La regola operativa è: allowlist degli IP verificati di Google, blocco di tutto il resto che si dichiara Googlebot.
Anche i bot AI come GPTBot vengono impersonati?
Sì, ed è un fenomeno in crescita. L’analisi di Human Security su 16 crawler AI noti ha misurato che il 5,7% del traffico che si dichiara ‘crawler AI’ è spoofato, con punte del 16,7% per ChatGPT. Le contromisure sono le stesse dei Googlebot falsi: verifica per IP contro le liste ufficiali (OpenAI le pubblica), reverse DNS quando possibile, alert sui picchi anomali.
Conclusione
La riga ‘Googlebot’ nel log non è una prova: è un’affermazione. Se il tuo sito viene martellato da un presunto Googlebot, verifica prima l’IP con reverse DNS o contro i range ufficiali; poi, solo poi, decidi se bloccare. È un lavoro noioso, ma protegge tanto la sicurezza quanto il posizionamento organico. Tu hai mai visto ‘Googlebot’ nei log che si è rivelato falso? Raccontamelo nei commenti. #tuttelevitediunmaker
Professionista IT | AI & Cybersecurity | Creator YouTube
Lavoro nel settore utility/energia con focus su intelligenza artificiale e cybersecurity; sul blog e sul canale @tuttelevitediunmaker smonto per mestiere strumenti, protocolli e minacce del mondo maker/IT. Se vuoi supportare i contenuti, mi trovi anche su Patreon.
