Ci sono momenti in cui tutto sembra funzionare alla perfezione e, poi, improvvisamente… Googlebot decide di prendersi una vacanza.
Se la tua azienda è proprietaria di più siti e hai notato che Google ha smesso di analizzarli contemporaneamente, non disperare: potrebbe esserci una spiegazione logica.
Il Google Search Advocate, John Mueller, ha recentemente offerto delle preziose indicazioni su come affrontare i problemi di scansione che colpiscono più domini contemporaneamente.
Ti sembra il tuo caso? Allora continua a leggere, questa guida potrebbe fare al caso tuo.
Quando l’infrastruttura condivisa ti gioca un brutto scherzo
La causa più comune per cui Google smette di analizzare più domini contemporaneamente è legata all’infrastruttura condivisa.
Stiamo parlando di CDN (Content Delivery Network) o di altre soluzioni comuni che possono influenzare più siti allo stesso tempo.
John Mueller ha sottolineato spesso che l’infrastruttura condivisa possa spesso essere il tallone d’Achille in situazioni simili.
“Se l’infrastruttura è condivisa tra un gruppo di domini e il problema riguarda il crawling, è probabile che si tratti di un problema legato a un elemento condiviso dell’infrastruttura”, ha detto Mueller.
Quindi, il primo passo è controllare se il problema interessa solo uno dei tuoi domini o più.
Se sono più di uno, potresti aver trovato la tua risposta.
La ricerca del problema: dalla CDN ai registri
La storia parte da un’interruzione segnalata da Adrian Schmidt su LinkedIn: il crawler di Google aveva smesso di accedere ai suoi domini contemporaneamente, senza alcun errore evidente in Search Console o nei test in tempo reale.
Schmidt aveva verificato che non c’erano errori 5xx (quegli errori che possono mettere un sito completamente fuori uso) o problemi con robots.txt.
Se non sai cos’è il robots.txt, leggi questo interessante articolo a riguardo:
guida alla configurazione del robots.txt.
Allora, cosa potrebbe essere successo?
Secondo Mueller, quando il problema riguarda più domini, l’infrastruttura condivisa è il primo sospettato.
Cloudflare, ad esempio, è una CDN che potrebbe rappresentare un punto di vulnerabilità se usata su più siti.
Se stai pensando: “ma il traffico è a posto, il DNS è ok”, ricorda che Mueller ha sottolineato che anche il DNS non è da escludere solo perché sembra funzionare. Le statistiche di scansione di Search Console possono offrire ulteriori indizi.
Mueller ha aggiunto:
“Le statistiche di scansione in Search Console potrebbero fornire ulteriori informazioni, aiutandoti a capire se il problema riguarda il DNS o richieste fallite. Se tutti i problemi si verificano contemporaneamente su più domini, è improbabile che sia un problema legato al file robots.txt o al DNS.”
L’elemento temporale ci aiuta in questo caso.
Se il problema si verifica nello stesso momento su tutti i domini, è improbabile che sia un problema isolato come quello del file robots.txt o dei singoli DNS.
Brevi interruzioni? Respira, nessun panico
Un’altra rassicurazione arriva dal fatto che brevi interruzioni della scansione, della durata di poche ore, non influenzano negativamente il posizionamento SEO.
Mueller è stato chiaro su questo punto: “se si tratta di oggi e dura solo poche ore, non mi aspetterei problemi visibili nella ricerca”.
Questo significa che, sebbene sia fastidioso notare che Googlebot ha smesso di scansionare il tuo sito, non è necessariamente un disastro imminente.
Le pause temporanee non danneggiano direttamente il posizionamento del tuo sito, ma possono limitare la capacità di Google di scoprire e indicizzare nuovi contenuti, e questo potrebbe rappresentare un problema se hai pubblicato un contenuto importante proprio in quel momento.
Come muoversi quando Googlebot non scansiona: i passaggi pratici
Bene, ora che sappiamo che il problema può dipendere dall’infrastruttura condivisa, cosa possiamo fare?
Ecco i passaggi pratici che Mueller consiglia per risolvere il problema:
- Verifica se il problema colpisce più siti contemporaneamente.
- Dai un’occhiata alla tua infrastruttura condivisa. Cloudflare e altri CDN potrebbero essere parte del problema.
- Utilizza i dati di Search Console per cercare ulteriori dettagli e determinare se il problema riguarda il DNS o richieste non riuscite.
- Non escludere il DNS solo perché il traffico sembra a posto. Potrebbe esserci qualcosa su cui vale la pena indagare.
- Tieni sempre d’occhio i tuoi registri per capire se ci sono pattern anomali o errori specifici che si verificano ripetutamente.
Per chi utilizza una CDN: alcuni consigli extra
Se i tuoi siti utilizzano una CDN, ci sono alcune cose che puoi fare per evitare problemi di scansione futuri:
- Assicurati di avere una buona registrazione degli eventi. Avere log dettagliati ti permetterà di diagnosticare rapidamente qualsiasi anomalia.
- Monitora costantemente la velocità di scansione. Una diminuzione significativa potrebbe indicare che c’è qualcosa che non funziona.
- Sappi a chi rivolgerti quando le cose vanno male. Può sembrare banale, ma avere un contatto di riferimento nel tuo provider di infrastruttura potrebbe fare la differenza.
Perché questo è importante per il tuo business
Quando Googlebot smette improvvisamente di scansionare i tuoi siti, può sembrare di essere in balia degli eventi.
Non è solo una questione SEO; è una questione di visibilità, di essere al momento giusto davanti al pubblico giusto. Ogni minuto in cui Google non scansiona il tuo sito è un minuto in cui nuovi contenuti, nuove offerte, nuovi articoli non vengono scoperti.
Una breve pausa potrebbe non causare problemi immediati, ma ti priva dell’opportunità di restare al passo con la concorrenza. In più, se i problemi di scansione diventano sistematici, rischi di perdere potenziale visibilità nel lungo periodo.
Concludendo: pronto a risolvere i tuoi problemi di scansione?
Se hai avuto un problema di scansione multi-dominio con Googlebot, fai una verifica dell’infrastruttura.
Il primo passo è non farsi prendere dal panico, ma esaminare la situazione con calma e metodo.
La diagnosi dei problemi di scansione può sembrare complicata, ma con i giusti strumenti – come Search Console e una buona gestione dei log – puoi risolvere la situazione rapidamente.
E tu, hai mai avuto problemi con Googlebot che non scansionava i tuoi domini? Come li hai affrontati? Raccontaci la tua esperienza nei commenti qui sotto! Se hai bisogno di una consulenza SEO, non esitare a contattarci.