Googlebot ha risorse limitate per ogni sito. Il crawl budget è il numero di pagine che Google decide di scansionare in un dato periodo. Per siti piccoli (sotto 1.000 pagine) non è un problema: Google riesce a scansionare tutto. Per siti grandi (10.000+ pagine) è critico: se Google spreca il crawl budget su pagine inutili, le pagine importanti vengono scansionate meno frequentemente e si posizionano peggio.
URL con parametri filtro (colore, taglia, prezzo), pagine di ricerca interna, archivi tag con pochi articoli, pagine di paginazione profonda, URL con session ID. Ogni visita di Googlebot a queste pagine è crawl budget sottratto alle pagine che generano traffico e revenue.
Ogni redirect 301 richiede due richieste invece di una. Le catene di redirect (301→301→200) ne richiedono tre. Pagine che rispondono con errore 500 vengono ricrawlate più frequentemente per verificare se il problema è risolto, sprecando ulteriore budget. Link interni a pagine 404 guidano Googlebot verso vicoli ciechi.
Blocca in robots.txt le directory a basso valore (parametri filtro, ricerca interna). Usa noindex sulle pagine che non devono apparire nei risultati ma devono restare accessibili agli utenti. Risolvi le catene di redirect: ogni link deve puntare alla destinazione finale. Aggiorna la sitemap rimuovendo URL non indicizzabili. Migliora la velocità del server: un server veloce permette a Googlebot di scansionare più pagine nello stesso tempo.
In Search Console, il report "Statistiche di scansione" mostra quante pagine Google scansiona al giorno. Se il numero è molto inferiore alle pagine totali del sito, hai un problema. Se pagine importanti non vengono indicizzate nonostante siano nella sitemap, il crawl budget potrebbe essere la causa. Fertilyze analizza il crawl budget e identifica le pagine che lo sprecano.
Il tuo account LANGA ti connette a tutta la Galaxy.
Articoli completi su tutti i blog Galaxy.
Un solo login, accesso ovunque.
Guadagna Leghe e sblocca contenuti premium.