Robots.txt e indicizzazione: una pagina consentita può essere visualizzata male

Il caso concreto della pagina prezzi

Su Sitelemetry, /pricing rispondeva con HTTP 200 ed era indicizzabile. Il catalogo dei prezzi, però, mancava nel test Google dal vivo. La pagina dipendeva dalla risorsa pubblica /api/plans, bloccata dalla regola generale Disallow: /api/. Il corretto caricamento del documento HTML non bastava quindi a mostrare tutto il contenuto.

Il 12 settembre 2026 è stata aggiunta l’eccezione mirata Allow: /api/plans$. Il test successivo ha mostrato le schede dei prezzi e indicato che la pagina era indicizzabile; è stata poi inviata una richiesta di indicizzazione. Questo prova la correzione del rendering, non un’indicizzazione già ottenuta o visite aggiuntive. L’apertura non riguardava risorse private degli account.

Separare tre domande diverse

Il crawler può recuperare l’URL? Riesce a caricare le risorse necessarie e mostrare il contenuto importante? Il motore di ricerca decide poi di indicizzare la pagina? Sono domande collegate, ma richiedono risposte e prove distinte.

Google spiega i limiti di robots.txt: bloccare la scansione non è un modo affidabile per rimuovere un URL noto dai risultati. Il crawler deve poter leggere un’istruzione noindex; un blocco contemporaneo può impedirglielo. Consulta la documentazione sul blocco dell’indicizzazione. I dati riservati richiedono, separatamente, autentici controlli di accesso. Né robots.txt né noindex protegge le informazioni da accessi non autorizzati.

Esaminare pagina e dipendenze

1. Controlla l’URL esatto: reindirizzamenti, stato, tipo di contenuto e indicazioni di indicizzazione nell’HTML e nelle intestazioni HTTP.
2. Leggi robots.txt dell’origine corretta e le regole per il crawler interessato. Un semplice Allow: / non risolve tutte le regole di percorso più specifiche.
3. Confronta HTML iniziale e browser normale. Individua JavaScript, fogli di stile e dati pubblici necessari ai contenuti decisivi.
4. Nel test Google dal vivo, esamina HTML renderizzato, immagine della pagina e risorse non riuscite. Verifica il contenuto reale, non soltanto uno stato complessivo favorevole.

Un audit statico non è il renderer di Google. Le basi della SEO JavaScript di Google descrivono questi passaggi. Quando manca una prova, mantieni l’elemento come verifica aperta.

Applicare la modifica minima appropriata

Conferma prima che la risorsa debba essere pubblica e sia necessaria al contenuto. In questo caso era il catalogo pubblico dei piani, non dati dei clienti. Il frammento rilevante era:

User-agent: *
Disallow: /api/
Allow: /api/plans$

Non è un robots.txt completo da copiare senza adattamenti. Google usa la regola corrispondente più specifica; $ indica la fine dell’URL. Le varianti con parametri e i percorsi figli non sono quindi automaticamente inclusi. Verifica il comportamento nella specifica ufficiale delle regole. Non aprire indiscriminatamente tutta l’API. Secondo l’architettura, può essere preferibile fornire i contenuti essenziali già nell’HTML. Autenticazione e autorizzazioni restano necessarie.

Ripetere il test con Google e descrivere precisamente il risultato

Verifica prima che robots.txt sia raggiungibile e che la risorsa esatta restituisca i dati pubblici attesi. Poi ripeti il test dal vivo e controlla che compaiano vere schede dei prezzi, non soltanto un segnaposto o un indicatore di caricamento. Registra data del test, contenuto visibile ed eventuali errori di risorse rimanenti.

Può seguire una richiesta di indicizzazione, se coerente con lo stato della pagina. Tieni comunque separato lo stato di indicizzazione dal test dal vivo. Recupero riuscito e rendering corretto non significano che l’URL sia già indicizzato. Ripetere le richieste non garantisce date o posizionamenti. L’affermazione supportata qui è che il test ha mostrato il catalogo prima assente.

Dare priorità al prossimo intervento in base all’effetto

Privilegia le pagine in cui il contenuto mancante impedisce una decisione importante, come confrontare piani o capire un prodotto. Una visualizzazione dei prezzi difettosa merita una correzione senza dover dichiarare grandi volumi di ricerca. Esamina i modelli collegati per trovare la stessa dipendenza, invece di aggiungere autorizzazioni casuali.

Prevedi anche collegamenti interni raggiungibili e una sitemap adeguata. Secondo la documentazione Google sulle sitemap, una sitemap aiuta a scoprire gli URL ma non garantisce scansione o indicizzazione. Separa quindi presenza nella sitemap, risposta HTTP, rendering e prova di indicizzazione. Nessun singolo passaggio garantisce impressioni, clic o acquisti. Il rapporto resta così verificabile e il prossimo intervento concreto.