Robots.txt ir noindex: kaip saugiai valdyti nuskaitymą

Trys skirtingi valdymo būdai

Robots.txt prašo taisyklių besilaikančių robotų nenuskaityti pasirinktų URL. Noindex nurodo neįtraukti jau pasiekto ištekliaus į paieškos indeksą. Autentifikavimas nustato, kas iš tikrųjų gali matyti privatų turinį. Nei robots.txt, nei noindex nėra duomenų apsaugos priemonė.

Kada draudimas naudingas, o kada žalingas?

Viešas paslaugos puslapis su netyčiniu noindex gali išnykti iš paieškos, o bandymų aplinkai apribojimai gali būti būtini. Uždraustas nuskaityti URL vis tiek gali patekti į indeksą be turinio. Nuskaitymo draudimas gali trukdyti Google pamatyti noindex žymą.

Nuspręskite, kas turi nutikti šiam URL

Jei viešas puslapis turi būti paieškoje, leiskite jį nuskaityti ir pašalinkite netyčinį noindex. Jei viešo puslapio paieškoje nereikia, robotas turi galėti perskaityti jo noindex direktyvą. Privačią informaciją saugokite prieigos teisėmis.

Netaisykite vieno perspėjimo pašalindami visus svetainės draudimus. Pirmiausia nustatykite, kokiai aplinkai, keliui ir robotui taisyklė skirta bei kas už ją atsakingas.

1. Peržiūrėkite HTML ir HTTP antraštes

Patikrinkite meta robots, konkretiems robotams skirtas žymas ir X-Robots-Tag atsakymo antraštę. Pastaroji gali veikti ir PDF ar kitus ne HTML failus. Vertinkite bendrą nurodymų poveikį: index žyma nebūtinai panaikina noindex. Nofollow yra atskiras nuorodų sekimo nurodymas, ne noindex pakaitalas.

Patikra robots-special-directives praneša apie aptiktas nosnippet ir noarchive direktyvas. Nosnippet šiuo metu neleidžia Google paieškoje rodyti teksto ištraukų ir vaizdo įrašų peržiūrų; palikite ją tik jei tokio apribojimo siekiate. Noarchive istoriškai valdė nuorodas į podėlyje saugomas kopijas, bet Google paieška jos nebenaudoja, nes tokių nuorodų nebeliko. Tai istorinis diagnostinis signalas, ne aktyvus Google apribojimas; prieš šalindami patikrinkite kitų robotų dokumentaciją.

2. Raskite taikomą robots.txt taisyklių grupę

Atverkite /robots.txt naudodami tiksliai audituojamo URL protokolą ir domeną. Viešoje svetainėje Disallow: / būtina atidžiai patikrinti. Svarbios user-agent grupės ir kelio atitiktis, ne vien taisyklių eilės tvarka. Jei failo nepavyko gauti, informacinis audito rezultatas neįrodo, kad nuskaitymas leidžiamas.

3. Patikrinkite Sitemap įrašus

Įsitikinkite, kad nurodyti sitemap adresai pasiekiami ir įrašyti sąmoningai. Kitame domene laikomas svetainės žemėlapis gali būti tinkamas, todėl domeno skirtumą ištirkite, o ne iškart keiskite. Sitemap padeda atrasti URL, bet nepanaikina noindex ar nuskaitymo draudimo.

4. Patikrinkite numatytą rezultatą

Po diegimo pakartokite HTTP ir HTML patikrą pakeistiems URL bei vienam nepakeistam kontroliniam puslapiui. Spręsdami indeksavimo problemą, vėliau peržiūrėkite URL Search Console. Bandymų aplinkos prieigos apsaugos nešalinkite tikrindami viešą svetainę.

Pavyzdys: viešas puslapis, kurio paieškoje nereikia

Šią žymą dėkite į HTML head tik tada, kai puslapis turi likti viešas, bet nepatekti į paiešką. Neuždrauskite to paties URL robots.txt faile, jei Google turi perskaityti direktyvą.

<meta name="robots" content="noindex">

Next.js: atskirkite privačią sritį

Robots metaduomenis nustatykite atitinkamame serverio puslapyje arba privačios srities layout, o ne bendrame viešos svetainės makete. Tai tik paieškos nurodymas: prisijungimo reikalaujantiems maršrutams vis tiek būtina serverio prieigos patikra.

export const metadata = {
  robots: { index: false, follow: false },
};