Kas yra robots.txt failas?

Robots.txt failas nurodo paieškos sistemų robotams, kuriuos jūsų svetainės puslapius jie gali tikrinti ir indeksuoti, o kurių turėtų vengti.

Jūsų svetainėje yra nedidelis tekstinis failas, kuris veikia kaip instrukcijų rinkinys paieškos sistemų robotams. Šis failas vadinamas robots.txt ir yra patalpintas jūsų svetainės šakniniame kataloge. Robots.txt failas nurodo paieškos sistemų robotams, kuriuos jūsų svetainės puslapius jie gali tikrinti ir indeksuoti, o kurių turėtų vengti.

Paieškos sistemos kasdien siunčia robotus (botus) naršyti po internetines svetaines ir rinkti informaciją. Be robots.txt failo, šie robotai gali pasiekti bet kurį jūsų svetainės puslapį. Tai reiškia, kad jūsų bandomieji puslapiai, dubliuotas turinys ar vidinės paieškos rezultatai gali atsirasti Google rezultatuose.

Suprasti, kaip veikia robots.txt failas, yra svarbu kiekvienam svetainės savininkui. Šiame straipsnyje sužinosite, kaip teisingai sukonfigūruoti šį failą, kokias komandas naudoti ir kokių klaidų vengti. Taip galėsite geriau kontroliuoti, kaip paieškos sistemos mato jūsų svetainę.

Pagrindiniai Dalykai

Robots.txt failas yra tekstinis failas, kuris valdo paieškos sistemų robotų prieigą prie jūsų svetainės puslapių
Failas naudoja paprastą sintaksę su komandoms kaip "User-agent", "Disallow" ir "Allow" nurodyti, ką robotai gali daryti
Reguliarus robots.txt failo testavimas ir atnaujinimas padeda išvengti indeksavimo klaidų ir pagerinti SEO rezultatus

Robots.txt svarba ir pagrindinės funkcijos

Robots.txt failas atlieka esminį vaidmenį valdant, kaip paieškos sistemų robotai naršo jūsų svetainę. Šis paprastas tekstinis failas tiesiogiai įtakoja, kokie puslapiai bus indeksuojami ir rodomi SERP rezultatuose.

Robots.txt ir paieškos sistemų robotai

Robots.txt failas veikia kaip pirmas kontakto taškas tarp jūsų svetainės ir paieškos robotų. Kai Google ar kitos paieškos sistemos robotas aplanko jūsų svetainę, jis pirmiausia ieško šio failo adresu www.jusu-svetaine.lt/robots.txt.

Šis failas nustato aiškias taisykles, kuriuos svetainės puslapius robotai gali naršyti. Galite užblokuoti prieigą prie administratoriaus puslapių, bandomųjų versijų ar dublikuoto turinio. Taip pat galite valdyti robotų naršymo greitį, kad jie neapkrautų jūsų serverio.

Pagrindinės robots.txt funkcijos:

Draudžia arba leidžia prieigą prie konkrečių puslapių
Nurodo XML sitemap vietą
Taupo serverio išteklius ribojant robotų aktyvumą
Apsaugo nuo nepageidaujamo turinio indeksavimo

Verta žinoti, kad geri robotai laikosi robots.txt nurodymų, tačiau blogi robotai gali juos ignoruoti.

Poveikis SEO ir svetainės matomumui

Teisingai sukonfigūruotas robots.txt failas tiesiogiai veikia jūsų SEO rezultatus. Užblokavę nereikalingus puslapius, leisite paieškos robotams sutelkti dėmesį į svarbų turinį, kuris turėtų būti matomas SERP.

Dažniausios SEO klaidos atsiranda, kai netyčia užblokuojate svarbius puslapius. Tokiu atveju Google negali jų indeksuoti, ir jie nepasirodys paieškos rezultatuose. Google Search Console įrankis padeda patikrinti, ar jūsų robots.txt failas veikia teisingai.

Gerai sukonfigūruotas failas pagerina naršymo biudžetą - robotai greičiau atranda naujus puslapius ir efektyviau juos indeksuoja. Tai ypač svarbu didelėms svetainėms su tūkstančiais puslapių. Nurodydami sitemap vietą robots.txt faile, pagreitinate naujo turinio atradimą ir indeksavimą.

Kaip veikia robots.txt failas

Robots.txt failas veikia kaip pirmas kontakto taškas tarp jūsų svetainės ir paieškos sistemų robotų. Kai crawleriai aplankydami jūsų svetainę, jie automatiškai tikrina, ar egzistuoja šis failas ir kokias instrukcijas jis turi.

Naršyklės robotų elgsena

Paieškos sistemų robotai visada pradeda svetainės naršymą nuo robots.txt failo patikrinimo. Kai Googlebot, Bingbot ar kiti crawleriai aplanko jūsų svetainę, jie iškart kreipias į www.jususvetaine.lt/robots.txt adresą. Jei failą randa, robotas perskaito visas nurodytas taisykles ir tuomet pradeda naršyti svetainę pagal šias instrukcijas.

Robotai ieško savo konkrečių User-agent nurodymų faile. Jei randa jiems skirtą direktyvą, jie laikosi tik tos sekcijos taisyklių. Kai konkrečios direktyvos nėra, robotai vadovaujasi **User-agent: *** sekcija, kuri taikoma visiems robotams.

Svarbu suprasti, kad robots.txt failas kontroliuoja tik naršymą (crawling), bet ne indeksavimą (indexing). Net jei uždrausite robotui pasiekti tam tikrą puslapį, šis puslapis vis tiek gali būti rodomas paieškos rezultatuose, jei į jį veda nuorodos iš kitų svetainių.

Skirtumai tarp mandagių ir nemandagių robotų

Ne visi internetiniai robotai elgiasi vienodai su robots.txt failu. Pagrindinių paieškos sistemų robotai – Googlebot, Bingbot, Yandexbot – yra laikomi mandagiais robotais, nes jie gerbia ir laikosi robots.txt taisyklių. Šie crawleriai skaito failo instrukcijas ir jų laikosi be išimčių.

Nemandagūs robotai yra visiškai skirtingas reikalas. Tai dažniausiai kenkėjiškos programos, spamerių įrankiai, turinio vogėjai ar kiti blogos valios botai. Jie paprasčiausiai ignoruoja robots.txt nurodymus ir bando pasiekti visas svetainės dalis.

Dėl šios priežasties robots.txt failas nėra saugumo priemonė. Jums nereikėtų pasikliauti tik robots.txt failu, norint apsaugoti privačią informaciją ar jautrius duomenis. Tokiems tikslams būtina naudoti slaptažodžių apsaugą, IP blokavimą ar kitus saugumo mechanizmus.

Robots.txt failo buvimo vieta

Robots.txt failas privalo būti patalpintas šakniniame (root) kataloge – tai yra svetainės pagrindinis aplankas, prieinamas per pagrindinį domeną. Failas turi būti pasiekiamas adresu: https://www.jususvetaine.lt/robots.txt. Pavadinimas turi būti parašytas mažosiomis raidėmis – Robots.txt ar ROBOTS.TXT nebus atpažinti.

Kiekvienas domenas ir subdomenas reikalauja savo robots.txt failo. Jei turite blog.jususvetaine.lt, jam reikės atskiro failo adresu blog.jususvetaine.lt/robots.txt. HTTP ir HTTPS protokolai taip pat traktuojami kaip atskiri šaltiniai.

Kas nutinka, kai failas neprieinamas

Kai robotai neranda robots.txt failo arba jis grąžina klaidą, jie interpretuoja tai kaip leidimą naršyti visą svetainę. Google ir kitos paieškos sistemos traktuoja trūkstamą robots.txt failą kaip Disallow: direktyvą – tai reiškia, kad visi puslapiai yra leidžiami naršymui.

Jei failas grąžina 404 klaidą, robotai elgiasi taip pat – jie naršo visą svetainę be apribojimų. Tačiau jei failas grąžina 5xx serverio klaidas, robotai laiko tai laikina problema ir gali vėliau bandyti vėl.

Galite patikrinti savo robots.txt failo veikimą naudodami Google Search Console robots.txt tester įrankį. Šis įrankis leidžia ne tik pamatyti, ar failas pasiekiamas, bet ir testuoti konkrečius URL, ar jie blokuojami pagal jūsų nurodytas taisykles.

Sintaksė: pagrindinės robots.txt komandos

Robots.txt failas veikia pagal paprastą sintaksę, kuri susideda iš kelių pagrindinių komandų. Kiekviena eilutė faile turėtų būti sudaryta iš lauko pavadinimo, dvitaškio ir nurodymo, pvz., user-agent: Googlebot.

User-agent ir naudotojo agentai

User-agent komanda nurodo, kuriam paieškos sistemos robotui taikomos taisyklės. Jūs galite nurodyti konkrečius robotus arba naudoti universalų simbolį user-agent: *, kuris taikomas visiems robotams.

Populiariausi naudotojo agentai:

Googlebot – pagrindinis Google paieškos robotas
Bingbot – Microsoft Bing paieškos robotas
Baiduspider – Baidu (Kinijos paieškos sistemos) robotas
Slurp – Yahoo paieškos robotas
DuckDuckBot – DuckDuckGo paieškos robotas
Googlebot-Image – Google vaizdų nuskaitymo robotas
Googlebot-Video – Google video nuskaitymo robotas

Galite sukurti atskiras taisyklių grupes kiekvienam robotui. Pvz., jei norite leisti Googlebot pasiekti tam tikrą puslapį, bet užblokuoti kitiems robotams, galite sukurti dvi atskiras grupes su skirtingomis komandomis.

Disallow, Allow ir jų taikymas

Disallow komanda nurodo URL adresus arba katalogus, kurių robotai neturėtų nuskaityti. Allow komanda leidžia robotams pasiekti konkrečius puslapius, net jei jie yra užblokuotame kataloge.

Disallow: / blokuoja visą svetainę visiems robotams. Tai naudinga tik testuojant svetainę prieš paleidimą.

Praktiniai pavyzdžiai:

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /private/public-page.html

Šis pavyzdys blokuoja /admin/ ir /private/ katalogus, bet leidžia pasiekti konkretų puslapį /private/public-page.html. Jei nenurodysite jokio disallow, robotai galės laisvai nuskaityti visą svetainę.

Sitemap komandų integravimas

Sitemap komanda nurodo paieškos sistemoms, kur rasti jūsų svetainės žemėlapį. Tai padeda robotams greičiau ir efektyviau rasti visus svetainės puslapius.

Pavyzdys:

Sitemap: https://jusu-svetaine.lt/sitemap.xml
Sitemap: https://jusu-svetaine.lt/sitemap-images.xml

Galite nurodyti kelis sitemap.xml failus, jei jūsų svetainė turi sudėtingą struktūrą. Svetainės žemėlapis turėtų būti pilnas URL adresas su protokolu (https://).

Ši komanda neturi būti priskiriama konkrečiam user-agent ir gali būti patalpinta bet kurioje failo vietoje.

Wildcard simbolių ir Crawl-delay naudojimas

Wildcard simboliai leidžia lankščiau filtruoti URL adresus. Simbolis * atitinka bet kokį simbolių seką, o $ nurodo URL pabaigą.

Pavyzdžiai:

Disallow: /*.pdf$
Disallow: /*?sessionid=
Disallow: /private-*.html

Pirmoji eilutė blokuoja visus PDF failus. Antroji blokuoja URL adresus su parametru sessionid. Trečioji blokuoja visus HTML failus, kurių pavadinimas prasideda private-.

Crawl-delay komanda anksčiau buvo naudojama robotų nuskaitymo greičiui riboti, tačiau Google nepalaiko šios komandos. Kai kurios kitos paieškos sistemos (pvz., Bing) vis dar ją supranta, bet geriau naudoti Google Search Console nustatymus nuskaitymo greičio valdymui.

Praktiniai robots.txt pavyzdžiai ir naudojimo scenarijai

Robots.txt failas veikia per paprastas direktyvas, kurios nurodo robotams konkrečius veiksmus. Dažniausi scenarijai apima administracinių sričių apsaugą, dublikuoto turinio blokavimą ir techninių katalogų valdymą.

Privatumo ir administracinių sričių apsauga

Administracinės sritys yra pirmieji puslapiai, kuriuos verta apsaugoti nuo paieškos robotų. Prisijungimo puslapiai, valdymo skydai ir vartotojų profiliai neturi būti matomi paieškos rezultatuose.

Štai kaip atrodo paprastas apsaugos pavyzdys:

User-agent: *
Disallow: /admin/
Disallow: /login/
Disallow: /user/

**User-agent: *** reiškia, kad taisyklės taikomos visiems robotams. Disallow direktyva nurodo, kurių katalogų nenaršyti. WordPress svetainėms būtina apsaugoti wp-admin katalogą, kuriame yra visa valdymo sistema.

Jei turite viešų puslapių administraciniame kataloge, galite naudoti Allow direktyvą:

User-agent: *
Disallow: /admin/
Allow: /admin/public-page/

Blokavimas dublikuoto ar laikino turinio

Vidinės paieškos rezultatai ir parametrizuoti URL sukuria daug dublikuoto turinio. Tokie puslapiai neturi vertės lankytojams iš paieškos ir gali suklaidinti Google.

Blokuokite parametrus ir laikinus puslapius:

User-agent: *
Disallow: /search?
Disallow: /*?sort=
Disallow: /temp/
Disallow: /draft/

Žvaigždutė leidžia blokuoti bet kokius URL, kurie turi tam tikrą parametrą. Tai naudinga el. parduotuvėms, kur filtrai ir rūšiavimo parinktys kuria daug variacijų.

Dublikuoto turinio blokavimas padeda Google sutelkti dėmesį į svarbiausius puslapius. Tačiau atminkite, kad blokavimas per robots.txt nereiškia, jog puslapis tikrai nebus rodomas paieškoje.

Specializuotų resursų (pvz., wp-admin) valdymas

WordPress ir kitos platformos turi techninius katalogus, kuriuos robotai turėtų praleisti. Wp-admin yra pagrindinis WordPress valdymo katalogas, kurį būtina blokuoti.

Pilnas WordPress robots.txt failas atrodo taip:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/

Sitemap: https://jusu-svetaine.lt/sitemap.xml

Admin-ajax.php failo išimtis svarbi, nes daugelis funkcijų naudoja šį failą veikimui. Sitemap direktyva nurodo robotams, kur rasti svetainės struktūrą su svarbiais puslapiais.

Niekada neblokuokite CSS ir JavaScript failų. Google reikia šių išteklių, kad teisingai matytų jūsų svetainę. Seniau buvo praktika blokuoti js ir css katalogus, bet dabar tai kenkia indeksavimui.

Robots.txt klaidos, testavimas ir atnaujinimai

Neteisingas robots.txt failo konfigūravimas gali užblokuoti svarbius puslapius arba leisti indeksuoti nereikalingą turinį. Klaidos dažnai pastebimos tik tada, kai svetainės srautas jau krenta, todėl reguliarus testavimas ir atnaujinimas yra būtinas.

Dažniausios sintaksės ir įgyvendinimo klaidos

Viena dažniausių klaidų – neteisinga robots.txt sintaksė. Jei praleisti tarpus tarp direktyvų arba klaidingai parašyti komandas, robotai gali neteisingai interpretuoti taisykles. Pavyzdžiui, Dissallow: / vietoj Disallow: / neveiks.

WordPress svetainėse dažna klaida – blokuoti visą /wp-admin/ katalogą nepridedant Allow: /wp-admin/admin-ajax.php. Ši eilutė būtina, nes daugelis temų naudoja šį failą dinaminio turinio įkėlimui. Be jos Google mato sulūžusią svetainę.

Kita problema – /wp-content/ blokavimas. Tai draudžia prieigą prie visų paveikslėlių ir failų. Jūsų produktų nuotraukos nepateks į Google Images, o tai sumažina srautą 12-18 procentų e-parduotuvėms.

Staging aplinkos robots.txt failas, paliktas produkcijoje, užblokuoja visą svetainę. Eilutė Disallow: / neleidžia indeksuoti jokio puslapio, o atkūrimas gali užtrukti 2-6 savaites.

Klaidų poveikis indeksavimui

Robots.txt kontroliuoja skenavimą, bet ne indeksavimą. Jei puslapis jau Google indekse ir jūs jį užblokuojate per robots.txt failą, Googlebot nebegali jo aplankyti. Puslapis lieka paieškos rezultatuose, bet vietoj aprašymo rodoma žinutė apie robots.txt blokavimą.

Norint pašalinti puslapį iš indekso, reikia naudoti noindex meta žymą arba X-Robots-Tag antraštę. Robots.txt neturi šios funkcijos. Pirma įdėkite <meta name="robots" content="noindex"> į puslapio kodą. Tada per Google Search Console paprašykite reindeksavimo.

Tik kai puslapis išnyksta iš indekso, galite pridėti Disallow taisyklę. Priešinga tvarka neveikia ir palieka puslapį SERP'e be aprašymo.

Robots.txt failo tikrinimo įrankiai

Google Search Console yra pagrindinis įrankis robots.txt testavimui. Skiltyje "URL Inspection" įveskite puslapio adresą ir patikrinkite, ar robots.txt neblokuoja prieigos. Skiltyje "Indexing > Pages" ieškokite statuso "Indexed, though blocked by robots.txt" – tai rodo problemą.

Kiti naudingų įrankiai:

Screaming Frog su "Respect robots.txt" parinktimi rodo, kiek URL užblokuota
Serverio log failų analizė parodo, kur Googlebot praleidžia daugiausiai laiko
Internetiniai robots.txt testeriai tikrina sintaksės klaidas

Atverkite jususvetaine.lt/robots.txt naršyklėje. Failas turi būti matomas visiems lankytojams. Jei matote klaidas arba vienišą Disallow: /, ištaisykite nedelsiant.

Naujausi pakeitimai ir rekomendacijos

Robots.txt standartas oficialiai patvirtintas 2022 metų rugsėjį kaip RFC 9309. Iki tol tai buvo neformalus protokolas nuo 1994 metų. Google nuo 2019 liepos nebepalaiko crawl-delay direktyvos, nors Bing ir Yandex ją dar naudoja.

Nuo 2023 metų atsirado nauji user-agent'ai dirbtinio intelekto modeliams. GPTBot kontroliuoja OpenAI prieigą, Google-Extended valdo Gemini treniravimą, ClaudeBot – Anthropic modelius. Šie robotai atskirti nuo paieškos robotų.

Jei norite blokuoti AI mokymuisi, bet leisti indeksuoti Google paieškoje, naudokite:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Pridėkite robots.txt tikrinimą į svetainės migracijos sąrašą. Stebėjimo įrankiai kaip ContentKing automatiškai praneša apie pasikeitusias robots.txt taisykles. Patikrinkite failą po kiekvieno svetainės atnaujinimo.