Google-Extended

A döntés következménye aszimmetrikus

Ha engeded, a tartalmad hozzájárulhat a Gemini-modellek tanításához. Ebből közvetlen forgalmad nem lesz, de a márkanév ismertsége a modellekben hosszú távon számít.

Ha tiltod, cserébe kapsz egy szűk védelmet, és elveszíted azt, hogy a modellek a saját szavaidból tanuljanak rólad. A keresési pozíciód nem változik, az AI-válaszokból nem esel ki.

A valódi kockázat a rossz másolás

A gyakorlatban nem a Google-Extended sor okoz kárt, hanem az, ami mellé kerül. Internetről másolt robots.txt-blokkokban rendszeresen látunk olyan Disallow: / sort, amely nem csak a tréning-tokenre vonatkozik.

• Egy elgépelt user-agent név csendben hatástalan marad.
• Egy rosszul elhelyezett Disallow: / a Googlebotra is átcsúszhat, és akkor az indexelésed megy tönkre.

A riportokban ez a második eset a drága: hetekig tartó forgalomesés egy háromsoros fájl miatt.

Kommunikációs érték

Kiadói és jogi kontextusban a Google-Extended sor a szándék dokumentált kifejezése. Nem technikai védelem, de bizonyítható álláspont arról, hogy nem járultál hozzá a tanításhoz.

Vonatkozik rá minden nyilvános, indexelhető oldal, amelynek van saját robots.txt fájlja. Ez az aldomainre is igaz: a blog.pelda.hu külön robots.txt-t használ, a fődomainé ott nem érvényes.

Érdemi döntés főleg ezeknél:

• kiadók, hírportálok, szakmai blogok: az egyedi szöveg a termék;
• oktatási és tananyag-oldalak: fizetős tudás ingyenes előszobával;
• adatbázis-jellegű tartalom: árlisták, katalógusok, gyűjtemények.

Kevésbé releváns:

• szolgáltató KKV-k és helyi vállalkozások: nekik az ismertség a cél;
• webshopok: a termékleírás jellemzően nem védendő szellemi termék;
• staging és fejlesztői környezet: ott az egész oldalt zárni kell jelszóval, nem robots.txt-vel.

Nem vonatkozik rá: a bejelentkezés mögötti tartalom. Amit a Googlebot nem ér el, azt tanításhoz sem használja senki.

Lépések

1. Nyisd meg a https://adomained.hu/robots.txt címet böngészőben. Ennek 200-as státusszal, sima szövegként kell betöltenie.
2. Keress rá a fájlban a Google-Extended szövegre. Nagybetű-érzéketlen, de a kötőjel kötelező.
3. Nézd meg, melyik User-agent blokkban van a Disallow sor. A robots.txt-ben a legpontosabban illeszkedő blokk érvényes, a többi nem adódik hozzá.
4. Ellenőrizd a Search Console-ban: Beállítások, majd robots.txt jelentés. Itt látod, mikor töltötte le a Google a fájlt, és talált-e benne hibát.
5. Aldomainenként ismételd meg. A shop.pelda.hu és a pelda.hu külön fájl.

Jó jel

• A fájl 200-as kóddal, text/plain típussal jön vissza.
• A Google-Extended blokk külön User-agent sorral kezdődik, és csak a saját Disallow sora tartozik hozzá.
• A Googlebot blokkja érintetlen, a fontos oldalak feltérképezhetők maradnak.
• A döntés tudatos: valaki meg tudja mondani, miért van ott a sor.

Rossz jel

• Disallow: / szerepel a User-agent: * blokkban, és a tréning-tiltás miatt került oda.
• Elgépelt token: GoogleExtended, Google Extended, Google-extended-bot.
• A robots.txt 404-et vagy HTML-hibaoldalt ad vissza.
• A fájl ellentmondásos: az egyik blokk tilt, a másik enged ugyanarra az útvonalra.
• Valaki azért tette be, hogy kikerüljön az AI-válaszokból. Az nem így működik.

Először döntsd el, mit akarsz. Ha nem tudod megindokolni a tiltást, ne tedd be. Az alábbi minta minden rendszerben ugyanaz:

User-agent: Google-Extended
Disallow: /

WordPress

1. Ha van SEO-bővítményed (Yoast, Rank Math, SEOPress), nyisd meg a beépített robots.txt-szerkesztőt.
2. Illeszd be a blokkot a fájl végére, külön User-agent sorral.
3. Ha fizikai robots.txt van a gyökérben, azt szerkeszd FTP-n vagy a tárhely fájlkezelőjében. A fizikai fájl felülírja a WordPress virtuális fájlját.
4. Ürítsd a gyorsítótárat, majd töltsd be a /robots.txt címet inkognitóban.

Shopify

1. Admin, Online Store, Themes, majd Edit code.
2. Hozd létre a robots.txt.liquid sablont, ha még nincs.
3. A Liquid blokk után add hozzá a saját sorodat, a meglévő generált szabályok megtartásával.
4. Mentés után ellenőrizd a nyilvános /robots.txt kimenetet.

Unas

1. Lépj be az adminba, és keresd a SEO-beállítások közti robots.txt szerkesztőt.
2. Illeszd be a blokkot, majd mentsd.
3. Ha a szerkesztő nem érhető el a csomagodban, nyiss ügyfélszolgálati jegyet a pontos szöveggel.

Shoprenter

1. Adminban a SEO vagy Haladó beállítások alatt találod a robots.txt tartalmát.
2. Add hozzá a blokkot a meglévő szabályok alá, ne írd felül őket.
3. Mentés után ürítsd a bolt gyorsítótárát, és nézd meg a publikus fájlt.

Egyedi fejlesztés

1. Ha statikus fájl: a webgyökérben szerkeszd, és tedd be a deploy-folyamatba.
2. Ha route generálja (Laravel, Next.js, Django), a sablonban vedd fel a blokkot, és írj rá egy egyszerű tesztet a tartalomra.
3. Ellenőrizd a Content-Type: text/plain fejlécet.
4. Több domain esetén minden hosztnak saját kimenet kell.

A változás nem azonnali. A Google jellemzően naponta frissíti a robots.txt gyorsítótárát, de számolj egy-két nappal.

• Abban a hitben tiltják, hogy kikerülnek az AI Overviews válaszokból. Nem kerülnek ki, mert azokat a Googlebot táplálja, nem a Google-Extended.
• A Disallow: / a User-agent: * blokkba kerül. Ilyenkor az egész oldal kiesik a feltérképezésből, és a forgalom is vele megy.
• Elgépelt token. A GoogleExtended vagy a Google Extended nem illeszkedik semmire, a szabály néma marad.
• Csak a Google-t tiltják. A GPTBot, a ClaudeBot és a többi robot külön sort kér, erről az AI-crawlerek (GPTBot, ClaudeBot, PerplexityBot és társaik) cikk szól.
• Elfelejtik az aldomaineket. A blog vagy a shop aldomain saját robots.txt-t használ, ott a szabály nincs érvényben.
• Jogi védelemnek hiszik. A robots.txt kérés, nem tűzfal: aki nem tartja be, azt nem állítja meg.
• Betiltják, aztán panaszkodnak, hogy az AI nem ismeri a céget. Ha a márkaemlítés a cél, a tiltás pont ellene dolgozik.

Tiszta, egyértelmű robots.txt, amelyben a tréning-tiltás nem érinti a keresőrobotot:

# Kereső: mindent enged, a technikai útvonalakat kivéve
User-agent: *
Disallow: /wp-admin/
Disallow: /kosar
Disallow: /penztar

# Generatív AI-tréning tiltása a Google-nél
User-agent: Google-Extended
Disallow: /

# Ugyanez az Apple ökoszisztémájában
User-agent: Applebot-Extended
Disallow: /

Sitemap: https://pelda.hu/sitemap.xml

A Google-Extended és az Applebot-Extended külön blokkban áll. Így a User-agent: * szabályai érintetlenek maradnak, és a Googlebot továbbra is feltérképezi az oldalt.

Ellenőrzés parancssorból, két másodperc alatt:

curl -sI https://pelda.hu/robots.txt | head -n 3
curl -s https://pelda.hu/robots.txt | grep -i -A2 "google-extended"

Az első parancs a státuszkódot és a Content-Type fejlécet mutatja. A másodiknak pontosan a te blokkodat kell visszaadnia, a hozzá tartozó Disallow sorral együtt. Ha üres a kimenet, a szabály nincs a fájlban.