ChatGPT-User

Az elvesztett látogató itt már döntés előtt áll

Aki a ChatGPT-be beilleszti a linkedet, az nem böngészik. Összehasonlít, árat keres, feltételeket ellenőriz. Ha a lekérés 403-mal elhasal, a modell inkább a versenytársad elérhető oldalát idézi.

A tréning-tiltás nem ugyanaz, mint az elérés-tiltás

Sok oldal a GPTBot tiltása közben véletlenül a ChatGPT-Usert is kizárja. A tartalmad így sem a tanításba nem kerül be, sem a válaszokba. Ez a legrosszabb kombináció, mert csak a hátrányt hozza.

Üzleti hatás

• Kevesebb márkaemlítés és hivatkozás a generatív válaszokban.
• Az ügynöki vásárlási folyamatok félbeszakadnak a kosár előtt.
• A hallucináció esélye nő: friss adat híján a modell régi vagy idegen forrásból dolgozik.

A GEO szempontjából ez alapfeltétel. Hiába jó a szöveged, ha a lekérő be sem jut.

Vonatkozik rá minden nyilvános oldal, amelyet ügyfél, partner vagy újságíró beilleszthet egy AI-chatbe. Különösen fontos a webshopoknál, a szolgáltatásoldalaknál és az ár- vagy feltétel-jellegű aloldalaknál.

Kiemelten érinti:

• azokat az oldalakat, amelyek előtt Cloudflare, WAF vagy bot-védelem van;
• a webshopokat, ahol egy AI-ügynök (agent) végigmenne a kosáron;
• a B2B-oldalakat, ahol az ajánlatkérés előtt ellenőriznek.

Nem releváns a staging és fejlesztői környezeteknél, a belépés mögötti felületeknél, valamint az adminfelületeknél. Ezeket továbbra is zárva kell tartani, és a noindex, meta robots és X-Robots-Tag vagy a jelszavas védelem a helyes eszköz rájuk.

1. Nyisd meg a https://oldalad.hu/robots.txt címet a böngészőben. Keress rá a ChatGPT-User és a User-agent: * blokkokra.
2. Futtass egy lekérést a bot fejlécével curl-lel, és nézd meg a státuszkódot.
3. Ismételd meg a fontos aloldalakkal is: főoldal, egy szolgáltatásoldal, egy termékoldal, a kapcsolat.
4. Nézd meg a szerver hozzáférési logját, és szűrj a ChatGPT-User szövegre. Így látod a valódi forgalmat és a rájuk adott válaszkódokat.
5. Ha van bot-védelmed, ellenőrizd a szabálylistát. A Cloudflare esetében az AI-botokra vonatkozó kapcsoló és a Bot Fight Mode a két tipikus tettes.
6. Teszteld élesben: kérd meg a ChatGPT-t, hogy foglalja össze egy konkrét aloldaladat.

Jó jel

• A curl-lekérés HTTP/2 200 választ ad, és a HTML tartalmazza a fő szöveget.
• A robots.txt nem tiltja a ChatGPT-User tokent.
• A logban szerepelnek 200-as ChatGPT-User kérések az OpenAI IP-tartományaiból.

Rossz jel

• 403, 429 vagy 503 státusz, esetleg egy JavaScript-alapú ellenőrző oldal HTML-je.
• A böngészőben látott tartalom eltér a bot által kapottól. Ez már cloaking kockázat.
• Disallow: / a ChatGPT-User blokkban vagy a * blokkban.
• A ChatGPT azt válaszolja, hogy nem tudta megnyitni a linket.

WordPress

1. Ha statikus robots.txt fájl van a gyökérben, szerkeszd azt. Ha nincs, a Yoast vagy a Rank Math robots.txt-szerkesztőjét használd.
2. Vedd ki a ChatGPT-User tokent a tiltások közül, vagy tedd egyértelművé az Allow: / sorral.
3. Nézd át a biztonsági bővítmény (Wordfence, iThemes, All In One WP Security) bot- és rate limit szabályait.
4. Ellenőrizd a .htaccess fájlt: a régi user agent alapú tiltások gyakran itt maradnak.

Shopify

1. A témában hozd létre vagy szerkeszd a robots.txt.liquid sablont a Edit code menüben.
2. A generált szabályokhoz adj hozzá saját blokkot, majd ellenőrizd a publikált robots.txt-t.
3. A bot-védelmi és tűzfal-kiegészítőknél nézd meg, van-e AI-bot szűrés.

Unas

1. Az adminban a keresőoptimalizálási beállításoknál keresd a robots.txt tartalmát.
2. Ha nincs szerkeszthető mező, kérd az ügyfélszolgálattól a szabály módosítását.
3. Teszteld a végeredményt a publikus /robots.txt címen.

Shoprenter

1. Az adminban a SEO-beállítások között szerkeszd a robots.txt tartalmát.
2. Ügyelj rá, hogy a kosár és a fiók tiltása maradjon meg, csak a bot-tiltást oldd fel.
3. Mentés után frissítsd a gyorsítótárat, és ellenőrizd a publikus fájlt.

Egyedi fejlesztés

1. A webszerver konfigjában keresd az if ($http_user_agent ...) vagy BrowserMatch szabályokat.
2. A Cloudflare WAF-ban a menedzselt AI-bot szabályt állítsd Allow értékre a ChatGPT-User esetén.
3. Ha rate limitet használsz, adj a lekérőnek reális keretet. Egy felhasználói kérés általában kevés letöltéssel jár.
4. A robots.txt fájlt a gyökérben, text/plain típussal, 200-as kóddal szolgáld ki.
5. Frissítés után futtasd újra a curl-tesztet minden érintett sablontípuson.

• Mindent egy kalap alá venni: a GPTBot tiltása mellé odakerül a ChatGPT-User is, így a saját ügyfeled sem éri el a linket a chatben.
• Néma WAF-blokk: a robots.txt engedi, a tűzfal mégis 403-at ad, és erről sehol nincs visszajelzés.
• JavaScript-függő tartalom: a lekérő a nyers HTML-t kapja, a fő szöveg viszont csak kliensoldalon jelenik meg.
• Agresszív rate limit: néhány kérés után 429 jön, pedig a bot nem terhel komolyan.
• Eltérő tartalom botnak és embernek: ez cloaking, és a keresőknél is büntethető.
• Elfelejtett örökölt szabály: egy régi .htaccess user agent tiltás évekig a helyén marad, senki nem nézi.
• Robots.txt rossz válaszkóddal: a fájl 404-et vagy HTML hibaoldalt ad vissza, így a szabályok kiértékelése is bizonytalan.

Különválasztott engedélyezés a robots.txt fájlban. A tréninghez nem adsz tartalmat, a kereséshez és a felhasználói lekéréshez igen:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /
Disallow: /kosar/
Disallow: /fiok/

User-agent: *
Disallow: /wp-admin/

Sitemap: https://pelda.hu/sitemap.xml

Ellenőrzés a bot fejlécével. A válasz első sorában 200-at akarsz látni, nem 403-at vagy 429-et:

curl -sI -A "Mozilla/5.0 (compatible; ChatGPT-User/1.0; +https://openai.com/bot)" \
  https://pelda.hu/szolgaltatasok

# és a tényleges HTML-tartalom első sorai:
curl -s -A "Mozilla/5.0 (compatible; ChatGPT-User/1.0; +https://openai.com/bot)" \
  https://pelda.hu/szolgaltatasok | head -n 40

Ha a head kimenetében csak egy ellenőrző oldal vagy üres váz látszik, a lekérő sem lát többet.