PerplexityBot

A hivatkozás a válaszban ma az egyik kevés hely, ahonnan még kattintás jön. Ha a bot nem jut be, nincs miből idézni, és a márkaemlítés esélye is nulla.

• Forgalom: a forrásmegjelölés kattintható link, mérhető látogatóval.
• Kontroll: ha nem te döntöd el, mi történik a bottal, akkor egy plugin default beállítása dönt helyetted.
• Konzisztencia: amit a bot lát, az kerül a válaszba. Elavult ár vagy régi cím ugyanúgy bekerül.

A blokkolás egyben adatvédelmi és üzleti döntés is. Van, ahol indokolt, csak legyen tudatos.

Mit néz ebből a riport

Az audit megnézi, hogy a robots.txt és a szerver válasza beengedi-e a PerplexityBot nevű user agentet. Külön jelzi, ha a tiltás nem a robots.txt-ben, hanem a HTTP-válaszban (403, 429) jelenik meg. A riport ezt állapotként közli, nem javaslatként: a beengedés vagy tiltás a te döntésed.

Vonatkozik minden nyilvános, indexelésre szánt oldalra:

• szolgáltatói és bemutatkozó oldalak,
• blogok, tudásbázisok, GYIK-ek,
• webshopok kategória- és termékoldalai,
• helyi vállalkozások kontakt- és árlista-oldalai.

Nem vonatkozik a staging és fejlesztői környezetekre, a belépés mögötti fiókoldalakra, a kosárra és a pénztárra. Ezeket amúgy is ki kell zárni a botok elől, lásd noindex, meta robots és X-Robots-Tag és kosár- és pénztár-oldalak indexelése.

Ha jogi vagy üzleti okból nem akarod, hogy a tartalmad AI-válaszokban szerepeljen, a tiltás legitim választás. Ilyenkor a AI-crawlerek (GPTBot, ClaudeBot, PerplexityBot és társaik) egész körét érdemes egységesen kezelni, nem csak egy botot.

1. Nyisd meg a https://sajatdomain.hu/robots.txt fájlt böngészőben. Keresd a PerplexityBot és a Perplexity-User nevet.
2. Ellenőrizd a User-agent: * blokkot is. Egy globális Disallow: / minden botra érvényes.
3. Kérd le a főoldalt a bot user agentjével curl-lel, és nézd meg a státuszkódot.
4. Nézd át a szerver access logját. Keress rá a perplexitybot stringre, kis- és nagybetű nélkül.
5. Ha van WAF vagy CDN-szintű bot-védelem, nyisd meg a bot-szabályok listáját. Sok szolgáltatónál külön kapcsoló van az AI-crawlerekre.
6. Nézd meg a lekért HTML forrását. Ha a fő szöveg nincs benne, a bot sem látja.

Jó jel

• A robots.txt vagy nem említi a botot, vagy Allow: / szabályt ad neki.
• A curl-kérés 200-as választ ad, és a HTML tartalmazza a fő szöveget.
• A logban rendszeresen látszanak PerplexityBot-kérések.

Rossz jel

• 403-as vagy 429-es válasz a bot user agentjére, miközben a böngésző 200-at kap.
• Disallow: / a bot nevére, anélkül hogy bárki döntött volna róla.
• A logban hónapok óta nulla kérés, pedig az oldal él és indexelt.
• A curl-lel kapott HTML üres váz, a tartalom csak JS-ből épül fel.

WordPress

1. A robots.txt-t sok SEO-plugin kezeli. A plugin beállításai között szerkeszd a fájlt, ne FTP-n.
2. Vedd ki a PerplexityBot nevére szóló Disallow sorokat, ha be akarod engedni.
3. Nézd át a biztonsági pluginek (tűzfal, bot-szűrő) blokkolási listáját. Sok esetben ott van a tiltás, nem a robots.txt-ben.
4. Ellenőrizd, hogy a cache-plugin nem ad-e más HTML-t ismeretlen user agentre.

Shopify

1. Hozz létre vagy szerkessz egy robots.txt.liquid sablonfájlt a témában.
2. A Liquid blokkban adj hozzá saját szabályt a bot nevére.
3. Mentés után hívd le a /robots.txt címet, és nézd meg a végeredményt.

Unas

1. Az adminban keresd a robots.txt szerkesztésére szolgáló mezőt a keresőoptimalizálás résznél.
2. Írd be a bot nevére szóló szabályt, majd mentsd.
3. Ha a felület nem engedi, a támogatással kérhető a beállítás.

Shoprenter

1. A robots.txt a SEO-beállítások alatt szerkeszthető.
2. Ugyanígy a bot nevére adj Allow vagy Disallow sort.
3. Ellenőrizd, hogy a szűrős kategórialistákat továbbra is kizárod.

Egyedi fejlesztés

1. A robots.txt-t a repóban verziózd, ne kézzel szerkeszd a szerveren.
2. A webszerver és a WAF bot-szabályait nézd át együtt: a 403 gyakran onnan jön.
3. Ha rate limitet használsz, adj a botnak elfogadható küszöböt, például néhány kérés másodpercenként.
4. Szerveroldali rendereléssel vagy prerendereléssel add ki a fő tartalmat HTML-ben.
5. A bot azonosításához a publikált IP-listát használd, ne csak a user agent stringet.

• A tiltást nem is te írtad: egy biztonsági plugin vagy CDN-preset zárja ki a botot, és senki nem tud róla.
• A robots.txt engedi, a tűzfal nem: a fájl rendben van, a szerver mégis 403-at ad a bot user agentjére.
• A tréning-bot és a keresőbot összemosása: aki mindent tilt, a hivatkozásokból is kimarad.
• Csak a user agent stringre épített szűrés: bárki beírhatja a nevet, így a hamis bot bejut, a valódi kint marad.
• Üres HTML: a tartalom csak JavaScriptből áll össze, a bot pedig vázat kap.
• Elavult adat az oldalon: a régi ár vagy cím ugyanúgy bekerül a válaszba, mert a bot azt látta.
• A staging nyitva marad: az audit-domain szövege forrásként megjelenhet a live helyett.

Explicit szabály a robots.txt-ben. A két user agent két külön döntés:

# Keresőrobot: az index építéséhez jár
User-agent: PerplexityBot
Allow: /
Disallow: /kosar/
Disallow: /penztar/
Disallow: /kereses

# Felhasználói kérésre induló lekérés
User-agent: Perplexity-User
Allow: /

Sitemap: https://pelda.hu/sitemap.xml

Ellenőrzés curl-lel és a logban. A státuszkód és a HTML-tartalom együtt számít:

# Mit kap a bot?
curl -s -o /dev/null -w "%{http_code}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://pelda.hu/

# Járt-e nálunk egyáltalán?
grep -i "perplexitybot" /var/log/nginx/access.log | tail -20

A 200-as kód a minimum. Ha 403 vagy 429 jön, a blokkolás a szerveren vagy a WAF-ban van, nem a robots.txt-ben.