ClaudeBot

Rangsorolásra nincs hatása

A ClaudeBot nem indexel, nem rangsorol, nem hoz organikus látogatót. A rangsorolás szempontjából a tiltása és az engedése egyaránt semleges. Aki attól fél, hogy a blokkolás "rontja a SEO-t", téved.

A márka ismertségére viszont igen

Ha a bot soha nem látta az oldaladat, a modell csak külső forrásokból tud rólad. Ilyenkor a válaszokban a versenytárs neve szerepel, vagy semmi. A márkaemlítés esélyét részben az dönti el, mennyi hiteles, saját szöveg jutott el a modellekhez.

Szerverterhelés

A riportokban rendszeresen látunk olyan oldalakat, ahol az AI-botok adják a lekérések 10-30 százalékát. Kis tárhelyen ez mérhető lassulás. Ha a TTFB (Time to First Byte) ugrál, érdemes megnézni a naplót, mielőtt csomagot váltasz.

Tartalmi és jogi szempont

Fizetős tudásbázis, oktatóanyag, egyedi adatbázis esetén reális döntés a tiltás. A robots.txt nem jogi eszköz, hanem kérés. Az Anthropic dokumentációja szerint a ClaudeBot figyelembe veszi, de a tényleges védelmet csak hitelesítés mögé zárás adja.

Vonatkozik rá

• Minden nyilvános, hitelesítés nélkül elérhető oldal: bemutatkozó weboldal, blog, webshop, hírportál.
• Tartalomgyártók, akiknek a szöveg maga a termék.
• Nagy termékkatalógussal futó webshopok, ahol a bot-forgalom terhel.

Kevésbé vagy egyáltalán nem vonatkozik rá

• Jelszóval védett felületek, ügyfélkapuk, adminfelületek: a bot ezekhez nem fér hozzá.
• Staging és fejlesztői környezetek, ha HTTP-hitelesítés védi őket. Ha nem, ott nem a ClaudeBot az elsődleges baj, hanem az indexelés.
• Tisztán helyi, offline üzletek egyoldalas névjegye: ott a döntésnek alacsony a tétje.

Webshopnál külön gondold végig a kosár- és pénztár-oldalakat. Azokat minden bot elől érdemes kizárni, nem csak az AI-botok elől.

Lépések

1. Nyisd meg a https://adomained.hu/robots.txt címet a böngészőben. Keresd rá a ClaudeBot szóra.
2. Nézd meg a szerver hozzáférési naplóját. Tárhelyen jellemzően a logs/access.log fájl, VPS-en /var/log/nginx/access.log.
3. Szűrj a bot nevére, és számold meg a napi lekéréseket.
4. Ha van előtted CDN vagy tűzfal, nézd meg annak a bot-statisztikáját is. A CDN (tartalomszolgáltató hálózat) szintjén gyakran már azelőtt eldől a kérés sorsa, hogy a robots.txt számítana.
5. Ellenőrizd, hogy a válasz státuszkódja 200 vagy 403. A 403 azt jelenti, hogy valami blokkolja, akár szándékodon kívül.

Jó jel

• A robots.txt szándékos, dokumentált szabályt tartalmaz a ClaudeBot névre.
• A Claude-SearchBot külön kezelve szerepel, nem csúszik bele egy általános tiltásba.
• A bot 200-as válaszokat kap a fontos oldalakra, ha engedni akarod.
• A napi lekérésszám arányos az oldal méretével.

Rossz jel

• A robots.txt-ben egy User-agent: * alatti Disallow: / sor mindent tilt, és senki nem tud róla.
• A bot 403-at kap egy biztonsági plugin miatt, miközben a tulajdonos engedni szeretné.
• Ezer terméknél napi több tízezer lekérés, jellemzően szűrő- és rendezésparaméteres URL-eken.
• A robots.txt egyáltalán nem létezik, 404-et ad.

Először döntsd el, mit akarsz: engedni, tiltani, vagy csak a tréninget tiltani és a keresést engedni. A technikai lépés utána jön.

WordPress

1. Ha SEO-bővítményt használsz, ott van robots.txt szerkesztő. Yoast esetén a Tools, File editor menüpontban.
2. Írd be a kívánt szabályblokkot, mentsd, majd töltsd be a /robots.txt címet, és ellenőrizd.
3. Ha fizikai robots.txt fájl van a gyökérben, a bővítmény nem írja felül. Azt FTP-n vagy fájlkezelőben módosítsd.
4. Biztonsági bővítmény (Wordfence, iThemes) esetén nézd meg a bot-blokkolási listát is.

Shopify

1. Az Online Store, Themes menüben szerkeszd a robots.txt.liquid fájlt. Ha nincs, hozd létre sablonként.
2. A Liquid blokkokon kívül adj hozzá saját User-agent szabályt.
3. Mentés után ellenőrizd élesben a /robots.txt címet.

Unas

1. Az adminfelületen keresd a SEO beállítások közti robots.txt szerkesztőt.
2. Írd be a szabályt, mentsd, majd ürítsd a gyorsítótárat.
3. Ha a felület nem enged egyedi sort, kérd az ügyfélszolgálattól. Sablonos rendszernél ez a gyorsabb út.

Shoprenter

1. A SEO vagy Haladó beállítások alatt található a robots.txt tartalma.
2. Egészítsd ki a saját blokkal, majd ellenőrizd a nyilvános URL-en.
3. Ügyelj rá, hogy a rendszer alapértelmezett sorait ne törölj ki.

Egyedi fejlesztés

1. Statikus robots.txt fájlnál egyszerű szerkesztés, majd cache-ürítés.
2. Ha a fájlt az alkalmazás generálja, a route-ban vedd fel az új szabályt.
3. Oldalszintű finomhangoláshoz használd az X-Robots-Tag fejlécet, de tudd, hogy a tréning-botokra ez nem ad garanciát.
4. Valódi kizáráshoz tedd a tartalmat hitelesítés mögé.

Kiegészítés

Ha engeded a botot, segítsd is. Egy rendezett XML sitemap és egy llms.txt olcsó, és a riportokban látszik, hogy a magyar KKV-oldalak többségén egyik sincs meg.

• Mindent tiltó, másolt robots.txt: egy fórumról átvett blokk gyakran a keresőbotokat is kizárja, és hónapokig senki nem veszi észre.
• A ClaudeBot és a Claude-SearchBot összemosása: aki mindkettőt tiltja, a tréninggel együtt az idézhetőségét is kizárja.
• A tiltás jogi védelemnek hitt: a robots.txt kérés, nem zár. Érzékeny tartalom csak belépés mögött van biztonságban.
• Rosszul írt bot-név: a Claudebot vagy claude-bot írásmód nem feltétlenül egyezik, a szabály hatástalan marad.
• Biztonsági plugin által okozott 403: a tulajdonos engedni akarja a botot, közben a tűzfal csendben elutasítja.
• A robots.txt teljes hiánya: nincs kontroll, és a keresőrobotok paraméteres URL-eken pazarolják a crawl-keretet.
• Egyszeri döntés, soha nem felülvizsgálva: a botnevek változnak, a két évvel ezelőtti anthropic-ai szabály ma már keveset ér.

A robots.txt-ben a két bot külön kezelhető. Ez a tipikus "tréninget nem, keresést igen" beállítás:

# Tréning-célú gyűjtés tiltása
User-agent: ClaudeBot
Disallow: /

# Keresési index engedése, hogy idézhető maradj
User-agent: Claude-SearchBot
Allow: /

# Minden más bot: csak a zajos részek tiltva
User-agent: *
Disallow: /kosar/
Disallow: /penztar/
Disallow: /*?sort=

A sorrend nem számít, a bot a saját nevére írt blokkot használja. Ha van rá dedikált szabály, az általános * blokkot figyelmen kívül hagyja.

Ellenőrzés parancssorból. Az első sor a bot kérését utánozza, a második a naplóban számolja a valódi látogatásokat:

curl -sI -A "Mozilla/5.0 (compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" https://pelda.hu/

grep -ic "claudebot" /var/log/nginx/access.log

A curl -sI csak a fejléceket kéri le. Ha 200-at kapsz, a szerver nem blokkol. Ha 403-at, akkor tűzfal vagy bővítmény áll az útban, és a robots.txt tartalma már nem számít.