Claude-SearchBot

Ami múlik rajta

Ha a Claude-SearchBot nem éri el az oldalt, a Claude keresője nem ismeri a tartalmadat. Nem lesz hivatkozás, nem lesz idézet, nem lesz kattintás onnan.

A veszteség nem látszik a Search Console-ban. Nincs hibaüzenet, nincs figyelmeztetés, nincs forgalomesés-riasztás. A robot egyszerűen kihagy, és a versenytárs kerül a válaszba.

Üzleti oldalról

A chatből érkező látogató általában már döntés közeli állapotban van. Konkrét kérdésre kapott konkrét választ, és a forrásra kattint.

• Aki nincs a forrásokban, az a márkaemlítésekből is kimarad.
• A kizárás hatása halmozódik, mert a keresési index nem frissül rólad.
• Egy rossz robots-sor visszavonása napokig vagy hetekig tart, amíg újra bejár a robot.

A magyar KKV-oldalak többségén ez a beállítás sosem volt átgondolva. Vagy minden nyitva van, vagy egy plugin egyben tiltott ki minden AI-robotot.

Kire vonatkozik

• Minden nyilvános weboldalra, amelyik szeretne forrás lenni AI-válaszokban.
• Szolgáltatói oldalakra, ahol kérdés-válasz jellegű keresés jellemző.
• Webshopokra, ahol termék-, szállítási és garanciakérdésekre keresnek választ.
• Tudástárakra, blogokra, dokumentációs oldalakra, ahol a tartalom önmagában érték.

Kire nem

• Staging- és fejlesztői környezetekre. Ott a teljes tiltás a helyes, jelszó vagy IP-korlát mellett.
• Belépés mögötti felületekre, ügyfélportálokra, admin-felületekre.
• Kosár- és pénztár-oldalakra, ezeket robots-szinten is nyugodtan zárd ki.

Ha jogi vagy licencokból nem akarod, hogy a szöveged modelltanításra kerüljön, az külön kérdés. Azt a tréning-robotnál kezeld, ne a keresőnél.

Lépések

1. Nyisd meg a https://adomained.hu/robots.txt címet a böngészőben.
2. Keress rá a Claude szóra. Nézd meg, van-e Claude-SearchBot vagy ClaudeBot blokk, és mit enged.
3. Ellenőrizd a csillagos blokkot is. A User-agent: * alatti Disallow: / minden robotra vonatkozik.
4. Kérd le az oldalt a robot user-agentjével curl-lel, és hasonlítsd össze a böngészős válasszal.
5. Nézz bele a szerver access-logjába, és keress a Claude-SearchBot tokenre. Így látod, jár-e nálad egyáltalán.
6. Ha van WAF vagy bot-védelem, nézd meg a szabályait. Sok szolgáltató alapból blokkolja az AI-robotokat.

Jó jel

• A robots.txt-ben nincs teljes tiltás, csak a kosár, pénztár, kereső és admin útvonalakon.
• A bot user-agenttel kért oldal 200-at ad, és ugyanazt a fő szöveget tartalmazza.
• A naplóban rendszeresen megjelennek a kérések.
• A tartalom a nyers HTML-ben is benne van, nem csak renderelés után.

Rossz jel

• Disallow: / a Claude-SearchBot vagy a * blokkban.
• A bot user-agent 403, 429 vagy captcha-oldalt kap.
• A napló hónapok óta egyetlen kérést sem mutat.
• A HTML-váz üres, a szöveget JavaScript tölti be.

WordPress

1. Ha statikus robots.txt fájl van a gyökérben, azt szerkeszd. Ilyenkor a plugin-beállítás nem érvényesül.
2. SEO-plugin esetén a robots.txt-szerkesztőben vedd fel külön a blokkokat.
3. Nézd át az AI-blokkoló és bot-védő pluginokat. Ezek gyakran egyben tiltanak mindent, ami AI.
4. Ha van cache- vagy biztonsági plugin bot-szabályokkal, vedd ki a keresési robotot a tiltottak közül.

Shopify

1. A témában hozd létre vagy szerkeszd a robots.txt.liquid fájlt.
2. Adj hozzá saját szabályt a keresési robotra, a generált alapszabályok megtartásával.
3. Mentés után ellenőrizd a kimenetet a /robots.txt címen.

Unas

1. Az adminban a SEO-beállításoknál keresd a robots.txt tartalmát.
2. Írd be a robot-blokkokat, majd mentés után nézd meg a publikus fájlt.
3. Ha a felület nem enged egyedi blokkot, kérd az ügyfélszolgálattól.

Shoprenter

1. Az admin SEO- vagy fejlett beállításainál szerkeszd a robots.txt-et.
2. A kosár, pénztár és fiók útvonalakat tiltsd, a tartalmi oldalakat hagyd nyitva.
3. Mentés után hívd le a fájlt böngészőből, mert a cache késleltethet.

Egyedi fejlesztés

1. A robots.txt-et a szerver adja ki, verziókezelve. Ne generáld dinamikusan feleslegesen.
2. A WAF, a CDN és a rate limit szabályait is nézd át, mert ezek a robots.txt fölött döntenek.
3. Ha a keretrendszered szerveroldali renderelést tud, kapcsold be a tartalmi oldalakra.
4. Kiegészítésként adhatsz ki llms.txt és llms-full.txt fájlt, de az nem helyettesíti a robots.txt-et.

• Minden AI-robot egyben kitiltva: a tréning-tiltás mellé a keresési robot is kiesik, és megszűnik az esélyed a hivatkozásra.
• Elgépelt user-agent név: a ClaudeSearchBot vagy Claude-Searchbot nem illeszkedik pontosan, a szabály nem érvényesül úgy, ahogy vártad.
• Plugin és statikus fájl ütközése: a gyökérben lévő fizikai robots.txt felülírja a CMS beállítását, és senki nem veszi észre.
• WAF-szintű blokkolás: a robots.txt megenged, a bot-védelem viszont 403-at ad, így a robot sosem látja a tartalmat.
• Csak JavaScriptből betöltött szöveg: a nyers HTML üres, a robot nem talál idézhető tartalmat.
• Eltérő tartalom botnak és embernek: ez cloaking, kockázatos, és minden keresőnél büntethető.
• Sitemap hiánya a robots.txt-ből: a robot nehezebben találja meg az új és a frissített oldalakat.

Robots.txt, amely a tréning-robotot kizárja, a keresési robotot viszont beengedi:

# Tréning célú gyűjtés tiltása
User-agent: ClaudeBot
Disallow: /

# Keresési robot beengedése, tranzakciós útvonalak nélkül
User-agent: Claude-SearchBot
Allow: /
Disallow: /kosar/
Disallow: /penztar/
Disallow: /kereses

Sitemap: https://pelda.hu/sitemap.xml

A blokkok sorrendje nem számít, a pontos user-agent név viszont igen. A Disallow mindig a blokkon belül érvényes.

Ellenőrzés parancssorból, majd a naplóban:

# Mit kap a keresési robot?
curl -s -o /dev/null -w "%{http_code}\n" \
  -A "Mozilla/5.0 (compatible; Claude-SearchBot/1.0; +claudebot@anthropic.com)" \
  https://pelda.hu/szolgaltatasok

# Jár-e egyáltalán az oldalon?
grep -i "Claude-SearchBot" /var/log/nginx/access.log | tail -20

A várt eredmény 200, ugyanazzal a fő szöveggel, mint böngészőben. Ha a bot más tartalmat kap, az cloaking gyanús, és javítani kell.