Applebot-Extended

Tartalom-kontroll

A saját szöveged, képed, adatod üzleti eszköz. Az Applebot-Extended az egyetlen deklarált mód arra, hogy az Apple modelljeinek tanításából kimaradj. Ha nincs róla szabály, az alapértelmezés az engedélyezés.

A rossz döntés ára

A gyakoribb hiba a túlzott tiltás. Ha a sima Applebot kap Disallow: / szabályt, eltűnhetsz a Siri és a Spotlight javaslataiból. Ez valódi forgalomkiesés, cserébe a tanítás elleni védelemért, amit egy sorral pontosabban is elérhettél volna.

SEO-hatás

Az Applebot-Extended önmagában nem SEO-tényező. Nincs hatása a Google rangsorolására és az indexelésre. Az AI-crawlerek (GPTBot, ClaudeBot, PerplexityBot és társaik) kezelésének következetessége viszont jelzi, hogy az oldal karbantartott. A riportokban a rendezett robots.txt szinte mindig együtt jár a rendezett technikai alapokkal.

Üzleti szempont

Ha a tartalmad kimarad a tanításból, a márkád nem tűnik el az AI-válaszokból. Az élő, kereső jellegű lekérdezéseket más botok szolgálják ki. A márkaemlítés AI-válaszokban szempontjából a friss, idézhető tartalom többet ér, mint a tanítási engedély.

Kire vonatkozik

• Minden nyilvános, HTTP-n elérhető oldalra, ahol van vagy lehet robots.txt.
• Kiemelten a saját, egyedi tartalmat közlő oldalakra: blog, tudástár, portfólió, szakmai cikkek.
• Média- és kiadói oldalakra, ahol a szerzői jog kérdése éles.
• Több domain esetén domainenként külön, mert a robots.txt hoszt-szintű.

Kire nem

• Jelszóval védett, belépés mögötti felületekre. Oda a crawler eleve nem jut be.
• Staging és fejlesztői környezetre, ha az már teljes egészében zárt.
• Aloldal-szintű finomhangolásra, mert itt nincs meta tag megfelelő, csak robots.txt.

A kisvállalkozói bemutatkozó oldalaknál ez alacsony prioritás. Előbb a technikai alapok: amit egy weboldalnak tudnia kell és a strukturált adatok: így beszél az oldalad a gépekkel hoznak eredményt.

Lépések

1. Nyisd meg a böngészőben a https://adomained.hu/robots.txt címet. A fájlnak a domain gyökerében kell lennie.
2. Keress rá az Applebot szóra (Ctrl+F). Nézd meg, önmagában áll-e, vagy Applebot-Extended formában.
3. Parancssorból gyorsabb: curl -s https://adomained.hu/robots.txt | grep -i applebot.
4. Ellenőrizd a státuszkódot is: curl -I https://adomained.hu/robots.txt. A válasz 200 legyen, ne 404 és ne 301 egy másik hosztra.
5. Nézd meg a szerverlogban, jár-e nálad az Apple crawlere: grep -i applebot access.log. Az Applebot-Extended itt soha nem fog megjelenni, ez normális.

Jó jel

• A robots.txt 200-as kóddal, text/plain típussal jön.
• Ha nem akarsz tanítást, külön csoport van rá: User-agent: Applebot-Extended és Disallow: /.
• A sima Applebot nincs tiltva.
• A fájl szintaktikailag tiszta: csoportok üres sorral elválasztva.

Rossz jel

• User-agent: Applebot alatt Disallow: /, miközben csak a tanítást akartad tiltani.
• User-agent: Applebot-Extended csoport Disallow sor nélkül. Ez semmit nem tilt.
• Elgépelt token: AppleBot-Extended, Applebot Extended, Apple-Extended. A nem létező név szabályát mindenki figyelmen kívül hagyja.
• A robots.txt HTML-t ad vissza, mert egy 404-es oldalra fut. Ilyenkor egyetlen szabályod sem érvényesül.

WordPress

1. Ellenőrizd, van-e fizikai robots.txt a gyökérben. Ha van, azt szerkeszd FTP-n vagy fájlkezelőben.
2. Ha nincs, a WordPress virtuális fájlt szolgál ki. Ezt a Yoast SEO (Eszközök > Fájlszerkesztő) vagy a Rank Math (Általános beállítások > Edit robots.txt) felületén írhatod.
3. Illeszd be az Applebot-Extended csoportot, mentés után frissítsd a böngészőben a fájlt.
4. Ha cache plugin fut, üríts cache-t, mert a robots.txt is gyorsítótárazódhat.

Shopify

1. Admin > Online Store > Themes > Edit code.
2. Ha még nincs, hozd létre a robots.txt.liquid sablont (Add a new template > robots.txt).
3. A {{ content_for_header }} helyett itt a generált szabályok mellé saját blokkot adsz hozzá Liquid feltétellel.
4. Mentés után nyisd meg a /robots.txt címet, és nézd meg, bekerült-e a csoport.

Unas

1. Az adminban keresd a SEO-beállítások között a robots.txt szerkesztőt.
2. Vedd fel új csoportként az Applebot-Extended szabályt, a meglévők alá, üres sorral elválasztva.
3. Ha a felület nem enged szerkesztést, nyiss ügyfélszolgálati kérést. Saját fájl feltöltése itt nem működik.

Shoprenter

1. Beállítások > SEO résznél találod a robots.txt tartalmát.
2. Egészítsd ki a saját csoporttal, a rendszer által generált sorok megtartásával.
3. Mentés után ellenőrizd curl-lel, hogy a kiszolgált fájl tartalmazza a módosítást.

Egyedi fejlesztés

1. Tedd a robots.txt-t statikus fájlként a webgyökérbe, ne alkalmazás-route-ként, ha elkerülhető.
2. Ha route-ként szolgálod ki, állíts be Content-Type: text/plain; charset=utf-8 fejlécet.
3. Kerüld a hosszú cache-t, elég néhány órás max-age.
4. Ha CDN (tartalomszolgáltató hálózat) van előtte, a deploy után ürítsd a CDN cache-t is.
5. Több domain vagy hreflang szerinti nyelvi hoszt esetén mindegyikre külön tedd ki a fájlt.

• A sima Applebot kitiltása az Extended helyett - ezzel a Siri és a Spotlight találataiból esel ki, miközben a tanítás elleni védelmet egy pontosabb sorral is megkaptad volna.
• Csoport Disallow sor nélkül - a User-agent: Applebot-Extended önmagában dekoráció, szabály nélkül nem tilt semmit.
• Elgépelt token - az AppleBot-Extended vagy Apple-Extended nem létező név, a robot átlépi a csoportot.
• Keresés az Extended után a szerverlogban - soha nem fog megjelenni, mert nem küld kérést, így hiába vársz visszaigazolást.
• A robots.txt rossz helyen - ha nem a domain gyökerében van, vagy 404-et ad, egyetlen szabály sem él, a robots.txt alapjai itt is kötelezőek.
• Meta taggel próbált tiltás - a noindex, meta robots és X-Robots-Tag az indexelésre hat, a tanításra nem, a kettő nem cserélhető fel.
• Egy token tiltása, a többi nyitva hagyása - ha valóban zárni akarsz, az AI-crawlerek (GPTBot, ClaudeBot, PerplexityBot és társaik) teljes listáját kell végignézned, nem csak az Apple-t.

Tanítás tiltása, keresés engedélyezése. Ez a leggyakoribb helyes felállás:

# Az Apple keresési crawlere: engedélyezve
User-agent: Applebot
Allow: /

# Tanítási felhasználás: tiltva
User-agent: Applebot-Extended
Disallow: /

# Több AI-token együtt kezelve
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://pelda.hu/sitemap.xml

A csoportokat üres sor választja el. A leginkább illeszkedő user-agent csoport érvényesül, a * csak akkor, ha nincs pontosabb egyezés.

Ellenőrzés parancssorból:

curl -sI https://pelda.hu/robots.txt | head -n 3
curl -s https://pelda.hu/robots.txt | grep -i -A2 applebot

Az első parancs a státuszkódot és a tartalomtípust mutatja. A másodikban látnod kell mindkét Applebot-csoportot a hozzájuk tartozó szabállyal.