noindex, meta robots és X-Robots-Tag

A noindex a legolcsóbb módja annak, hogy egy jó oldal láthatatlan maradjon. Nem lassú, nem hibás, nem gyenge: egyszerűen nincs a találatok között.

A hatás konkrét:

• az oldal kiesik a Google-találatokból, így az organikus forgalom elfogy
• a generatív válaszok nem hivatkoznak rá, mert nem találják forrásként
• a belső linkek ereje részben elvész, a noindexelt oldal nem ad tovább súlyt hosszú távon
• a hirdetési minőségi mutatók romolhatnak, ha a céloldal nem indexelhető

A riportokban ezt leggyakrabban új oldalaknál látjuk. A fejlesztés alatt bekapcsolt noindex bent marad az élesítés után. Hetekig senki nem veszi észre, mert az oldal látszólag tökéletesen működik. Aztán kiderül, hogy a márkanévre sem jön be találat.

Van, amikor a noindex a helyes válasz. Belső keresési találati oldalak, szűrő-kombinációk, köszönőoldalak, kosár és pénztár. Ezeknél a noindex rendet tart az indexben.

Minden nyilvános weboldalra vonatkozik, típustól függetlenül. A szabály lényege ugyanaz egy öt oldalas bemutatkozó oldalon és egy tízezer termékes webshopban.

Különösen figyelj rá, ha:

• most élesítettél egy új oldalt vagy új dizájnt
• tesztkörnyezetből másoltál át fájlokat vagy adatbázist
• WordPresst használsz, ahol egy pipa globálisan kikapcsolja az indexelést
• van külön staging aldomained, például staging.pelda.hu

Stagingen és fejlesztői környezetben a noindex elvárt. Ott nem hiba, hanem védelem a duplikált tartalom ellen. Nem vonatkozik a szabály a belső, jelszóval védett felületekre, és azokra az oldaltípusokra, amelyeket szándékosan tartasz ki az indexből.

1. Nyisd meg az oldalt, és nézd meg a forráskódot (Ctrl+U vagy Cmd+Option+U).
2. Keress rá a robots szóra. Nézd a <meta name="robots"> és a <meta name="googlebot"> tagot is.
3. Nyisd meg a devtools Network fülét, frissíts, és kattints az első HTML-kérésre. A Response Headers között keresd az X-Robots-Tag sort.
4. Ha gyorsabban akarod: curl -sI https://pelda.hu | grep -i x-robots-tag.
5. Ellenőrizd a Search Console URL-ellenőrzés eszközével. Ez mondja meg, mit lát valójában a Google.
6. Nézz meg legalább négy oldaltípust: főoldal, szolgáltatás- vagy termékoldal, blogcikk, kategória.

Jó jel:

• nincs robots meta tag, vagy index, follow szerepel benne
• nincs X-Robots-Tag fejléc a HTML-válaszban
• a Search Console azt írja: "Az URL szerepel a Google-ben"

Rossz jel:

• content="noindex" bárhol a forrásban vagy a fejlécben
• a Search Console "Kizárva a „noindex” címke miatt" állapotot mutat
• a site:domain.hu keresés jóval kevesebb találatot ad, mint ahány oldalad van
• a noindex mellett a robots.txt is tiltja ugyanazt az URL-t

Ha az oldal éles, távolítsd el a noindex utasítást. Nézd végig mindhárom helyet: meta robots, meta googlebot, X-Robots-Tag fejléc. Staging alatt hagyd bent, ott a helyén van.

WordPress

1. Beállítások > Olvasás, és vedd ki a pipát a "Keresőmotorok tiltása" opciónál.
2. Yoast vagy Rank Math esetén nyisd meg az oldalt, és a SEO-doboz haladó fülén állítsd indexelhetőre.
3. Nézd meg a bejegyzéstípusok és taxonómiák globális beállítását is a plugin Search Appearance részén.
4. Ürítsd a cache-t, majd ellenőrizd újra a forráskódot.

Shopify

1. A noindex a sablonból jön. Online Store > Themes > Edit code, és nyisd meg a theme.liquid fájlt.
2. Keress rá a noindex szóra, és töröld vagy szűkítsd a feltételt.
3. Ha SEO-alkalmazást használsz, nézd meg annak oldal-szintű beállítását is.

Unas

1. A rendszer beállításai között ellenőrizd a keresőoptimalizálási részt.
2. Ha egyedi fejléc-kódot illesztettél be, nézd át azt is, gyakran ott marad a tag.
3. Az aloldal-szerkesztőben nézd meg az adott oldal SEO-mezőit.

Shoprenter

1. Beállítások > SEO, és ellenőrizd az indexelési kapcsolókat.
2. A sablonszerkesztőben keress rá a noindex szóra a fejléc-sablonban.
3. Szűrt kategóriaoldalaknál hagyd bent a tiltást, ott hasznos, és párosítsd kanonikus címmel.

Egyedi fejlesztés

1. Keresd meg a kódban a noindex előfordulásait, layout-fájlokban és middleware-ekben is.
2. Nézd át a webszerver konfigurációját, mert az X-Robots-Tag gyakran nginx vagy Apache szinten van beállítva.
3. Kösd környezeti változóhoz: csak APP_ENV=production-tól eltérő környezetben menjen ki a noindex.
4. Deploy után curl -sI paranccsal ellenőrizd a fejlécet.
5. Éles javítás után kérj újraindexelést a Search Console-ban.

• Staging-noindex marad az éles oldalon: a leggyakoribb eset, hetekig észrevétlen forgalomvesztést okoz.
• noindex és robots.txt-tiltás együtt: a robot nem tudja beolvasni a tagot, az URL bent ragad az indexben.
• Csak a HTML-t nézed: az X-Robots-Tag fejléc a szerveren ül, forráskódban nem látszik.
• meta googlebot felülírja az általánosat: a fejlécben rendben van minden, mégis noindex érvényesül a Google-nél.
• Az egész kategória noindexelve: egy plugin globális beállítása több száz oldalt vesz ki az indexből.
• noindex canonical helyett: duplikált tartalomra a Canonical URL a megoldás, a noindex itt túl durva eszköz.
• Nincs újraellenőrzés javítás után: a cache vagy a CDN (tartalomszolgáltató hálózat) még napokig a régi választ szolgálja ki.

Ez a HTML-részlet egyszerre tiltja az indexelést minden robotnak és külön a Google-nek. Éles oldalon egyik sornak sincs helye:

<head>
  <meta name="robots" content="noindex, nofollow">
  <meta name="googlebot" content="noindex">
</head>

A fejléc-változat nem látszik a forráskódban, ezért curl-lel ellenőrizd:

curl -sI https://pelda.hu | grep -i -E "x-robots-tag|^HTTP"
# HTTP/2 200
# x-robots-tag: noindex

nginx alatt így adhatsz noindexet csak a PDF-ekre, a HTML-oldalak érintése nélkül:

location ~* \.pdf$ {
    add_header X-Robots-Tag "noindex, nofollow";
}

Ha az oldal indexelhető legyen, a legjobb megoldás az, ha egyik utasítás sincs jelen. Külön index, follow tag nem kell, az az alapértelmezés.