# =====================================================================
#  robots.txt – fundmentor.hu
#  Utolsó frissítés: 2026-10-12
#  Szabvány: RFC 9309 (Robots Exclusion Protocol)
#
#  Fontos: egy crawler mindig CSAK a rá legspecifikusabban illeszkedő
#  csoportot követi, a "User-agent: *" szabályait nem örökli. Ezért
#  minden csoport tartalmazza a teljes tiltólistát.
# =====================================================================


# ---------------------------------------------------------------------
# 1) Keresőmotorok és AI-asszisztensek / válaszmotorok – engedélyezve
#    (Google, Bing, AI keresés és GEO láthatóság)
# ---------------------------------------------------------------------
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Googlebot-Video
User-agent: Googlebot-News
User-agent: Storebot-Google
User-agent: Google-InspectionTool
User-agent: AdsBot-Google
User-agent: AdsBot-Google-Mobile
User-agent: Mediapartners-Google
User-agent: Bingbot
User-agent: BingPreview
User-agent: MSNBot
User-agent: AdIdxBot
User-agent: DuckDuckBot
User-agent: DuckAssistBot
User-agent: Applebot
User-agent: YandexBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Meta-ExternalFetcher
User-agent: MistralAI-User
User-agent: YouBot
User-agent: Amazonbot
User-agent: LinkedInBot
User-agent: facebookexternalhit
User-agent: Twitterbot
User-agent: Slackbot
User-agent: Discordbot
User-agent: WhatsApp
User-agent: TelegramBot
Allow: /
Allow: /llms.txt
Allow: /assets/
# Belső / technikai fájlok
Disallow: /uploads/
Disallow: /screenshots/
Disallow: /i18n/
Disallow: /_tr_master.json
Disallow: /temp-check.js
# Köszönőoldalak (űrlap után) – nincs keresési értékük, torzítják a konverziómérést
Disallow: /email-kuldve/
Disallow: /idopont-foglalva/
# Önálló fejléc-komponens, nem önálló oldal
Disallow: /fejlec/
# Követő- és kampányparaméteres duplikátumok
Disallow: /*?*utm_
Disallow: /*?*gclid=
Disallow: /*?*fbclid=
Disallow: /*?*msclkid=
Disallow: /*?*li_fat_id=
Disallow: /*?*ttclid=
Disallow: /*?*srsltid=
Disallow: /*?*ref=


# ---------------------------------------------------------------------
# 2) SEO-elemző botok – engedélyezve, de lassítva
#    (Crawl-delay-t a Google figyelmen kívül hagyja, ezek betartják)
# ---------------------------------------------------------------------
User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: rogerbot
User-agent: Screaming Frog SEO Spider
Crawl-delay: 10
Allow: /
Disallow: /uploads/
Disallow: /screenshots/
Disallow: /i18n/
Disallow: /_tr_master.json
Disallow: /temp-check.js
Disallow: /email-kuldve/
Disallow: /idopont-foglalva/
Disallow: /fejlec/
Disallow: /*?*utm_
Disallow: /*?*gclid=
Disallow: /*?*fbclid=
Disallow: /*?*msclkid=
Disallow: /*?*li_fat_id=
Disallow: /*?*ttclid=
Disallow: /*?*srsltid=
Disallow: /*?*ref=


# ---------------------------------------------------------------------
# AI-modelltanító robotok – tiltva (a keresési és válaszrobotok maradnak engedélyezve)
# ---------------------------------------------------------------------
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: GPTBot
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: cohere-ai
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Claude-Web
User-agent: Diffbot
User-agent: ImagesiftBot
User-agent: Omgilibot
User-agent: Omgili
User-agent: Timpibot
User-agent: AI2Bot
User-agent: Ai2Bot-Dolma
User-agent: PanguBot
User-agent: Webzio-Extended
User-agent: FacebookBot
User-agent: Kangaroo Bot
Disallow: /


# ---------------------------------------------------------------------
# 3) Agresszív / értéktelen scraperek – teljesen tiltva
# ---------------------------------------------------------------------
User-agent: MJ12bot
User-agent: DotBot
User-agent: BLEXBot
User-agent: PetalBot
User-agent: Bytespider
User-agent: DataForSeoBot
User-agent: SeekportBot
User-agent: serpstatbot
User-agent: Barkrowler
User-agent: MegaIndex.ru
User-agent: ZoominfoBot
User-agent: magpie-crawler
User-agent: Scrapy
User-agent: img2dataset
Disallow: /


# ---------------------------------------------------------------------
# 4) Minden egyéb crawler – alapértelmezett szabályok
# ---------------------------------------------------------------------
User-agent: *
Allow: /
Disallow: /uploads/
Disallow: /screenshots/
Disallow: /i18n/
Disallow: /_tr_master.json
Disallow: /temp-check.js
Disallow: /email-kuldve/
Disallow: /idopont-foglalva/
Disallow: /fejlec/
Disallow: /*?*utm_
Disallow: /*?*gclid=
Disallow: /*?*fbclid=
Disallow: /*?*msclkid=
Disallow: /*?*li_fat_id=
Disallow: /*?*ttclid=
Disallow: /*?*srsltid=
Disallow: /*?*ref=


# ---------------------------------------------------------------------
# Oldaltérkép és AI-összefoglaló
# ---------------------------------------------------------------------
Sitemap: https://fundmentor.hu/sitemap.xml
# AI-összefoglaló (nem szabványos direktíva, csak tájékoztatás): https://fundmentor.hu/llms.txt