# Правила обхода сайта GEN202.
#
# Кабинет и вход — личные страницы: содержимого для поиска в них нет,
# а у кабинета оно вообще появляется только после входа.
# Те же адреса вычеркнуты из карты сайта (astro.config.mjs) и отдают
# в разметке noindex.

User-agent: *
Allow: /
Disallow: /dashboard
Disallow: /dashboard/
Disallow: /login
Disallow: /login/

# Обходчики нейросетей — разрешены поимённо, наравне со всеми.
#
# Правило то же самое, что и общее выше, и в этом весь смысл: список нужен не
# чтобы что-то ограничить, а чтобы ничего не ограничить по недосмотру. Общее
# правило со звёздочкой действует и на них, но именные строки снимают вопрос,
# когда кто-то полезет «на всякий случай» закрывать роботов.
#
# Почему не закрываем даже тех, кто собирает данные для обучения. Мы не
# издательство, наш текст не товар: чем чаще описание GEN202 попадает в
# обучающие наборы, тем выше шанс, что модель ответит на вопрос «чем платить за
# доступ к API из России» нашим именем — без всякого поиска. Запрет при этом
# ничего не защищает: то, что уже попало в открытые дампы, разошлось необратимо.
#
# Отдельно про YandexAdditional: запрет для него — это ровно та причина, по
# которой сайт пропадает из ответов Алисы AI. Нам это чистая потеря.

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: YandexAdditional
User-agent: CCBot
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
Allow: /
Disallow: /dashboard
Disallow: /dashboard/
Disallow: /login
Disallow: /login/

Sitemap: https://gen202.com/sitemap.xml