# robots.txt для https://maketa.pro/ # Обновлён 01.09.2026. Источник решений: .claude/audit-reports/seo-geo-maketa/ # (PLAN.md §4.1, artifacts/robots.txt). Файл деплоится из site/maketa/robots.txt. # # ═══ РЕШЕНИЕ: ПУСКАЕМ ВСЕХ ═══ # Цель — «весь мир, все поисковики и все нейронки знают о нас». Maketa — бесплатный # лид-магнит: чем больше моделей её прочитают, тем лучше. Мы ничего не теряем от того, # что обучающий краулер заберёт лендинг: платного контента, который можно украсть, нет. # # ⚠️ БУДУЩЕМУ АГЕНТУ/РАЗРАБОТЧИКУ — ЧИТАТЬ ДО ПРАВКИ ⚠️ # # 1) НЕ добавляйте сюда блокировки ИИ-ботов. Готовые «anti-AI robots.txt» из интернета # ломают ровно то, ради чего написан этот файл: они блокируют GPTBot и заодно # OAI-SearchBot, из-за чего сайт исчезает из ответов ChatGPT. Это разные боты: # OAI-SearchBot / Claude-SearchBot / PerplexityBot дают цитирование СЕГОДНЯ, # GPTBot / ClaudeBot / CCBot — «знание» модели через месяцы. Нам нужны и те и другие. # # 2) ГЛАВНАЯ ЛОВУШКА ЭТОГО ФОРМАТА. Бот выполняет РОВНО ОДНУ запись — самую подходящую # ему по имени. Если завести боту отдельную запись с одним лишь `Allow: /`, он # перестанет видеть группу `User-agent: *` ЦЕЛИКОМ — и полезет в /app/ и /vendor/, # которые закрыты. Поэтому здесь у КАЖДОЙ записи ПОЛНЫЙ набор Disallow, а не только # Allow, а сами боты сгруппированы: несколько строк `User-agent:` подряд перед одним # общим набором правил (штатная возможность стандарта, её понимают все парсеры). # # 3) ДОБАВЛЯЕТЕ НОВОГО БОТА — дописывайте его строкой `User-agent:` в подходящую # существующую запись. НЕ создавайте ему свою запись с одним `Allow: /`. # # 4) НЕ ставьте `nosnippet` / `max-snippet:0` — это выкидывает страницу из AI Overviews. # # Что закрыто везде и почему: # /studio/, /legacy/ — копия редактора и старая версия: дубли, обходить нечего # /app/ — НЕ закрыт (с 03.09.2026). Раньше стоял здесь, и это # была классическая ошибка: страница помечена noindex, # но бот, которому запрещён обход, этот noindex никогда # не прочитает — а ссылка на неё стоит с лендинга, так # что URL мог попасть в выдачу «голым», без описания. # Теперь обход разрешён, а из индекса её выводят noindex # в разметке и заголовок X-Robots-Tag (см. nginx). # Приватные доски по-прежнему закрыты правилом /*?b= # /video/ (ролики) выключен 04.09.2026 — раздела больше нет # /vendor/ — сторонние библиотеки (konva.min.js), индексировать нечего # /maketa/api/ — REST/MCP; это машинный интерфейс, а не страницы # /api/ — на maketa.pro такого пути сегодня нет; строка стоит # на случай, если API когда-нибудь переедет в корень # /*?b=, /*?v=, /*&v= — токены доступа к доскам не должны попадать в индекс # ───────────────────────────────────────────────────────────── # 1. Базовое правило — все, кто не перечислен ниже поимённо # ───────────────────────────────────────────────────────────── User-agent: * Allow: / Disallow: /studio/ Disallow: /legacy/ Disallow: /vendor/ Disallow: /maketa/api/ Disallow: /api/ Disallow: /*?b= Disallow: /*?v= Disallow: /*&v= # ───────────────────────────────────────────────────────────── # 2. Классические поисковики # # Перечислены явно, чтобы правила были однозначны и переживали правки файла. # Applebot указан не случайно: без своей записи он применяет правила Googlebot — # лучше не полагаться на такое поведение, а сказать прямо. # ───────────────────────────────────────────────────────────── User-agent: Googlebot User-agent: Googlebot-Image User-agent: GoogleOther User-agent: Bingbot User-agent: YandexBot User-agent: Applebot User-agent: SeznamBot User-agent: Naverbot User-agent: DuckDuckBot User-agent: PetalBot Allow: / Disallow: /studio/ Disallow: /legacy/ Disallow: /vendor/ Disallow: /maketa/api/ Disallow: /api/ Disallow: /*?b= Disallow: /*?v= Disallow: /*&v= # ───────────────────────────────────────────────────────────── # 3. Яндекс: ИИ-ответы (Нейро и Поиск с Алисой) # # YandexAdditional / YandexAdditionalBot — не обычный краулер, а управляющий токен: # по нему Яндекс решает, можно ли показывать наш контент в ответах Алисы AI и Нейро. # Disallow: / здесь = выпасть из ИИ-выдачи Яндекса. Нам нужно ровно наоборот. # Набор Disallow тот же, что везде: страницы редактора и приватные доски не должны # попадать в ответы Алисы так же, как не должны попадать в индекс. # Источник: yandex.com/support/webmaster/en/robot-workings/check-yandex-robots # ───────────────────────────────────────────────────────────── User-agent: YandexAdditional User-agent: YandexAdditionalBot Allow: / Disallow: /studio/ Disallow: /legacy/ Disallow: /vendor/ Disallow: /maketa/api/ Disallow: /api/ Disallow: /*?b= Disallow: /*?v= Disallow: /*&v= # ───────────────────────────────────────────────────────────── # 4. ИИ-поиск (retrieval) — от них зависит цитирование СЕГОДНЯ. # Самая важная группа во всём файле. # ───────────────────────────────────────────────────────────── User-agent: OAI-SearchBot User-agent: Claude-SearchBot User-agent: PerplexityBot User-agent: DuckAssistBot User-agent: meta-webindexer User-agent: YouBot User-agent: Bravebot Allow: / Disallow: /studio/ Disallow: /legacy/ Disallow: /vendor/ Disallow: /maketa/api/ Disallow: /api/ Disallow: /*?b= Disallow: /*?v= Disallow: /*&v= # ───────────────────────────────────────────────────────────── # 5. Fetch по запросу пользователя — «человек дал ссылку в чат». # # Большинство из них robots.txt и так игнорируют, и это законно: действие # инициировал человек. Явное Allow снимает любую двусмысленность. # # ЕДИНСТВЕННОЕ ОТЛИЧИЕ ЭТОЙ ЗАПИСИ ОТ ОСТАЛЬНЫХ: здесь НЕ закрыты /app/, /studio/ # и ссылки с ?b=. Это сознательно. Сценарий «дал ИИ ссылку на свой макет — попроси # посмотреть» — продуктовая функция Maketa, а не утечка: доска и так читается по # ссылке любым, кому её дали, а /app/ помечен noindex, так что в индекс не попадёт. # Закрыты машинный API (ходить туда надо с ключом, а не «по ссылке») и служебные # каталоги, которые человек агенту дать не может. # Если решите закрыть /app/ и здесь — вы сломаете этот сценарий. Обсудить сначала. # ───────────────────────────────────────────────────────────── User-agent: ChatGPT-User User-agent: Claude-User User-agent: Perplexity-User User-agent: MistralAI-User User-agent: meta-externalfetcher User-agent: Kimi-User User-agent: kagi-fetcher User-agent: OAI-AdsBot Allow: / Disallow: /legacy/ Disallow: /vendor/ Disallow: /maketa/api/ Disallow: /api/ # ───────────────────────────────────────────────────────────── # 6. Обучающие краулеры — чтобы модели ЗНАЛИ о Maketa без веб-поиска. # # Эффект отложенный (месяцы-годы) и негарантированный, но это единственный путь # попасть в «параметрическую память» моделей. Трафика они не возвращают # (crawl-to-refer у Anthropic ~2237:1) — осознанная плата за узнаваемость. # ───────────────────────────────────────────────────────────── User-agent: GPTBot User-agent: ClaudeBot User-agent: anthropic-ai User-agent: CCBot User-agent: Amazonbot User-agent: meta-externalagent User-agent: Applebot-Extended User-agent: Google-Extended User-agent: Bytespider User-agent: TikTokSpider User-agent: Ai2Bot User-agent: Ai2Bot-Dolma User-agent: cohere-ai User-agent: cohere-training-data-crawler User-agent: TongyiBot User-agent: PanguBot User-agent: omgili User-agent: omgilibot User-agent: ImagesiftBot User-agent: Timpibot User-agent: Diffbot User-agent: ICC-Crawler Allow: / Disallow: /studio/ Disallow: /legacy/ Disallow: /vendor/ Disallow: /maketa/api/ Disallow: /api/ Disallow: /*?b= Disallow: /*?v= Disallow: /*&v= # ───────────────────────────────────────────────────────────── # 7. RAG/search-провайдеры для чужих ИИ-агентов. # Через них нас находят инструменты, которых мы даже не знаем по именам. # ───────────────────────────────────────────────────────────── User-agent: FirecrawlAgent User-agent: ExaSearchBot User-agent: TavilyBot User-agent: LinkupBot User-agent: Cloudflare-AutoRAG User-agent: Google-CloudVertexBot Allow: / Disallow: /studio/ Disallow: /legacy/ Disallow: /vendor/ Disallow: /maketa/api/ Disallow: /api/ Disallow: /*?b= Disallow: /*?v= Disallow: /*&v= # ───────────────────────────────────────────────────────────── Sitemap: https://maketa.pro/sitemap.xml