Когда пригодится
- Проверить, блокирует ли root сайта конкретный search/training/control token.
- Отличить explicit user-agent group от wildcard fallback и HTTP 4xx/5xx semantics.
- Собрать локальный llms.txt с H1, summary и curated ссылками.
SEO · бесплатно
AI-краулеры в robots.txt и llms.txt
Введите сайт: инструмент безопасно получит только `/robots.txt` и по RFC 9309 отдельно оценит root `/` для OAI-SearchBot, GPTBot, ChatGPT-User, Google-Extended, ClaudeBot/Search/User, PerplexityBot/User и Applebot-Extended. Он показывает точную группу и победившее правило, но не выдаёт robots allowance за WAF-доступ, индексацию или цитирование; user-triggered agents могут применять robots.txt иначе. Ниже можно локально собрать curated llms.txt по proposal-формату; это не access-control и не лицензия.
Серверная проверка. Один сайт отправляется на CPA.TG. Сервер получает только origin/robots.txt через shared SSRF-safe transport, не ходит по Sitemap/Allow/Disallow URL и не возвращает raw-файл. Генератор llms.txt полностью локальный.
Кого пускает robots.txt на root /
Локальный генератор llms.txt
Формат — community proposal для curated context map. Он не является robots access-control, лицензией или гарантией citation.
robots audit / generated llms.txt
Результат появится здесь.
Три шага
- Введите исходные данные.
- Выберите режим и запустите обработку.
- Проверьте и скопируйте результат.
Частые вопросы
Allowed означает, что бот точно проиндексирует или процитирует сайт?
Нет. robots.txt выражает crawl policy. WAF, CDN, rate limits, authentication, качество страницы и решения конкретного продукта проверяются отдельно.
Почему GPTBot и OAI-SearchBot показаны отдельно?
OpenAI описывает разные назначения: OAI-SearchBot связан с ChatGPT search discovery, а GPTBot — с потенциальным training collection. Блок одного не является правилом для другого.
Проверка root / относится ко всем страницам?
Нет. Для `/` показывается конкретное решение; более длинные Allow/Disallow rules могут дать другой результат для `/docs`, `/private` или URL с query. Отчёт отмечает наличие path rules.
llms.txt управляет доступом и гарантирует AI-цитирование?
Нет. Это community proposal для curated Markdown context map. Он дополняет robots.txt/sitemap, но не переопределяет их, не выдаёт лицензию, не аутентифицирует бота и не гарантирует использование.