Когда пригодится
- Создать базовый robots.txt.
- Добавить sitemap и служебные исключения.
- Проверить опасную глобальную блокировку.
SEO · бесплатно
Конструктор robots.txt
Соберите понятный robots.txt из директив User-agent, Allow, Disallow и Sitemap. Инструмент предупреждает о глобальном Disallow: / и не добавляет запреты AI-ботов автоматически.
Локальная обработка. Введённые данные остаются в этой вкладке и не отправляются на CPA.TG.
Robots.txt
Результат появится здесь.
Три шага
- Введите исходные данные.
- Выберите режим и запустите обработку.
- Проверьте и скопируйте результат.
Частые вопросы
Robots.txt защищает приватные данные?
Нет. Это рекомендация краулерам, а не контроль доступа; приватные URL должны быть закрыты авторизацией.
Нужно ли блокировать AI-краулеры?
Нет, если цель — видимость в AI-поиске. Конструктор по умолчанию оставляет поисковых и AI-ботов доступными.