robots.txt и sitemap.xml: как настроить robots.txt и карту сайта без ошибок
robots.txt говорит поисковым роботам, куда на сайте не ходить, а sitemap.xml - карта сайта - подсказывает, какие страницы стоит найти и проиндексировать. Одна ошибка в них может убрать сайт из Google или засорить индекс мусорными URL. Ниже - как настроить robots.txt, что закрывать, как быть с AI-краулерами, какие правила действуют для sitemap.xml и как проверить все в Search Console.
Содержание
- robots.txt и sitemap.xml: в чем разница
- Синтаксис robots.txt: User-agent, Disallow, Allow, Sitemap
- robots.txt закрывает сканирование, а не индексацию
- Что закрывать в robots.txt, а что никогда
- AI-краулеры в robots.txt: закрывать или нет
- Правила sitemap.xml: что включать в карту сайта
- Как настроить robots.txt и sitemap.xml: 5 шагов
- Типичные ошибки в robots.txt и sitemap.xml
- Чек-лист: robots.txt и sitemap.xml
- Частые вопросы
- Итог
robots.txt и sitemap.xml: в чем разница
robots.txt ограничивает сканирование, sitemap.xml помогает его направить.
| robots.txt | sitemap.xml | |
|---|---|---|
| Задача | Сказать роботам, какие разделы не сканировать | Перечислить страницы, которые стоит найти и проиндексировать |
| Где лежит | Только в корне хоста: https://site.com/robots.txt | Где угодно, обычно https://site.com/sitemap.xml |
| Формат | Простой текст, UTF-8 | XML, UTF-8, полные абсолютные URL |
| Ограничения Google | Читает первые 500 КиБ файла | До 50 000 URL и 50 МБ без сжатия в одном файле |
| Обязателен ли | Нет, без него сайт сканируется полностью | Нет, но очень желателен для больших и новых сайтов |
robots.txt действует только для того хоста, протокола и порта, где он лежит. Файл на site.com не управляет поддоменом shop.site.com - там нужен свой.
Синтаксис robots.txt: User-agent, Disallow, Allow, Sitemap
Файл состоит из групп. Каждая группа начинается со строки User-agent (для какого робота правила), дальше идут Disallow и Allow. Директива Sitemap стоит отдельно и действует для всех роботов.
| Директива | Что делает | Пример |
|---|---|---|
| User-agent | Указывает робота, для которого действует группа. * - все роботы | User-agent: Googlebot |
| Disallow | Запрещает сканировать путь и все, что с него начинается | Disallow: /admin/ |
| Allow | Разрешает путь внутри закрытого раздела | Allow: /admin/public/ |
| Sitemap | Полный адрес карты сайта, можно несколько строк | Sitemap: https://site.com/sitemap.xml |
| * | Любая последовательность символов | Disallow: /*?sort= |
| $ | Конец URL | Disallow: /*.pdf$ |
Главное:
- Пути чувствительны к регистру. Disallow: /Admin/ не закрывает /admin/;
- Побеждает самое длинное правило. Если совпадают Disallow и Allow, Google применяет то, у которого путь длиннее. При одинаковой длине - менее ограничивающее, то есть Allow;
- Робот выбирает одну группу. Googlebot ищет группу с самым точным User-agent. Если есть группа для Googlebot, общая группа * для него уже не действует;
- Crawl-delay Google игнорирует. Другие поисковики могут его учитывать.
Пример robots.txt для интернет-магазина
Типовой файл:
| Строка | Что означает |
|---|---|
| User-agent: * | Правила для всех роботов |
| Disallow: /admin/ | Админка |
| Disallow: /cart/ | Корзина |
| Disallow: /checkout/ | Оформление заказа |
| Disallow: /search | Внутренний поиск сайта |
| Disallow: /*?sort= | Сортировка в каталоге |
| Disallow: /*filter= | Комбинации фильтров, которые не нужны в индексе |
| Sitemap: https://site.com/sitemap.xml | Где лежит карта сайта |
Прежде чем закрывать параметры, проверьте, нет ли среди них страниц фильтров, которые вы сознательно продвигаете, например «кроссовки Nike мужские». Такие страницы должны получить чистые URL и остаться открытыми.
robots.txt закрывает сканирование, а не индексацию
Disallow запрещает роботу читать страницу, но не запрещает Google показывать ее адрес в поиске. Если на закрытую страницу ведут ссылки, она может попасть в индекс без описания - в Search Console это статус «Проиндексировано, несмотря на блокировку в файле robots.txt».
Чтобы убрать страницу из поиска, используйте meta robots noindex или HTTP-заголовок X-Robots-Tag: noindex. И не закрывайте эту страницу в robots.txt: если Googlebot не может ее просканировать, он никогда не увидит noindex.
Директиву noindex внутри самого robots.txt Google не поддерживает с 2019 года. Для дублей, которые должны передать сигналы основной странице, правильный инструмент - canonical, а не запрет сканирования.
Что закрывать в robots.txt, а что никогда
Закрывать стоит то, что не имеет ценности в поиске и генерирует много URL: служебные разделы, личные кабинеты, результаты поиска по сайту, сортировки и бесконечные комбинации фильтров. Google сам советует так поступать с внутренним поиском и лишними фильтрами.
- Закрывать: /admin/, /wp-admin/ (с Allow для /wp-admin/admin-ajax.php на WordPress), корзину, оформление заказа, личный кабинет, внутренний поиск, параметры сортировки, UTM и другие трекинговые параметры, тестовые разделы;
- Никогда не закрывать: CSS, JavaScript и изображения, нужные для отображения страницы. Google рендерит страницу как браузер, и без этих файлов может посчитать ее пустой или неадаптивной;
- Никогда не оставлять после запуска: Disallow: / с тестового сервера. Это классическая ошибка при переносе сайта - весь сайт закрыт, и никто этого не замечает неделями. Подробнее о запуске - в статье SEO для нового сайта.
AI-краулеры в robots.txt: закрывать или нет
В robots.txt теперь решается и судьба сайта в ChatGPT, Claude, Perplexity и Gemini. У компаний несколько роботов с разными задачами, и закрывать можно выборочно.
| User-agent | Чей | Для чего |
|---|---|---|
| GPTBot | OpenAI | Сбор данных для обучения моделей |
| OAI-SearchBot | OpenAI | Поиск в ChatGPT: показ и цитирование сайтов в ответах |
| ClaudeBot | Anthropic | Сбор данных для обучения моделей Claude |
| PerplexityBot | Perplexity | Индексация для поисковых ответов Perplexity |
| Google-Extended | Не отдельный робот, а токен: можно ли использовать контент для обучения и работы Gemini. На Google Поиск не влияет |
Закрыть GPTBot или ClaudeBot - значит не отдавать контент на обучение моделей, но и меньше шансов, что модель будет знать о вашем бренде. Закрыть OAI-SearchBot или PerplexityBot - значит исчезнуть из поисковых ответов ChatGPT и Perplexity, то есть потерять канал трафика. Для большинства коммерческих сайтов, которым нужны клиенты, AI-краулеры стоит оставить открытыми.
Важно: robots.txt - это договоренность, а не защита, и роботы, которых запускает сам пользователь (например, когда просит ChatGPT открыть страницу), по документации компаний могут не учитывать эти правила. А AI-ботов часто блокирует не robots.txt, а защита хостинга или Cloudflare. Как проверить свою видимость в AI-ассистентах - в статье как попасть в ChatGPT.
Проверю robots.txt и sitemap.xml вашего сайта
Пришлите адрес сайта - посмотрю, не закрыто ли что-то важное, не попадает ли в индекс мусор и правильно ли собрана карта сайта. Экспресс-аудит бесплатный.
Написать в TelegramПравила sitemap.xml: что включать в карту сайта
Карта сайта - это список страниц, которые вы хотите видеть в поиске. Для Google это подсказка, а не приказ.
- Только канонические URL с кодом 200. Без редиректов, 404, страниц с noindex и дублей, у которых canonical указывает на другой адрес;
- Полные абсолютные адреса с тем же протоколом и доменом, что и основная версия сайта: https://site.com/page/, а не /page/;
- До 50 000 URL и 50 МБ без сжатия в одном файле. Больше - делите на несколько файлов;
- Индексный файл sitemap объединяет несколько карт сайта: например, отдельно для категорий, товаров и статей. Его и отправляют в Search Console;
- Точный lastmod. Google использует дату последнего изменения, если она стабильно правдива. Обновляйте ее, когда изменилось содержание страницы, а не при каждой генерации файла;
- priority и changefreq Google игнорирует. Их можно не заполнять.
Как настроить robots.txt и sitemap.xml: 5 шагов
Собрать список того, что нужно закрыть
Просканируйте сайт краулером (Screaming Frog, Netpeak Spider) и найдите, какие типы URL генерируются. Для каждого типа решите: индексировать, закрыть от сканирования или поставить noindex.
Написать robots.txt
Начните с группы User-agent: *, добавьте Disallow для служебных разделов и параметров, отдельные группы для AI-краулеров, если решили их закрыть, и строку Sitemap с полным адресом. Сохраните в корне сайта.
Настроить генерацию sitemap.xml
Включите автоматическую карту сайта в CMS или плагине и проверьте, что в нее попадают только канонические страницы с кодом 200. Для большого сайта разбейте карты по типам страниц и объедините индексным файлом.
Отправить sitemap в Search Console
В Google Search Console откройте Индексирование - Файлы Sitemap, вставьте адрес файла и нажмите «Отправить». Статус «Успешно» означает, что Google прочитал файл. Как работать с другими отчетами - в статье о Google Search Console.
Проверить результат
В Настройках Search Console есть отчет robots.txt: какой файл Google загрузил и когда, есть ли ошибки. Инструмент проверки URL покажет, разрешено ли сканирование конкретной страницы. Google кеширует robots.txt до 24 часов, так что изменения действуют не мгновенно.
Типичные ошибки в robots.txt и sitemap.xml
- Disallow: / после запуска. Тестовый запрет перенесли на рабочий сайт - и трафик падает до нуля;
- Закрытые CSS и JS. Google видит «сломанную» страницу;
- Disallow вместо noindex. Страницы, которые хотели убрать из поиска, остаются в индексе без описания;
- Мусор в sitemap. Редиректы, 404, страницы с noindex и неканонические дубли - Google меньше доверяет такой карте сайта;
- robots.txt отдает ошибку 5xx. Google может временно остановить сканирование сайта, пока файл недоступен. Ошибка 404 означает «ограничений нет».
Чек-лист: robots.txt и sitemap.xml
- robots.txt лежит в корне каждого хоста и отдает код 200
- Нет Disallow: / на рабочем сайте
- CSS, JS и изображения открыты для сканирования
- Закрыты админка, корзина, оформление заказа, внутренний поиск и лишние параметры
- Страницы с noindex не заблокированы в robots.txt
- Решение по GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot и Google-Extended принято осознанно
- В robots.txt есть строка Sitemap с полным адресом
- В sitemap.xml только канонические URL с кодом 200 без noindex
- Каждый файл sitemap до 50 000 URL и 50 МБ, для больших сайтов есть индексный файл
- lastmod отражает реальную дату изменения страницы
- Sitemap отправлен в Search Console со статусом «Успешно»
Частые вопросы
Обязателен ли robots.txt для сайта?
Нет. Без robots.txt Google сканирует весь сайт. Но для интернет-магазинов и сайтов с фильтрами файл почти всегда нужен, чтобы робот не тратил сканирование на тысячи технических URL.
Как закрыть страницу от индексации: через robots.txt или noindex?
Через noindex. robots.txt запрещает только сканирование, и закрытая страница может попасть в индекс без описания. Страница с noindex должна быть открыта в robots.txt, иначе Google не увидит директиву.
Нужна ли карта сайта маленькому сайту?
Сайту из нескольких десятков страниц с хорошими внутренними ссылками карта сайта не критична, но не вредит. Для новых и больших сайтов sitemap.xml очень желателен.
Как настроить robots.txt на WordPress?
WordPress создает виртуальный robots.txt автоматически. Изменить его можно через SEO-плагин (Yoast, Rank Math) или загрузив собственный файл в корень сайта. Обычно закрывают /wp-admin/ с Allow для /wp-admin/admin-ajax.php, внутренний поиск и лишние параметры.
Вредит ли SEO закрытие AI-краулеров в robots.txt?
На позиции в Google закрытие GPTBot, ClaudeBot или Google-Extended не влияет. Но закрытие OAI-SearchBot и PerplexityBot убирает сайт из поисковых ответов ChatGPT и Perplexity, так что для коммерческого сайта это потеря потенциальных клиентов.
Итог
robots.txt управляет тем, куда робот ходит, sitemap.xml - тем, что он должен найти, а noindex и canonical - тем, что попадет в индекс. Закрывайте служебные разделы, поиск и лишние фильтры, но не CSS, JS и не весь сайт. В карте сайта держите только канонические страницы с кодом 200 и проверяйте отчеты Search Console ежемесячно.
Настрою техническое SEO вашего сайта
robots.txt, карта сайта, индексация, дубли и скорость - в рамках ежемесячного SEO-сопровождения от 20 000 грн/мес. Первый шаг - бесплатный экспресс-аудит.
Оставить заявку