Услуги Процесс Опыт Навыки Кейсы Блог Связаться
🌐 UA·RU·EN
1 августа 2026 · 9 мин чтения

robots.txt и sitemap.xml: как настроить robots.txt и карту сайта без ошибок

robots.txt говорит поисковым роботам, куда на сайте не ходить, а sitemap.xml - карта сайта - подсказывает, какие страницы стоит найти и проиндексировать. Одна ошибка в них может убрать сайт из Google или засорить индекс мусорными URL. Ниже - как настроить robots.txt, что закрывать, как быть с AI-краулерами, какие правила действуют для sitemap.xml и как проверить все в Search Console.

Содержание
  1. robots.txt и sitemap.xml: в чем разница
  2. Синтаксис robots.txt: User-agent, Disallow, Allow, Sitemap
  3. robots.txt закрывает сканирование, а не индексацию
  4. Что закрывать в robots.txt, а что никогда
  5. AI-краулеры в robots.txt: закрывать или нет
  6. Правила sitemap.xml: что включать в карту сайта
  7. Как настроить robots.txt и sitemap.xml: 5 шагов
  8. Типичные ошибки в robots.txt и sitemap.xml
  9. Чек-лист: robots.txt и sitemap.xml
  10. Частые вопросы
  11. Итог

robots.txt и sitemap.xml: в чем разница

robots.txt ограничивает сканирование, sitemap.xml помогает его направить.

robots.txtsitemap.xml
ЗадачаСказать роботам, какие разделы не сканироватьПеречислить страницы, которые стоит найти и проиндексировать
Где лежитТолько в корне хоста: https://site.com/robots.txtГде угодно, обычно https://site.com/sitemap.xml
ФорматПростой текст, UTF-8XML, UTF-8, полные абсолютные URL
Ограничения GoogleЧитает первые 500 КиБ файлаДо 50 000 URL и 50 МБ без сжатия в одном файле
Обязателен лиНет, без него сайт сканируется полностьюНет, но очень желателен для больших и новых сайтов

robots.txt действует только для того хоста, протокола и порта, где он лежит. Файл на site.com не управляет поддоменом shop.site.com - там нужен свой.

Синтаксис robots.txt: User-agent, Disallow, Allow, Sitemap

Файл состоит из групп. Каждая группа начинается со строки User-agent (для какого робота правила), дальше идут Disallow и Allow. Директива Sitemap стоит отдельно и действует для всех роботов.

ДирективаЧто делаетПример
User-agentУказывает робота, для которого действует группа. * - все роботыUser-agent: Googlebot
DisallowЗапрещает сканировать путь и все, что с него начинаетсяDisallow: /admin/
AllowРазрешает путь внутри закрытого разделаAllow: /admin/public/
SitemapПолный адрес карты сайта, можно несколько строкSitemap: https://site.com/sitemap.xml
*Любая последовательность символовDisallow: /*?sort=
$Конец URLDisallow: /*.pdf$

Главное:

Пример robots.txt для интернет-магазина

Типовой файл:

СтрокаЧто означает
User-agent: *Правила для всех роботов
Disallow: /admin/Админка
Disallow: /cart/Корзина
Disallow: /checkout/Оформление заказа
Disallow: /searchВнутренний поиск сайта
Disallow: /*?sort=Сортировка в каталоге
Disallow: /*filter=Комбинации фильтров, которые не нужны в индексе
Sitemap: https://site.com/sitemap.xmlГде лежит карта сайта

Прежде чем закрывать параметры, проверьте, нет ли среди них страниц фильтров, которые вы сознательно продвигаете, например «кроссовки Nike мужские». Такие страницы должны получить чистые URL и остаться открытыми.

robots.txt закрывает сканирование, а не индексацию

Disallow запрещает роботу читать страницу, но не запрещает Google показывать ее адрес в поиске. Если на закрытую страницу ведут ссылки, она может попасть в индекс без описания - в Search Console это статус «Проиндексировано, несмотря на блокировку в файле robots.txt».

noindex + открытый доступ

Чтобы убрать страницу из поиска, используйте meta robots noindex или HTTP-заголовок X-Robots-Tag: noindex. И не закрывайте эту страницу в robots.txt: если Googlebot не может ее просканировать, он никогда не увидит noindex.

Директиву noindex внутри самого robots.txt Google не поддерживает с 2019 года. Для дублей, которые должны передать сигналы основной странице, правильный инструмент - canonical, а не запрет сканирования.

Что закрывать в robots.txt, а что никогда

Закрывать стоит то, что не имеет ценности в поиске и генерирует много URL: служебные разделы, личные кабинеты, результаты поиска по сайту, сортировки и бесконечные комбинации фильтров. Google сам советует так поступать с внутренним поиском и лишними фильтрами.

AI-краулеры в robots.txt: закрывать или нет

В robots.txt теперь решается и судьба сайта в ChatGPT, Claude, Perplexity и Gemini. У компаний несколько роботов с разными задачами, и закрывать можно выборочно.

User-agentЧейДля чего
GPTBotOpenAIСбор данных для обучения моделей
OAI-SearchBotOpenAIПоиск в ChatGPT: показ и цитирование сайтов в ответах
ClaudeBotAnthropicСбор данных для обучения моделей Claude
PerplexityBotPerplexityИндексация для поисковых ответов Perplexity
Google-ExtendedGoogleНе отдельный робот, а токен: можно ли использовать контент для обучения и работы Gemini. На Google Поиск не влияет

Закрыть GPTBot или ClaudeBot - значит не отдавать контент на обучение моделей, но и меньше шансов, что модель будет знать о вашем бренде. Закрыть OAI-SearchBot или PerplexityBot - значит исчезнуть из поисковых ответов ChatGPT и Perplexity, то есть потерять канал трафика. Для большинства коммерческих сайтов, которым нужны клиенты, AI-краулеры стоит оставить открытыми.

Важно: robots.txt - это договоренность, а не защита, и роботы, которых запускает сам пользователь (например, когда просит ChatGPT открыть страницу), по документации компаний могут не учитывать эти правила. А AI-ботов часто блокирует не robots.txt, а защита хостинга или Cloudflare. Как проверить свою видимость в AI-ассистентах - в статье как попасть в ChatGPT.

Проверю robots.txt и sitemap.xml вашего сайта

Пришлите адрес сайта - посмотрю, не закрыто ли что-то важное, не попадает ли в индекс мусор и правильно ли собрана карта сайта. Экспресс-аудит бесплатный.

Написать в Telegram

Правила sitemap.xml: что включать в карту сайта

Карта сайта - это список страниц, которые вы хотите видеть в поиске. Для Google это подсказка, а не приказ.

Как настроить robots.txt и sitemap.xml: 5 шагов

01

Собрать список того, что нужно закрыть

Просканируйте сайт краулером (Screaming Frog, Netpeak Spider) и найдите, какие типы URL генерируются. Для каждого типа решите: индексировать, закрыть от сканирования или поставить noindex.

02

Написать robots.txt

Начните с группы User-agent: *, добавьте Disallow для служебных разделов и параметров, отдельные группы для AI-краулеров, если решили их закрыть, и строку Sitemap с полным адресом. Сохраните в корне сайта.

03

Настроить генерацию sitemap.xml

Включите автоматическую карту сайта в CMS или плагине и проверьте, что в нее попадают только канонические страницы с кодом 200. Для большого сайта разбейте карты по типам страниц и объедините индексным файлом.

04

Отправить sitemap в Search Console

В Google Search Console откройте Индексирование - Файлы Sitemap, вставьте адрес файла и нажмите «Отправить». Статус «Успешно» означает, что Google прочитал файл. Как работать с другими отчетами - в статье о Google Search Console.

05

Проверить результат

В Настройках Search Console есть отчет robots.txt: какой файл Google загрузил и когда, есть ли ошибки. Инструмент проверки URL покажет, разрешено ли сканирование конкретной страницы. Google кеширует robots.txt до 24 часов, так что изменения действуют не мгновенно.

Типичные ошибки в robots.txt и sitemap.xml

Чек-лист: robots.txt и sitemap.xml

Частые вопросы

Обязателен ли robots.txt для сайта?

Нет. Без robots.txt Google сканирует весь сайт. Но для интернет-магазинов и сайтов с фильтрами файл почти всегда нужен, чтобы робот не тратил сканирование на тысячи технических URL.

Как закрыть страницу от индексации: через robots.txt или noindex?

Через noindex. robots.txt запрещает только сканирование, и закрытая страница может попасть в индекс без описания. Страница с noindex должна быть открыта в robots.txt, иначе Google не увидит директиву.

Нужна ли карта сайта маленькому сайту?

Сайту из нескольких десятков страниц с хорошими внутренними ссылками карта сайта не критична, но не вредит. Для новых и больших сайтов sitemap.xml очень желателен.

Как настроить robots.txt на WordPress?

WordPress создает виртуальный robots.txt автоматически. Изменить его можно через SEO-плагин (Yoast, Rank Math) или загрузив собственный файл в корень сайта. Обычно закрывают /wp-admin/ с Allow для /wp-admin/admin-ajax.php, внутренний поиск и лишние параметры.

Вредит ли SEO закрытие AI-краулеров в robots.txt?

На позиции в Google закрытие GPTBot, ClaudeBot или Google-Extended не влияет. Но закрытие OAI-SearchBot и PerplexityBot убирает сайт из поисковых ответов ChatGPT и Perplexity, так что для коммерческого сайта это потеря потенциальных клиентов.

Итог

robots.txt управляет тем, куда робот ходит, sitemap.xml - тем, что он должен найти, а noindex и canonical - тем, что попадет в индекс. Закрывайте служебные разделы, поиск и лишние фильтры, но не CSS, JS и не весь сайт. В карте сайта держите только канонические страницы с кодом 200 и проверяйте отчеты Search Console ежемесячно.

Настрою техническое SEO вашего сайта

robots.txt, карта сайта, индексация, дубли и скорость - в рамках ежемесячного SEO-сопровождения от 20 000 грн/мес. Первый шаг - бесплатный экспресс-аудит.

Оставить заявку

Оставьте заявку

Опишите задачу - отвечу в течение нескольких часов и подскажу, с чего начать именно в вашем случае.

Спасибо, заявка получена. Свяжусь с вами в ближайшее время.
ДЗ

Дмитрий Зайченко

Частный SEO специалист · 13+ лет опыта · 70+ проектов · zaichenko.pro