Послуги Процес Досвід Навички Кейси Блог Зв'язатись
🌐 UA·RU·EN
1 серпня 2026 · 9 хв читання

robots.txt і sitemap.xml: як налаштувати robots.txt і карту сайту без помилок

robots.txt каже пошуковим роботам, куди на сайті не ходити, а sitemap.xml - карта сайту - підказує, які сторінки варто знайти і проіндексувати. Це два маленькі файли, але одна помилка в них може прибрати сайт із Google або засмітити індекс тисячами сміттєвих URL. Нижче - як налаштувати robots.txt, що закривати, як бути з AI-краулерами, які правила діють для sitemap.xml і як перевірити все в Search Console.

Зміст
  1. robots.txt і sitemap.xml: у чому різниця
  2. Синтаксис robots.txt: User-agent, Disallow, Allow, Sitemap
  3. robots.txt закриває сканування, а не індексацію
  4. Що закривати в robots.txt, а що ніколи
  5. AI-краулери в robots.txt: закривати чи ні
  6. Правила sitemap.xml: що включати в карту сайту
  7. Як налаштувати robots.txt і sitemap.xml: 5 кроків
  8. Типові помилки в robots.txt і sitemap.xml
  9. Чек-лист: robots.txt і sitemap.xml
  10. Часті запитання
  11. Підсумок

robots.txt і sitemap.xml: у чому різниця

Коротко: robots.txt обмежує сканування, sitemap.xml допомагає його спрямувати.

robots.txtsitemap.xml
ЗавданняСказати роботам, які розділи не скануватиПерелічити сторінки, які варто знайти та проіндексувати
Де лежитьТільки в корені хоста: https://site.com/robots.txtБудь-де, зазвичай https://site.com/sitemap.xml
ФорматПростий текст, UTF-8XML, UTF-8, повні абсолютні URL
Обмеження GoogleЧитає перші 500 КіБ файлуДо 50 000 URL і 50 МБ без стиснення в одному файлі
Чи обов'язковийНі, без нього сайт сканується повністюНі, але дуже бажаний для великих і нових сайтів

Важливо: robots.txt діє лише для того хоста, протоколу і порту, де він лежить. Файл на site.com не керує піддоменом shop.site.com - там потрібен свій.

Синтаксис robots.txt: User-agent, Disallow, Allow, Sitemap

Файл складається з груп. Кожна група починається з рядка User-agent (для якого робота правила), далі йдуть Disallow і Allow. Директива Sitemap стоїть окремо і діє для всіх роботів.

ДирективаЩо робитьПриклад
User-agentВказує робота, для якого діє група. * - усі роботиUser-agent: Googlebot
DisallowЗабороняє сканувати шлях і все, що з нього починаєтьсяDisallow: /admin/
AllowДозволяє шлях усередині закритого розділуAllow: /admin/public/
SitemapПовна адреса карти сайту, можна кілька рядківSitemap: https://site.com/sitemap.xml
*Будь-яка послідовність символівDisallow: /*?sort=
$Кінець URLDisallow: /*.pdf$

Ключові правила:

Приклад robots.txt для інтернет-магазину

Типовий файл построково:

РядокЩо означає
User-agent: *Правила для всіх роботів
Disallow: /admin/Адмінка
Disallow: /cart/Кошик
Disallow: /checkout/Оформлення замовлення
Disallow: /searchВнутрішній пошук сайту
Disallow: /*?sort=Сортування в каталозі
Disallow: /*filter=Комбінації фільтрів, які не потрібні в індексі
Sitemap: https://site.com/sitemap.xmlДе лежить карта сайту

Перш ніж закривати параметри, перевірте, чи немає серед них сторінок фільтрів, які ви свідомо просуваєте, наприклад «кросівки Nike чоловічі». Такі сторінки мають отримати чисті URL і лишитися відкритими.

robots.txt закриває сканування, а не індексацію

Disallow забороняє роботу читати сторінку, але не забороняє Google показувати її адресу в пошуку. Якщо на закриту сторінку ведуть посилання, вона може потрапити в індекс без опису - у Search Console це статус «Проіндексовано, хоча заблоковано файлом robots.txt».

noindex + відкритий доступ

Щоб прибрати сторінку з пошуку, використовуйте meta robots noindex або HTTP-заголовок X-Robots-Tag: noindex. І не закривайте цю сторінку в robots.txt: якщо Googlebot не може її просканувати, він ніколи не побачить noindex.

Директиву noindex усередині самого robots.txt Google не підтримує з 2019 року. Для дублів, які мають передати сигнали основній сторінці, правильний інструмент - canonical, а не заборона сканування.

Що закривати в robots.txt, а що ніколи

Закривати варто те, що не має цінності в пошуку і генерує багато URL: службові розділи, особисті кабінети, результати пошуку по сайту, сортування і нескінченні комбінації фільтрів. Google сам радить так робити з внутрішнім пошуком і зайвими фільтрами.

AI-краулери в robots.txt: закривати чи ні

У robots.txt тепер вирішують і долю сайту в ChatGPT, Claude, Perplexity та Gemini. У компаній кілька роботів із різними завданнями, і закривати можна вибірково.

User-agentЧийДля чого
GPTBotOpenAIЗбір даних для навчання моделей
OAI-SearchBotOpenAIПошук у ChatGPT: показ і цитування сайтів у відповідях
ClaudeBotAnthropicЗбір даних для навчання моделей Claude
PerplexityBotPerplexityІндексація для пошукових відповідей Perplexity
Google-ExtendedGoogleНе окремий робот, а токен: чи можна використовувати контент для навчання і роботи Gemini. На Google Пошук не впливає

Закрити GPTBot чи ClaudeBot - означає не віддавати контент на навчання моделей, але й менше шансів, що модель знатиме про ваш бренд. Закрити OAI-SearchBot чи PerplexityBot - означає зникнути з пошукових відповідей ChatGPT і Perplexity, тобто втратити канал трафіку. Для більшості комерційних сайтів, яким потрібні клієнти, AI-краулери варто залишити відкритими.

Важливо: robots.txt - це домовленість, а не захист, і роботи, яких запускає сам користувач (наприклад, коли просить ChatGPT відкрити сторінку), за документацією компаній можуть не враховувати ці правила. А AI-ботів часто блокує не robots.txt, а захист хостингу чи Cloudflare. Як перевірити свою видимість в AI-асистентах - у статті як потрапити в ChatGPT.

Перевірю robots.txt і sitemap.xml вашого сайту

Надішліть адресу сайту - подивлюся, чи не закрито щось важливе, чи не потрапляє в індекс сміття і чи правильно зібрана карта сайту. Експрес-аудит безкоштовний.

Написати в Telegram

Правила sitemap.xml: що включати в карту сайту

Карта сайту - це список сторінок, які ви хочете бачити в пошуку. Не всіх сторінок сайту, а лише тих, що мають туди потрапити. Для Google це підказка, а не наказ.

Як налаштувати robots.txt і sitemap.xml: 5 кроків

01

Зібрати список того, що треба закрити

Проскануйте сайт краулером (Screaming Frog, Netpeak Spider) і визначте, які типи URL генеруються: параметри, фільтри, сортування, пошук. Для кожного типу вирішіть: індексувати, закрити від сканування чи поставити noindex.

02

Написати robots.txt

Почніть з групи User-agent: *, додайте Disallow для службових розділів і параметрів, окремі групи для AI-краулерів, якщо приймаєте рішення їх закрити, і рядок Sitemap з повною адресою. Збережіть у корені сайту як простий текст.

03

Налаштувати генерацію sitemap.xml

Увімкніть автоматичну карту сайту в CMS або плагіні і перевірте, що в неї потрапляють лише канонічні сторінки з кодом 200. Для великого сайту розбийте карти за типами сторінок і об'єднайте індексним файлом.

04

Надіслати sitemap у Search Console

У Google Search Console відкрийте Індексування - Файли Sitemap, вставте адресу файлу і натисніть «Надіслати». Статус «Успішно» означає, що Google прочитав файл. Як працювати з іншими звітами - у статті про Google Search Console.

05

Перевірити результат

У Налаштуваннях Search Console є звіт robots.txt: який файл Google завантажив і коли, чи є помилки. Інструмент перевірки URL покаже, чи дозволене сканування конкретної сторінки. Google кешує robots.txt до 24 годин, тож зміни діють не миттєво.

Типові помилки в robots.txt і sitemap.xml

Чек-лист: robots.txt і sitemap.xml

Часті запитання

Чи обов'язковий robots.txt для сайту?

Ні. Без robots.txt Google сканує весь сайт. Але для інтернет-магазинів і сайтів із фільтрами файл майже завжди потрібен, щоб робот не витрачав сканування на тисячі технічних URL.

Як закрити сторінку від індексації: через robots.txt чи noindex?

Через noindex. robots.txt забороняє лише сканування, і закрита сторінка може потрапити в індекс без опису. Сторінка з noindex має бути відкрита в robots.txt, інакше Google не побачить директиву.

Чи потрібна карта сайту маленькому сайту?

Сайту з кількома десятками сторінок і добрими внутрішніми посиланнями карта сайту не критична, але не шкодить. Для нових і великих сайтів sitemap.xml дуже бажаний.

Як налаштувати robots.txt на WordPress?

WordPress створює віртуальний robots.txt автоматично. Змінити його можна через SEO-плагін (Yoast, Rank Math) або завантаживши власний файл у корінь сайту. Типово закривають /wp-admin/ з Allow для /wp-admin/admin-ajax.php, внутрішній пошук і зайві параметри.

Чи шкодить SEO закриття AI-краулерів у robots.txt?

На позиції в Google закриття GPTBot, ClaudeBot чи Google-Extended не впливає. Але закриття OAI-SearchBot і PerplexityBot прибирає сайт із пошукових відповідей ChatGPT і Perplexity, тож для комерційного сайту це втрата потенційних клієнтів.

Підсумок

robots.txt керує тим, куди робот ходить, sitemap.xml - тим, що він має знайти, а noindex і canonical - тим, що потрапить в індекс. Закривайте службові розділи, пошук і зайві фільтри, але не CSS, JS і не весь сайт. У карті сайту тримайте лише канонічні сторінки з кодом 200 і перевіряйте звіти Search Console щомісяця.

Налаштую технічне SEO вашого сайту

robots.txt, карта сайту, індексація, дублі і швидкість - у межах щомісячного SEO-супроводу від 20 000 грн/міс. Почнемо з безкоштовного експрес-аудиту.

Залишити заявку

Залиште заявку

Опишіть задачу - відповім протягом кількох годин і підкажу, з чого почати саме у вашому випадку.

Дякую, заявку отримано. Зв'яжусь з вами найближчим часом.
ДЗ

Дмитро Зайченко

Приватний SEO спеціаліст · 13+ років досвіду · 70+ проєктів · zaichenko.pro