robots.txt і sitemap.xml: як налаштувати robots.txt і карту сайту без помилок
robots.txt каже пошуковим роботам, куди на сайті не ходити, а sitemap.xml - карта сайту - підказує, які сторінки варто знайти і проіндексувати. Це два маленькі файли, але одна помилка в них може прибрати сайт із Google або засмітити індекс тисячами сміттєвих URL. Нижче - як налаштувати robots.txt, що закривати, як бути з AI-краулерами, які правила діють для sitemap.xml і як перевірити все в Search Console.
Зміст
- robots.txt і sitemap.xml: у чому різниця
- Синтаксис robots.txt: User-agent, Disallow, Allow, Sitemap
- robots.txt закриває сканування, а не індексацію
- Що закривати в robots.txt, а що ніколи
- AI-краулери в robots.txt: закривати чи ні
- Правила sitemap.xml: що включати в карту сайту
- Як налаштувати robots.txt і sitemap.xml: 5 кроків
- Типові помилки в robots.txt і sitemap.xml
- Чек-лист: robots.txt і sitemap.xml
- Часті запитання
- Підсумок
robots.txt і sitemap.xml: у чому різниця
Коротко: robots.txt обмежує сканування, sitemap.xml допомагає його спрямувати.
| robots.txt | sitemap.xml | |
|---|---|---|
| Завдання | Сказати роботам, які розділи не сканувати | Перелічити сторінки, які варто знайти та проіндексувати |
| Де лежить | Тільки в корені хоста: https://site.com/robots.txt | Будь-де, зазвичай https://site.com/sitemap.xml |
| Формат | Простий текст, UTF-8 | XML, UTF-8, повні абсолютні URL |
| Обмеження Google | Читає перші 500 КіБ файлу | До 50 000 URL і 50 МБ без стиснення в одному файлі |
| Чи обов'язковий | Ні, без нього сайт сканується повністю | Ні, але дуже бажаний для великих і нових сайтів |
Важливо: robots.txt діє лише для того хоста, протоколу і порту, де він лежить. Файл на site.com не керує піддоменом shop.site.com - там потрібен свій.
Синтаксис robots.txt: User-agent, Disallow, Allow, Sitemap
Файл складається з груп. Кожна група починається з рядка User-agent (для якого робота правила), далі йдуть Disallow і Allow. Директива Sitemap стоїть окремо і діє для всіх роботів.
| Директива | Що робить | Приклад |
|---|---|---|
| User-agent | Вказує робота, для якого діє група. * - усі роботи | User-agent: Googlebot |
| Disallow | Забороняє сканувати шлях і все, що з нього починається | Disallow: /admin/ |
| Allow | Дозволяє шлях усередині закритого розділу | Allow: /admin/public/ |
| Sitemap | Повна адреса карти сайту, можна кілька рядків | Sitemap: https://site.com/sitemap.xml |
| * | Будь-яка послідовність символів | Disallow: /*?sort= |
| $ | Кінець URL | Disallow: /*.pdf$ |
Ключові правила:
- Шляхи чутливі до регістру. Disallow: /Admin/ не закриває /admin/;
- Перемагає найдовше правило. Якщо збігаються Disallow і Allow, Google застосовує те, у якого довший шлях. За однакової довжини - менш обмежувальне, тобто Allow;
- Робот обирає одну групу. Googlebot шукає групу з найточнішим User-agent. Якщо є група для Googlebot, загальна група * для нього вже не діє;
- Crawl-delay Google ігнорує. Інші пошуковики можуть його враховувати.
Приклад robots.txt для інтернет-магазину
Типовий файл построково:
| Рядок | Що означає |
|---|---|
| User-agent: * | Правила для всіх роботів |
| Disallow: /admin/ | Адмінка |
| Disallow: /cart/ | Кошик |
| Disallow: /checkout/ | Оформлення замовлення |
| Disallow: /search | Внутрішній пошук сайту |
| Disallow: /*?sort= | Сортування в каталозі |
| Disallow: /*filter= | Комбінації фільтрів, які не потрібні в індексі |
| Sitemap: https://site.com/sitemap.xml | Де лежить карта сайту |
Перш ніж закривати параметри, перевірте, чи немає серед них сторінок фільтрів, які ви свідомо просуваєте, наприклад «кросівки Nike чоловічі». Такі сторінки мають отримати чисті URL і лишитися відкритими.
robots.txt закриває сканування, а не індексацію
Disallow забороняє роботу читати сторінку, але не забороняє Google показувати її адресу в пошуку. Якщо на закриту сторінку ведуть посилання, вона може потрапити в індекс без опису - у Search Console це статус «Проіндексовано, хоча заблоковано файлом robots.txt».
Щоб прибрати сторінку з пошуку, використовуйте meta robots noindex або HTTP-заголовок X-Robots-Tag: noindex. І не закривайте цю сторінку в robots.txt: якщо Googlebot не може її просканувати, він ніколи не побачить noindex.
Директиву noindex усередині самого robots.txt Google не підтримує з 2019 року. Для дублів, які мають передати сигнали основній сторінці, правильний інструмент - canonical, а не заборона сканування.
Що закривати в robots.txt, а що ніколи
Закривати варто те, що не має цінності в пошуку і генерує багато URL: службові розділи, особисті кабінети, результати пошуку по сайту, сортування і нескінченні комбінації фільтрів. Google сам радить так робити з внутрішнім пошуком і зайвими фільтрами.
- Закривати: /admin/, /wp-admin/ (з Allow для /wp-admin/admin-ajax.php на WordPress), кошик, оформлення замовлення, особистий кабінет, внутрішній пошук, параметри сортування, UTM та інші трекінгові параметри, тестові розділи;
- Ніколи не закривати: CSS, JavaScript і зображення, потрібні для відображення сторінки. Google рендерить сторінку як браузер, і без цих файлів може вважати її порожньою або неадаптивною;
- Ніколи не лишати після запуску: Disallow: / з тестового сервера. Це класична помилка при перенесенні сайту - весь сайт закритий, і ніхто цього не помічає тижнями. Детальніше про запуск - у статті SEO для нового сайту.
AI-краулери в robots.txt: закривати чи ні
У robots.txt тепер вирішують і долю сайту в ChatGPT, Claude, Perplexity та Gemini. У компаній кілька роботів із різними завданнями, і закривати можна вибірково.
| User-agent | Чий | Для чого |
|---|---|---|
| GPTBot | OpenAI | Збір даних для навчання моделей |
| OAI-SearchBot | OpenAI | Пошук у ChatGPT: показ і цитування сайтів у відповідях |
| ClaudeBot | Anthropic | Збір даних для навчання моделей Claude |
| PerplexityBot | Perplexity | Індексація для пошукових відповідей Perplexity |
| Google-Extended | Не окремий робот, а токен: чи можна використовувати контент для навчання і роботи Gemini. На Google Пошук не впливає |
Закрити GPTBot чи ClaudeBot - означає не віддавати контент на навчання моделей, але й менше шансів, що модель знатиме про ваш бренд. Закрити OAI-SearchBot чи PerplexityBot - означає зникнути з пошукових відповідей ChatGPT і Perplexity, тобто втратити канал трафіку. Для більшості комерційних сайтів, яким потрібні клієнти, AI-краулери варто залишити відкритими.
Важливо: robots.txt - це домовленість, а не захист, і роботи, яких запускає сам користувач (наприклад, коли просить ChatGPT відкрити сторінку), за документацією компаній можуть не враховувати ці правила. А AI-ботів часто блокує не robots.txt, а захист хостингу чи Cloudflare. Як перевірити свою видимість в AI-асистентах - у статті як потрапити в ChatGPT.
Перевірю robots.txt і sitemap.xml вашого сайту
Надішліть адресу сайту - подивлюся, чи не закрито щось важливе, чи не потрапляє в індекс сміття і чи правильно зібрана карта сайту. Експрес-аудит безкоштовний.
Написати в TelegramПравила sitemap.xml: що включати в карту сайту
Карта сайту - це список сторінок, які ви хочете бачити в пошуку. Не всіх сторінок сайту, а лише тих, що мають туди потрапити. Для Google це підказка, а не наказ.
- Тільки канонічні URL з кодом 200. Без редиректів, 404, сторінок із noindex і дублів, у яких canonical вказує на іншу адресу;
- Повні абсолютні адреси з тим самим протоколом і доменом, що й основна версія сайту: https://site.com/page/, а не /page/;
- До 50 000 URL і 50 МБ без стиснення в одному файлі. Більше - ділите на кілька файлів;
- Індексний файл sitemap об'єднує кілька карт сайту: наприклад, окремо для категорій, товарів і статей. Його й надсилають у Search Console;
- Точний lastmod. Google використовує дату останньої зміни, якщо вона стабільно правдива. Оновлюйте її, коли змінився зміст сторінки, а не при кожній генерації файлу;
- priority і changefreq Google ігнорує. Їх можна не заповнювати.
Як налаштувати robots.txt і sitemap.xml: 5 кроків
Зібрати список того, що треба закрити
Проскануйте сайт краулером (Screaming Frog, Netpeak Spider) і визначте, які типи URL генеруються: параметри, фільтри, сортування, пошук. Для кожного типу вирішіть: індексувати, закрити від сканування чи поставити noindex.
Написати robots.txt
Почніть з групи User-agent: *, додайте Disallow для службових розділів і параметрів, окремі групи для AI-краулерів, якщо приймаєте рішення їх закрити, і рядок Sitemap з повною адресою. Збережіть у корені сайту як простий текст.
Налаштувати генерацію sitemap.xml
Увімкніть автоматичну карту сайту в CMS або плагіні і перевірте, що в неї потрапляють лише канонічні сторінки з кодом 200. Для великого сайту розбийте карти за типами сторінок і об'єднайте індексним файлом.
Надіслати sitemap у Search Console
У Google Search Console відкрийте Індексування - Файли Sitemap, вставте адресу файлу і натисніть «Надіслати». Статус «Успішно» означає, що Google прочитав файл. Як працювати з іншими звітами - у статті про Google Search Console.
Перевірити результат
У Налаштуваннях Search Console є звіт robots.txt: який файл Google завантажив і коли, чи є помилки. Інструмент перевірки URL покаже, чи дозволене сканування конкретної сторінки. Google кешує robots.txt до 24 годин, тож зміни діють не миттєво.
Типові помилки в robots.txt і sitemap.xml
- Disallow: / після запуску. Тестову заборону перенесли на робочий сайт - і трафік падає до нуля;
- Закриті CSS і JS. Google бачить «зламану» сторінку;
- Disallow замість noindex. Сторінки, які хотіли прибрати з пошуку, лишаються в індексі без опису;
- Сміття в sitemap. Редиректи, 404, сторінки з noindex і неканонічні дублі - Google менше довіряє такій карті сайту;
- robots.txt повертає помилку 5xx. Google може тимчасово зупинити сканування сайту, поки файл недоступний. Помилка 404 натомість означає «обмежень немає».
Чек-лист: robots.txt і sitemap.xml
- robots.txt лежить у корені кожного хоста і повертає код 200
- Немає Disallow: / на робочому сайті
- CSS, JS і зображення відкриті для сканування
- Закриті адмінка, кошик, оформлення замовлення, внутрішній пошук і зайві параметри
- Сторінки з noindex не заблоковані в robots.txt
- Рішення щодо GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot і Google-Extended прийнято свідомо
- У robots.txt є рядок Sitemap з повною адресою
- У sitemap.xml лише канонічні URL з кодом 200 без noindex
- Кожен файл sitemap до 50 000 URL і 50 МБ, для великих сайтів є індексний файл
- lastmod відображає реальну дату зміни сторінки
- Sitemap надіслано в Search Console зі статусом «Успішно»
Часті запитання
Чи обов'язковий robots.txt для сайту?
Ні. Без robots.txt Google сканує весь сайт. Але для інтернет-магазинів і сайтів із фільтрами файл майже завжди потрібен, щоб робот не витрачав сканування на тисячі технічних URL.
Як закрити сторінку від індексації: через robots.txt чи noindex?
Через noindex. robots.txt забороняє лише сканування, і закрита сторінка може потрапити в індекс без опису. Сторінка з noindex має бути відкрита в robots.txt, інакше Google не побачить директиву.
Чи потрібна карта сайту маленькому сайту?
Сайту з кількома десятками сторінок і добрими внутрішніми посиланнями карта сайту не критична, але не шкодить. Для нових і великих сайтів sitemap.xml дуже бажаний.
Як налаштувати robots.txt на WordPress?
WordPress створює віртуальний robots.txt автоматично. Змінити його можна через SEO-плагін (Yoast, Rank Math) або завантаживши власний файл у корінь сайту. Типово закривають /wp-admin/ з Allow для /wp-admin/admin-ajax.php, внутрішній пошук і зайві параметри.
Чи шкодить SEO закриття AI-краулерів у robots.txt?
На позиції в Google закриття GPTBot, ClaudeBot чи Google-Extended не впливає. Але закриття OAI-SearchBot і PerplexityBot прибирає сайт із пошукових відповідей ChatGPT і Perplexity, тож для комерційного сайту це втрата потенційних клієнтів.
Підсумок
robots.txt керує тим, куди робот ходить, sitemap.xml - тим, що він має знайти, а noindex і canonical - тим, що потрапить в індекс. Закривайте службові розділи, пошук і зайві фільтри, але не CSS, JS і не весь сайт. У карті сайту тримайте лише канонічні сторінки з кодом 200 і перевіряйте звіти Search Console щомісяця.
Налаштую технічне SEO вашого сайту
robots.txt, карта сайту, індексація, дублі і швидкість - у межах щомісячного SEO-супроводу від 20 000 грн/міс. Почнемо з безкоштовного експрес-аудиту.
Залишити заявку