Canonical і дублі сторінок: як знайти й прибрати дублікати на сайті
Дублі сторінок - одна з найчастіших технічних проблем, яку я знаходжу під час аудитів: одна й та сама сторінка відкривається за кількома адресами, і Google сам вирішує, яку з них показувати. Нижче - звідки беруться дублі, коли допомагає rel canonical, а коли потрібен 301 редирект чи noindex, як знайти дублікати через Search Console і Screaming Frog і яких помилок з canonical варто уникати.
Зміст
- Що таке дублі сторінок і чим вони шкодять
- Звідки беруться дублі сторінок: типові джерела
- Інструменти: rel canonical, 301 редирект, noindex і hreflang
- Таблиця: яка ситуація - який інструмент
- Як знайти дублі сторінок: 4 кроки
- Типові помилки з canonical
- Чек-лист: дублі сторінок під контролем
- Часті запитання
- Підсумок
Що таке дублі сторінок і чим вони шкодять
Дублі сторінок - це різні URL з однаковим або майже однаковим вмістом. Для людини це одна сторінка, для Google - кілька окремих адрес, з яких треба обрати одну канонічну, тобто головну версію для індексу і видачі.
Сам по собі дубльований контент не є приводом для санкцій: Google прямо пише, що не карає за технічні дублі, якщо це не спроба маніпуляції. Проблема в іншому:
- Витрачається краулінговий бюджет. Googlebot обходить десятки варіантів однієї сторінки замість нових товарів і статей. Для сайтів на кілька сотень сторінок це рідко критично, для інтернет-магазинів з фільтрами - відчутно;
- Розпорошуються сигнали. Посилання, внутрішня перелінковка і поведінкові дані діляться між кількома URL замість того, щоб працювати на одну сторінку;
- У видачу потрапляє не та сторінка. Google може обрати канонічною адресу з UTM-міткою, версію для друку або сторінку сортування замість основної категорії;
- Сторінки конкурують між собою. Дві схожі сторінки під один запит заважають одна одній, і позиції «стрибають».
Тег rel canonical не є командою. Google враховує його разом з редиректами, внутрішніми посиланнями, sitemap і HTTPS і може обрати іншу канонічну сторінку, якщо сигнали суперечать один одному.
Звідки беруться дублі сторінок: типові джерела
Більшість дублів створює не контент-менеджер, а сама CMS, сервер або маркетингові інструменти. Ось що перевіряти насамперед:
- www і без www. example.com і www.example.com відкривають одну сторінку з кодом 200;
- http і https. Стара http-версія доступна без редиректу на https;
- Слеш у кінці URL. /catalog/ і /catalog відповідають однаковим вмістом;
- Параметри та UTM-мітки. ?utm_source=..., ?ref=..., ідентифікатори сесій, параметри відстеження з реклами;
- Фільтри й сортування в e-commerce. ?sort=price, ?color=black&size=42 - тисячі комбінацій з майже тим самим набором товарів;
- Пагінація. /catalog/?page=1 дублює /catalog/;
- Версії для друку і AMP. /print/ або ?print=1 з тим самим текстом;
- Товар у кількох категоріях. /men/sneakers/model-x/ і /sale/model-x/ - одна картка за двома адресами;
- Мовні та регіональні версії. Сторінки для UA і RU або для різних країн з однаковим текстом англійською;
- Регістр і index-файли. /Catalog/ і /catalog/, /index.php і / як окремі адреси.
Інструменти: rel canonical, 301 редирект, noindex і hreflang
Універсального рішення немає. Вибір залежить від того, чи потрібна дубльована сторінка користувачам.
rel canonical
Тег у <head> сторінки, який вказує бажану канонічну адресу: <link rel="canonical" href="https://example.com/catalog/">. Обидві сторінки залишаються доступними для людей, а сигнали Google збирає на канонічній. Для PDF та інших не-HTML файлів canonical можна передати в HTTP-заголовку Link. Використовуйте абсолютні URL і одну canonical на сторінку.
301 редирект
Найсильніший сигнал: дубль просто перестає існувати, користувач і робот потрапляють на основну адресу. Підходить для www/без www, http/https, слеша в кінці, регістру, старих URL після переїзду. Якщо дубльована сторінка не потрібна людям - ставте редирект, а не canonical.
noindex
Мета-тег <meta name="robots" content="noindex"> прибирає сторінку з індексу, але не передає сигнали іншій сторінці. Це інструмент для сторінок, які не мають бути в пошуку взагалі: внутрішній пошук, кошик, службові фільтри. Google не радить використовувати noindex для вибору канонічної версії і не радить поєднувати noindex з canonical на одній сторінці.
Обробка параметрів
Окремого інструменту параметрів у Search Console більше немає - Google вимкнув його у 2022 році. Тепер параметри обробляються на рівні сайту: canonical з параметризованих URL на чисту адресу, внутрішні посилання без UTM-міток, у sitemap - лише канонічні URL. Закриття параметрів у robots.txt економить краулінговий бюджет, але робот тоді не бачить canonical на цих сторінках, тож використовуйте це точково.
hreflang для мовних версій
Мовні версії - не дублі, навіть якщо тексти схожі. Кожна з них має canonical сама на себе, а зв'язок між версіями задає hreflang. Детальніше - у статті про просування сайту за кордоном.
Таблиця: яка ситуація - який інструмент
| Ситуація | Що використати |
|---|---|
| www і без www, http і https | 301 редирект на основне дзеркало |
| Слеш у кінці, регістр, /index.php | 301 редирект на один формат URL |
| UTM-мітки, ref, ідентифікатори сесій | rel canonical на чистий URL, внутрішні посилання без параметрів |
| Сортування і фільтри без пошукового попиту | rel canonical на категорію або noindex |
| Фільтри з попитом («кросівки чорні 42») | Окрема посадкова сторінка з власним title, текстом і canonical на себе |
| Пагінація | Canonical кожної сторінки на саму себе, ?page=1 - 301 на категорію |
| Версія для друку | rel canonical на основну сторінку |
| Товар у кількох категоріях | Один основний URL товару, canonical на нього з інших адрес |
| Мовні та регіональні версії | Canonical на себе + hreflang |
| Кошик, внутрішній пошук, особистий кабінет | noindex |
Окремо про інтернет-магазини: фільтри - найбільше джерело дублів і водночас найбільша точка зростання. Як розділити фільтри на «посадкові» і «технічні», розбираю в статті про SEO просування інтернет-магазину.
Знайду дублі на вашому сайті
Надішліть адресу сайту - перевірю звіт індексування, canonical і редиректи та скажу, які дублі заважають ранжуванню і як їх прибрати.
Написати в TelegramЯк знайти дублі сторінок: 4 кроки
Звіт «Індексування сторінок» у Search Console
Відкрийте Індексування - Сторінки і подивіться причини, чому сторінки не індексуються. Для дублів важливі три статуси: «Дублікат без канонічної сторінки, вибраної користувачем» (Duplicate without user-selected canonical) - canonical не вказано, Google обрав сам; «Дублікат: Google вибрав іншу канонічну сторінку, ніж користувач» (Duplicate, Google chose different canonical than user) - вашу canonical проігноровано; «Альтернативна сторінка з належним канонічним тегом» - тут усе гаразд, це очікувана поведінка.
Перевірка URL в Search Console
Для конкретної сторінки інструмент перевірки URL показує два поля: канонічна сторінка, вказана користувачем, і канонічна сторінка, вибрана Google. Якщо вони різні - шукайте, які сигнали суперечать вашій canonical: внутрішні посилання, sitemap, редиректи.
Сканування в Screaming Frog
Проскануйте сайт і перегляньте вкладку Canonicals (відсутні, неканонічні, з canonical на інший URL), а також Content - Exact Duplicates і Near Duplicates (пошук майже-дублів треба увімкнути в налаштуваннях). Окремо відфільтруйте сторінки з однаковими title і H1 - це швидкий спосіб побачити дублі, про які CMS «забула».
Пошук через site: у Google
Запити на кшталт site:example.com inurl:utm, site:example.com inurl:sort або site: з фрагментом унікального тексту в лапках показують, які варіанти адрес потрапили в індекс. Оператор site: дає приблизні дані, тому використовуйте його для швидкої перевірки, а не для підрахунку.
Пошук дублів - стандартна частина технічної перевірки сайту. Що ще входить у таку перевірку, описано в статті про SEO аудит сайту.
Типові помилки з canonical
- Canonical на сторінку з noindex. Суперечливий сигнал: «головна версія - ось ця, але не індексуй її». У результаті Google може проігнорувати обидві вказівки;
- Ланцюжки canonical. Сторінка A вказує на B, B - на C. Кожна canonical має вести одразу на кінцеву канонічну адресу;
- Canonical усіх сторінок пагінації на першу. Друга і наступні сторінки містять інші товари, тому це не дублі. Така canonical може призвести до того, що товари з глибших сторінок погано індексуються;
- Canonical на URL з редиректом або 404. Вказуйте лише адреси з кодом 200, які самі є канонічними;
- Canonical на головну з усіх сторінок. Часто трапляється після помилки в шаблоні: усі сторінки сайту «просять» Google індексувати лише головну;
- Відносні URL і http у canonical. На https-сайті canonical з http або без домену - джерело плутанини;
- Дві canonical на одній сторінці. Одну додає CMS, другу - SEO-плагін. Google у такому разі може проігнорувати обидві;
- Canonical суперечить іншим сигналам. У sitemap і внутрішніх посиланнях - одна адреса, у canonical - інша. Сигнали мають збігатися.
Дублі часто видно і по метатегах: однакові title на різних URL - перша ознака проблеми. Як правильно складати title і description для кожної сторінки, читайте в статті про метатеги title і description.
Чек-лист: дублі сторінок під контролем
- Сайт доступний за однією адресою: 301 з http на https і з неосновного дзеркала www/без www
- Один формат URL: зі слешем або без, у нижньому регістрі, без /index.php
- Кожна індексована сторінка має одну canonical з абсолютним https-URL
- Canonical веде на сторінку з кодом 200, без noindex і без редиректу
- Сторінки пагінації мають canonical на себе, а не на першу сторінку
- Фільтри розділені на посадкові (з canonical на себе) і технічні (canonical на категорію або noindex)
- Внутрішні посилання і sitemap містять лише канонічні URL без UTM-міток
- Мовні версії мають canonical на себе і коректний hreflang
- Раз на місяць перевіряються статуси дублікатів у звіті «Індексування сторінок»
Часті запитання
Що таке rel canonical простими словами?
Це тег у коді сторінки, який повідомляє Google, яку адресу вважати головною серед кількох однакових або схожих сторінок. Google зазвичай дослухається, але може обрати іншу сторінку, якщо інші сигнали сайту суперечать canonical.
Чи карає Google за дублі сторінок?
Ні, за технічні дублі санкцій немає. Але дублі витрачають краулінговий бюджет, розпорошують посилання між кількома URL і можуть вивести у видачу не ту сторінку, тому прибирати їх варто.
Що краще: canonical чи 301 редирект?
Якщо дубльована сторінка не потрібна користувачам - 301 редирект, це сильніший сигнал. Якщо сторінка має залишатися доступною (UTM-мітки, сортування, версія для друку, товар у кількох категоріях) - canonical.
Чи потрібна canonical, якщо дублів на сторінці немає?
Так, canonical на саму себе - хороша практика. Вона захищає від дублів, які з'являються пізніше: коли на сторінку ведуть посилання з UTM-мітками чи параметрами, Google одразу бачить, яку адресу вважати основною.
Чому Google ігнорує мою canonical?
Найчастіші причини: сторінки насправді не дублі, на неканонічну адресу ведуть внутрішні посилання, у sitemap вказана інша URL, canonical веде на сторінку з редиректом чи noindex. Перевірте сторінку в інструменті перевірки URL і приведіть усі сигнали до однієї адреси.
Підсумок
Дублі сторінок не тягнуть за собою санкцій, але забирають краулінговий бюджет і розпорошують сигнали між кількома адресами. Технічні дублі (дзеркала, слеш, регістр) прибирайте 301 редиректом. Сторінки, потрібні людям, але не пошуку, позначайте rel canonical. Службові сторінки закривайте noindex, а мовні версії зв'язуйте через hreflang. І перевіряйте результат у звіті «Індексування сторінок»: саме там видно, чи погодився Google з вашою canonical.
Наведу лад в індексації сайту
Технічний аудит дублів, налаштування canonical, редиректів і hreflang, контроль індексації в Search Console. Перший крок - безкоштовний експрес-аудит, щомісячне SEO - від 20 000 грн/міс.
Залишити заявку