Дубли страниц и canonical: как найти и убрать дубликаты на сайте
Дубли страниц - одна из самых частых технических проблем, которые я нахожу на аудитах: одна и та же страница открывается по нескольким адресам, и Google сам решает, какую из них показывать. Ниже - откуда берутся дубли страниц, когда помогает rel canonical, а когда нужен 301 редирект или noindex, как найти дубликаты через Search Console и Screaming Frog и каких ошибок с canonical стоит избегать.
Содержание
- Что такое дубли страниц и чем они вредят
- Откуда берутся дубли страниц: типичные источники
- Инструменты: rel canonical, 301 редирект, noindex и hreflang
- Таблица: какая ситуация - какой инструмент
- Как найти дубли страниц: 4 шага
- Типичные ошибки с canonical
- Чек-лист: дубли страниц под контролем
- Частые вопросы
- Итог
Что такое дубли страниц и чем они вредят
Дубли страниц - это разные URL с одинаковым или почти одинаковым содержимым. Для человека это одна страница, для Google - несколько отдельных адресов, из которых нужно выбрать одну каноническую, то есть основную версию для индекса и выдачи.
Сам по себе дублированный контент не повод для санкций: Google прямо пишет, что не наказывает за технические дубли, если это не попытка манипуляции. Проблема в другом:
- Тратится краулинговый бюджет. Googlebot обходит десятки вариантов одной страницы вместо новых товаров и статей. Для сайтов на несколько сотен страниц это редко критично, для интернет-магазинов с фильтрами - ощутимо;
- Распыляются сигналы. Ссылки, внутренняя перелинковка и поведенческие данные делятся между несколькими URL вместо того, чтобы работать на одну страницу;
- В выдачу попадает не та страница. Google может выбрать канонической адрес с UTM-меткой, версию для печати или страницу сортировки вместо основной категории;
- Страницы конкурируют между собой. Две похожие страницы под один запрос мешают друг другу, и позиции «прыгают».
Тег rel canonical не команда. Google учитывает его вместе с редиректами, внутренними ссылками, sitemap и HTTPS и может выбрать другую каноническую страницу, если сигналы противоречат друг другу.
Откуда берутся дубли страниц: типичные источники
Большинство дублей создает не контент-менеджер, а сама CMS, сервер или маркетинговые инструменты. Вот что проверять в первую очередь:
- www и без www. example.com и www.example.com открывают одну страницу с кодом 200;
- http и https. Старая http-версия доступна без редиректа на https;
- Слеш в конце URL. /catalog/ и /catalog отдают одинаковое содержимое;
- Параметры и UTM-метки. ?utm_source=..., ?ref=..., идентификаторы сессий, параметры отслеживания из рекламы;
- Фильтры и сортировка в e-commerce. ?sort=price, ?color=black&size=42 - тысячи комбинаций почти с тем же набором товаров;
- Пагинация. /catalog/?page=1 дублирует /catalog/;
- Версии для печати и AMP. /print/ или ?print=1 с тем же текстом;
- Товар в нескольких категориях. /men/sneakers/model-x/ и /sale/model-x/ - одна карточка по двум адресам;
- Языковые и региональные версии. Страницы для разных стран с одинаковым текстом на английском;
- Регистр и index-файлы. /Catalog/ и /catalog/, /index.php и / как отдельные адреса.
Инструменты: rel canonical, 301 редирект, noindex и hreflang
Универсального решения нет. Выбор зависит от того, нужна ли дублирующая страница пользователям.
rel canonical
Тег в <head> страницы, который указывает желаемый канонический адрес: <link rel="canonical" href="https://example.com/catalog/">. Обе страницы остаются доступными для людей, а сигналы Google собирает на канонической. Для PDF и других не-HTML файлов canonical можно передать в HTTP-заголовке Link. Используйте абсолютные URL и одну canonical на страницу.
301 редирект
Самый сильный сигнал: дубль просто перестает существовать, пользователь и робот попадают на основной адрес. Подходит для www/без www, http/https, слеша в конце, регистра, старых URL после переезда. Если дублирующая страница не нужна людям - ставьте редирект, а не canonical.
noindex
Метатег <meta name="robots" content="noindex"> убирает страницу из индекса, но не передает сигналы другой странице. Это инструмент для страниц, которым вообще не место в поиске: внутренний поиск, корзина, служебные фильтры. Google не советует использовать noindex для выбора канонической версии и не советует сочетать noindex с canonical на одной странице.
Обработка параметров
Отдельного инструмента параметров в Search Console больше нет - Google отключил его в 2022 году. Теперь параметры обрабатываются на уровне сайта: canonical с параметризованных URL на чистый адрес, внутренние ссылки без UTM-меток, в sitemap - только канонические URL. Закрытие параметров в robots.txt экономит краулинговый бюджет, но робот тогда не видит canonical на этих страницах, поэтому используйте это точечно.
hreflang для языковых версий
Языковые версии - не дубли, даже если тексты похожи. Каждая из них имеет canonical на саму себя, а связь между версиями задает hreflang. Подробнее - в статье о продвижении сайта за рубежом.
Таблица: какая ситуация - какой инструмент
| Ситуация | Что использовать |
|---|---|
| www и без www, http и https | 301 редирект на основное зеркало |
| Слеш в конце, регистр, /index.php | 301 редирект на один формат URL |
| UTM-метки, ref, идентификаторы сессий | rel canonical на чистый URL, внутренние ссылки без параметров |
| Сортировка и фильтры без поискового спроса | rel canonical на категорию или noindex |
| Фильтры со спросом («кроссовки черные 42») | Отдельная посадочная страница со своим title, текстом и canonical на себя |
| Пагинация | Canonical каждой страницы на саму себя, ?page=1 - 301 на категорию |
| Версия для печати | rel canonical на основную страницу |
| Товар в нескольких категориях | Один основной URL товара, canonical на него с других адресов |
| Языковые и региональные версии | Canonical на себя + hreflang |
| Корзина, внутренний поиск, личный кабинет | noindex |
Отдельно об интернет-магазинах: фильтры - самый большой источник дублей и одновременно самая большая точка роста. Как разделить фильтры на «посадочные» и «технические», разбираю в статье о SEO продвижении интернет-магазина.
Найду дубли на вашем сайте
Пришлите адрес сайта - проверю отчет об индексировании, canonical и редиректы и скажу, какие дубли мешают ранжированию и как их убрать.
Написать в TelegramКак найти дубли страниц: 4 шага
Отчет «Индексирование страниц» в Search Console
Откройте Индексирование - Страницы и посмотрите причины, по которым страницы не индексируются. Для дублей важны три статуса: Duplicate without user-selected canonical (дубликат без выбранной пользователем канонической страницы) - canonical не указан, Google выбрал сам; Duplicate, Google chose different canonical than user (Google выбрал другую каноническую страницу) - ваш canonical проигнорирован; Alternate page with proper canonical tag (альтернативная страница с правильным каноническим тегом) - здесь все в порядке, это ожидаемое поведение.
Проверка URL в Search Console
Для конкретной страницы инструмент проверки URL показывает два поля: каноническая страница, указанная пользователем, и каноническая страница, выбранная Google. Если они разные - ищите, какие сигналы противоречат вашему canonical: внутренние ссылки, sitemap, редиректы.
Сканирование в Screaming Frog
Просканируйте сайт и посмотрите вкладку Canonicals (отсутствующие, неканонические, с canonical на другой URL), а также Content - Exact Duplicates и Near Duplicates (поиск почти-дублей нужно включить в настройках). Отдельно отфильтруйте страницы с одинаковыми title и H1 - это быстрый способ увидеть дубли, о которых CMS «забыла».
Поиск через site: в Google
Запросы вида site:example.com inurl:utm, site:example.com inurl:sort или site: с фрагментом уникального текста в кавычках показывают, какие варианты адресов попали в индекс. Оператор site: дает приблизительные данные, поэтому используйте его для быстрой проверки, а не для подсчета.
Поиск дублей - стандартная часть технической проверки сайта. Что еще входит в такую проверку, описано в статье об SEO аудите сайта.
Типичные ошибки с canonical
- Canonical на страницу с noindex. Противоречивый сигнал: «основная версия - вот эта, но не индексируй ее». В итоге Google может проигнорировать оба указания;
- Цепочки canonical. Страница A указывает на B, B - на C. Каждый canonical должен вести сразу на конечный канонический адрес;
- Canonical всех страниц пагинации на первую. Вторая и следующие страницы содержат другие товары, поэтому это не дубли. Такой canonical может привести к тому, что товары с глубоких страниц плохо индексируются;
- Canonical на URL с редиректом или 404. Указывайте только адреса с кодом 200, которые сами являются каноническими;
- Canonical на главную со всех страниц. Часто встречается после ошибки в шаблоне: все страницы сайта «просят» Google индексировать только главную;
- Относительные URL и http в canonical. На https-сайте canonical с http или без домена - источник путаницы;
- Два canonical на одной странице. Один добавляет CMS, второй - SEO-плагин. Google в таком случае может проигнорировать оба;
- Canonical противоречит другим сигналам. В sitemap и внутренних ссылках - один адрес, в canonical - другой. Сигналы должны совпадать.
Дубли часто видны и по метатегам: одинаковые title на разных URL - первый признак проблемы. Как правильно составлять title и description для каждой страницы, читайте в статье о метатегах title и description.
Чек-лист: дубли страниц под контролем
- Сайт доступен по одному адресу: 301 с http на https и с неосновного зеркала www/без www
- Один формат URL: со слешем или без, в нижнем регистре, без /index.php
- У каждой индексируемой страницы один canonical с абсолютным https-URL
- Canonical ведет на страницу с кодом 200, без noindex и без редиректа
- Страницы пагинации имеют canonical на себя, а не на первую страницу
- Фильтры разделены на посадочные (canonical на себя) и технические (canonical на категорию или noindex)
- Внутренние ссылки и sitemap содержат только канонические URL без UTM-меток
- Языковые версии имеют canonical на себя и корректный hreflang
- Раз в месяц проверяются статусы дубликатов в отчете «Индексирование страниц»
Частые вопросы
Что такое canonical простыми словами?
Это тег в коде страницы, который сообщает Google, какой адрес считать основным среди нескольких одинаковых или похожих страниц. Google обычно прислушивается, но может выбрать другую страницу, если остальные сигналы сайта противоречат canonical.
Наказывает ли Google за дубли страниц?
Нет, за технические дубли санкций нет. Но дубли тратят краулинговый бюджет, распыляют ссылки между несколькими URL и могут вывести в выдачу не ту страницу, поэтому убирать их стоит.
Что лучше: canonical или 301 редирект?
Если дублирующая страница не нужна пользователям - 301 редирект, это более сильный сигнал. Если страница должна оставаться доступной (UTM-метки, сортировка, версия для печати, товар в нескольких категориях) - canonical.
Нужен ли canonical, если дублей у страницы нет?
Да, canonical на саму себя - хорошая практика. Он защищает от дублей, которые появляются позже: когда на страницу ведут ссылки с UTM-метками или параметрами, Google сразу видит, какой адрес считать основным.
Почему Google игнорирует мой canonical?
Самые частые причины: страницы на самом деле не дубли, на неканонический адрес ведут внутренние ссылки, в sitemap указан другой URL, canonical ведет на страницу с редиректом или noindex. Проверьте страницу в инструменте проверки URL и приведите все сигналы к одному адресу.
Итог
Дубли страниц не влекут санкций, но отнимают краулинговый бюджет и распыляют сигналы между несколькими адресами. Технические дубли (зеркала, слеш, регистр) убирайте 301 редиректом. Страницы, нужные людям, но не поиску, помечайте rel canonical. Служебные страницы закрывайте noindex, а языковые версии связывайте через hreflang. И проверяйте результат в отчете «Индексирование страниц»: именно там видно, согласился ли Google с вашим canonical.
Наведу порядок в индексации сайта
Технический аудит дублей, настройка canonical, редиректов и hreflang, контроль индексации в Search Console. Первый шаг - бесплатный экспресс-аудит, ежемесячное SEO - от 20 000 грн/мес.
Оставить заявку