3000 товаров – а поисковый робот обнаружил 50 000 URL
Часто дополнительные страницы создают фильтры, сортировки, цена, параметры и их комбинации. Но закрывать всё подряд нельзя – часть фильтров может приносить поисковый трафик.
ФАСЕТНАЯ НАВИГАЦИЯ
Небольшой каталог может порождать огромное пространство URL
Фильтры помогают покупателю выбрать товар, но каждое новое значение, сортировка и комбинация параметров способны создавать отдельный адрес. В результате количество доступных поисковому роботу URL растёт значительно быстрее самого каталога.
3 000
товаров
50 000
URL
ЧТО ПРОИСХОДИТ
Что такое фасетная навигация и почему она раздувает количество страниц
Пользователь последовательно сужает ассортимент по характеристикам: бренд, размер, цвет, цена, материал, наличие и другим свойствам.
ПРИМЕР ФИЛЬТРАЦИИ
Bosch
1500–2000 Вт
до 10 000
В наличии
/category/?brand=bosch&power=1500-2000&price=10000&stock=yes
Затем пользователь меняет цену, сортировку, количество товаров на странице или добавляет ещё одну характеристику – и сайт может создать новый URL.
КОМБИНАТОРНЫЙ РОСТ
Несколько обычных фильтров могут породить тысячи вариантов одной категории
брендов
×
цветов
×
размеров
×
цен
10 × 8 × 6 × 5 = 2 400
возможных сочетаний ещё до добавления сортировки, наличия и пагинации
ОДИН АССОРТИМЕНТ – РАЗНЫЕ АДРЕСА
Количество URL растёт даже тогда, когда ассортимент почти не меняется
/category/?brand=bosch&color=black
/category/?color=black&brand=bosch
/category/?brand=bosch&color=black&sort=price
/category/?brand=bosch&color=black&sort=rating
URL отличаются, но поисковая ценность может не отличаться
Поисковому роботу всё равно приходится обнаруживать и анализировать эти варианты.
СНАЧАЛА КЛАССИФИКАЦИЯ
Само число 50 000 ещё не является диагнозом
Нужно понять, что именно скрывается за этими адресами.
нужные товарные страницы
категории и полезные подборки
служебные URL и комбинации
Это принципиально отличается от магазина, где 3000 товаров, а остальные 47 000 URL состоят почти исключительно из параметров сортировки, цены, цвета и их комбинаций.
ГЛАВНОЕ РАЗДЕЛЕНИЕ
Не каждый фильтр – мусор. Но и не каждый фильтр – SEO-страница
SEO-ФИЛЬТР
«Ноутбуки Lenovo»
Есть самостоятельный коммерческий спрос, стабильный ассортимент и понятный поисковый интент.
ТЕХНИЧЕСКИЙ ФИЛЬТР
«Lenovo + 16 GB + 512 GB + серый + до 31 000 + сначала дешёвые»
Для покупателя комбинация полезна, но отдельная поисковая страница обычно не нужна.
ПРОВЕРКА №1
Есть ли самостоятельный поисковый спрос?
ноутбуки Lenovo
ноутбуки Lenovo серые 16 GB 512 GB до 31 000
Вопрос не «можно ли создать такой URL?»
Вопрос – существует ли самостоятельная потребность искать именно такую подборку.
ПРОВЕРКА №2
Насколько действительно отличается ассортимент
Если разные фильтры показывают почти одинаковые товары, создавать для них несколько самостоятельных поисковых документов может быть бессмысленно.
/category/?color=black
/category/?color=graphite
ПРОВЕРКА №3
Что происходит, когда фильтр не находит ни одного товара
КОМБИНАЦИЯ
+
XXL
+
Бренд X
+
Материал Y
Коммерческой страницы здесь фактически нет
Пустые и бессмысленные комбинации не должны бесконечно существовать как обычные страницы с кодом 200.
ПРОВЕРКА №4
Сортировка меняет порядок, но не обязательно создаёт новую страницу
?sort=priceСначала дешёвые
?sort=price-descСначала дорогие
?sort=ratingПо рейтингу
?sort=newСначала новые
Функция полезна покупателю
Но это ещё не означает, что Google нужны четыре отдельные версии одной категории.
ТРИ РАЗНЫХ МЕХАНИЗМА
robots.txt, noindex и canonical нельзя воспринимать как взаимозаменяемые команды
ROBOTS.TXT
Управляет сканированием
Может ограничить обход ненужных технических пространств URL.
NOINDEX
Управляет присутствием страницы в индексе
Чтобы прочитать noindex, поисковый робот должен получить доступ к самой странице.
CANONICAL
Указывает предпочтительную версию среди похожих URL
Не является запретом на сканирование всех остальных вариантов.
CANONICAL НЕ ЛЕЧИТ АРХИТЕКТУРУ
Миллион фильтров с canonical всё равно остаётся миллионом доступных URL
ТИПИЧНАЯ СХЕМА
<link rel="canonical" href="/category/">
Canonical нужен там, где действительно существуют дубли или очень близкие варианты. Но если магазин сам генерирует бесконечное URL-пространство, сначала нужно исправлять источник этого пространства.
НЕ ОБЕЗВРЕЖИВАЙТЕ НУЖНЫЕ СТРАНИЦЫ
Если фильтр нужен для SEO, canonical на родительскую категорию может противоречить самой стратегии
Ноутбуки Lenovo
→ Ноутбуки
Сначала принимается бизнес- и SEO-решение
Нужна ли эта страница как самостоятельная посадочная? Только после этого выбирается canonical.
ЧАСТАЯ ТЕХНИЧЕСКАЯ ОШИБКА
Нельзя закрыть роботу дверь и одновременно ждать, что он прочитает noindex внутри комнаты
ROBOTS.TXT
Disallow: /filter/
ВНУТРИ HTML
<meta name="robots" content="noindex">
СНАЧАЛА – КЛАССИФИКАЦИЯ
Для каждого типа URL нужно заранее определить его роль
/category/brand-bosch/
Есть спрос → потенциальная SEO-страница.
?color=black
В конкретной нише спроса может не быть → технический фильтр.
?sort=price
Меняется порядок → технический URL.
?price=12000-13500
Динамический диапазон → чаще технический URL.
/zimnie-shiny/r17/
Есть стабильный спрос → потенциальная SEO-посадочная.
ЧТО МОЖЕТ РАБОТАТЬ В ПОИСКЕ
Какие фильтры чаще становятся нормальными SEO-посадочными
Бренд
Тип товара
Назначение
Размер
Диагональ
Сезонность
Совместимость
Материал
Ключевая характеристика
Даже эти свойства нельзя открывать для поиска автоматически. Они должны подтверждаться спросом, ассортиментом и самостоятельным интентом.
ЧТО ЧАЩЕ ОСТАЁТСЯ СЛУЖЕБНЫМ
Функция может быть очень полезна покупателю и совершенно не нужна поисковому индексу
ОДНО СВОЙСТВО – РАЗНЫЙ ИНТЕНТ
Нельзя составить универсальное правило «цвет всегда закрываем»
Красные смартфоны
Может иметь ограниченную самостоятельную ценность.
Белые кухонные столы
Цвет уже заметно влияет на выбор и поисковый интент.
Белая краска
Цвет является одной из основных характеристик категории.
ГЛУБИНА КОМБИНАЦИЙ
Если открыли один полезный фильтр, не нужно автоматически открывать все его комбинации
Полезно заранее определить максимальную глубину SEO-комбинаций, а всё остальное оставить пользовательским инструментом.
ДУБЛИ ИЗ-ЗА ПОРЯДКА
Один и тот же набор фильтров не должен создавать несколько адресов только из-за последовательности кликов
/brand-bosch/color-black/
/color-black/brand-bosch/
БЕССМЫСЛЕННЫЕ URL
Технически невозможные комбинации не должны существовать как нормальные страницы
?color=black&color=black
?size=42&size=44если интерфейс не поддерживает множественный размер
/page/928/если реально существует только 18 страниц
SITEMAP
Карта сайта должна подчеркивать важные URL, а не перечислять технический шум
SEO-фильтры и канонические посадочные
?sort=price, ?view=grid, случайные комбинации параметров
ВНУТРЕННИЕ ССЫЛКИ
Если сайт активно ссылается на технические фильтры, он сам показывает роботу дорогу в бесконечное URL-пространство
Можно и нужно усиливать внутренними ссылками
Не нужно превращать в отдельный узел поисковой архитектуры
ЕСЛИ НИЧЕГО НЕ ДЕЛАТЬ
Проблема становится заметнее по мере роста каталога
Но не сводите любую проблему индексации к crawl budget
Сначала нужно доказать, что робот действительно массово обходит бесполезные комбинации.
ДИАГНОСТИКА
Сравните CMS, обнаруженные URL и реальный обход поискового робота
Сколько реальных сущностей существует?
Товары, категории, бренды, SEO-посадочные.
Сколько URL обнаружено?
Если разница огромна – ищем источник.
Какие URL реально запрашивает Googlebot?
Сортировки, цена, цвет, limit, view и другие параметры.
НЕ АНАЛИЗИРУЙТЕ 50 000 URL ВРУЧНУЮ
Сначала сгруппируйте адреса по шаблонам
Количество
3 000
80
150
4 200
11 000
7 200
24 000
После группировки становится видно, кто создал лишние URL
Не Google придумал их – обычно их генерирует сама архитектура магазина.
ТРИ СИТУАЦИИ
Одинаковое количество товаров может означать совершенно разный масштаб проблемы
3000 товаров → 4200 URL
Масштабной генерации адресов может не быть.
3000 товаров → 52 000 URL
Большая часть дополнительных URL – параметры фильтрации и сортировки.
3000 товаров → 350 000 URL
Робот активно обходит сочетания из множества параметров – уже системная архитектурная проблема.
НЕ РЕЖЬТЕ С ПЛЕЧА
Не стоит просто запрещать все URL со знаком вопроса
СЛИШКОМ ГРУБО
Disallow: /*?
Управляйте конкретными шаблонами
?sort=?view=?limit=
ЕСЛИ ФИЛЬТР НУЖЕН GOOGLE
SEO-фильтр должен стать нормальной посадочной страницей
Главное
Страница существует потому, что магазин сознательно создал её для конкретного поискового интента, а не потому, что кто-то случайно нажал несколько фильтров.
ТЕХНИЧЕСКИЙ ФИЛЬТР
Пользовательская функция не обязана становиться поисковой страницей
Пользователь хочет:
• 48 товаров на странице
• товары со скидкой
• доставка сегодня
Это можно оставить удобным инструментом выбора, не превращая каждое состояние интерфейса в отдельный документ поискового индекса.
ДРУГАЯ КРАЙНОСТЬ
Не нужно превращать каждый низкочастотный запрос в отдельный фильтр
ноутбуки lenovo 16 gb
ноутбуки lenovo 32 gb
ноутбуки lenovo 16 gb 512
ноутбуки lenovo 16 gb 1 tb
Нужно оценивать не только наличие ключа, но и ассортимент, устойчивость страницы, самостоятельность интента и риск каннибализации.
МАЛО ТОВАРОВ
Фильтр с двумя товарами не плох сам по себе – важен контекст
Для редкого промышленного оборудования даже два товара могут полностью закрывать полезный интент. Но если магазин создаёт тысячи слабых страниц с нулём, одним или двумя случайными товарами, архитектуру нужно пересматривать.
СТАБИЛЬНОСТЬ АССОРТИМЕНТА
Страница по устойчивой характеристике и страница по случайной цене – не одно и то же
Телевизоры Samsung 55 дюймов
Ассортимент меняется, но сама потребность остаётся.
Телевизоры Samsung 55″ до 19 347 грн
Сегодня 5 товаров, завтра 0, послезавтра 2.
ЧЕГО НЕ ДЕЛАТЬ
Семь ошибок после обнаружения десятков тысяч URL
Закрыть вообще все фильтры
Открыть вообще все фильтры
Считать canonical полным решением
Блокировать robots.txt и одновременно ждать чтения noindex
Возвращать 200 для бессмысленных пустых комбинаций
Добавлять все технические фильтры в sitemap
Менять правила без карты уже существующих URL и трафика
ДЕРЕВО РЕШЕНИЙ
Каждый новый фильтр должен пройти проверку до того, как станет SEO-страницей
Полноценная SEO-страница
Технический URL
ПОРЯДОК АУДИТА
Как последовательно разобрать фасетную навигацию магазина
Посчитать реальные страницы бизнеса
Товары, категории, подкатегории, бренды, существующие SEO-посадочные.
Собрать обнаруживаемые URL
Найти генераторы лишних адресов
sort, price, color, view, limit, stock, page и комбинации.
Проверить внутренние ссылки
Найти фильтры с поисковым потенциалом
Сформировать белый список SEO-страниц
Определить правила для технических фильтров
Проверить canonical и sitemap
После внедрения проверить логи и Search Console
ПРАКТИЧЕСКАЯ МАТРИЦА
Типичные решения для разных видов URL
Индексировать
Индексировать
Проверить спрос и при необходимости индексировать
Индексировать выборочно
Обычно не индексировать
Не индексировать
Не индексировать
Обычно не индексировать
Обычно не индексировать
Корректно обработать как отсутствующий результат
200 + самостоятельная каноническая страница
ЧЕК-ЛИСТ ВЛАДЕЛЬЦА МАГАЗИНА
Что проверить в каталоге прямо сейчас
ГЛАВНОЕ ПРАВИЛО
Не «закрыть всё» и не «индексировать всё»
ШАГ 1
Фильтр создаёт URL
ШАГ 2
Есть самостоятельный поисковый спрос?
ШАГ 3
Страница полезна и достаточно отличается?
РЕШЕНИЕ
Да → создаём полноценную SEO-посадочную
Если самостоятельного интента нет, URL остаётся техническим инструментом выбора и не превращается в отдельную поисковую страницу.
ВЫВОД
Если Google видит 50 000 URL, сначала выясните, какие страницы создал сам магазин
Фасетная навигация может одновременно быть отличным инструментом для покупателя, источником сильных SEO-посадочных и генератором десятков тысяч бесполезных URL.
Правильная последовательность
↓
Разделить SEO-страницы и технические комбинации
↓
Сохранить полезные фильтры
↓
Ограничить ненужное пространство
↓
Исправить дубли и пустые URL
↓
Проверить canonical, sitemap и внутренние ссылки
Частые вопросы о фильтрах интернет-магазина
Нужно ли закрывать все фильтры интернет-магазина от индексации?
Нет. Некоторые фильтры могут закрывать самостоятельный коммерческий спрос и быть полноценными SEO-посадочными. Решение принимается по каждому типу фильтра.
Нужно ли индексировать страницы брендов?
Если у бренда есть самостоятельный спрос, достаточный ассортимент и стабильная страница, такая посадочная часто имеет смысл.
Нужно ли индексировать фильтры по цене?
Произвольные динамические диапазоны обычно не являются хорошими кандидатами для отдельной поисковой страницы. Но решение зависит от конкретной ниши и спроса.
Что делать с сортировкой по цене или рейтингу?
Обычно это разные представления одного ассортимента, а не самостоятельные поисковые страницы. Такие URL разумнее рассматривать как технические.
Достаточно ли поставить canonical на основную категорию?
Нет. Canonical помогает определить предпочтительную версию среди похожих URL, но не превращает плохую архитектуру фасетной навигации в хорошую.
Можно ли закрыть фильтры через robots.txt?
Можно ограничивать сканирование определённых технических шаблонов URL, но robots.txt и управление индексированием – разные задачи.
Можно ли одновременно использовать noindex и robots.txt?
Нужно учитывать последовательность: если робот не может открыть страницу из-за robots.txt, он не сможет нормально обработать размещённый внутри неё noindex.
Что делать с фильтром, который не находит ни одного товара?
Такая комбинация не должна бесконечно существовать как обычная полноценная страница каталога. Для пустых и бессмысленных результатов нужна корректная техническая обработка.
Вредит ли большое количество фильтров crawl budget?
Огромное пространство фасетных URL действительно может приводить к избыточному обходу. Но это нужно подтверждать фактическими данными, а не использовать crawl budget как универсальное объяснение.
Нужно ли добавлять SEO-фильтры в sitemap?
Если это сознательно созданные канонические поисковые страницы, их можно включать в sitemap. Служебные сортировки и случайные комбинации параметров туда обычно добавлять не следует.
ПО ТЕМЕ
Что ещё проверить в интернет-магазине
Фильтры тесно связаны с общей индексацией каталога, жизненным циклом товарных URL и архитектурой SEO интернет-магазина.
ИНДЕКСАЦИЯ КАТАЛОГА
В магазине тысячи товаров, а Google индексирует только часть – почему →
ЖИЗНЕННЫЙ ЦИКЛ URL
Товар закончился – удалять страницу, оставлять или ставить 301 →
СИСТЕМНАЯ АРХИТЕКТУРА
SEO для интернет-магазина →
ТЕХНИЧЕСКАЯ ПРОВЕРКА
Аудит сайта →
КАТАЛОГ РАЗРОСЯ ДО ДЕСЯТКОВ ТЫСЯЧ URL?
Разберём, какие фильтры должны приносить трафик, а какие только раздувают сайт
Проверим шаблоны URL, фильтры, сортировки, canonical, robots.txt, noindex, sitemap и внутренние ссылки. После аудита можно сформировать понятные правила и для текущего каталога, и для новых фильтров.