Как настроить индексацию страниц интернет-магазина? Советы вебмастеру

Индексация страниц сайта — необходимое условие для его продвижения в поисковой системе Яндекс. От того, в каком количестве проиндексированы разделы сайта, напрямую зависит объем поискового трафика. И чем скорее поисковые роботы проиндексируют посадочные страницы сайта, тем быстрее вы увидите результат от его оптимизации и продвижения.

Чтобы ускорить индексацию, в первую очередь, необходимо создать файл Sitemap.xml. Этот файл предназначен для робота Яндекса и содержит информацию обо всех страницах сайта, которые нужно проиндексировать, и их приоритете. Для создания Sitemap можно использовать специальные опции в вашей CMS (например, в 1C Bitrix) или сторонние сервисы, как, например, Screaming Frog. Затем файл нужно поместить в корневую директиву сайта, чтобы его адрес выглядел так: http://ваш сайт/sitemap.xml.

На официальном сайте Sitemap вы сможете найти другую полезную информацию.

Полезные советы по настройке индексации

Когда сайт индексируется, важно, чтобы этот процесс происходил максимально корректно. С учетом продолжительного обновления данных в поисковой выдаче, стоит позаботиться об этом в самом начале. Убедитесь, что проиндексированы только необходимые страницы, нет дублей (страниц с разными адресами и идентичным содержимым) и других ошибок. Наличие последних в поисковой выдаче не только вредит SEO, но и вводит в заблуждение пользователей. Ваш сайт должен быть удобным и информативным для них.

1. Использование ЧПУ.

Понятное и читаемое написание адреса страницы не только полезно для оптимизации, но и удобно для посетителей: оно помогает сразу понять, о чем раздел.

Плохой пример: shariki.ru/view=1?&page3.

Хороший пример: shariki.ru/krasnye-s-risunkom.

2. Страницы пагинации и сортировки товара.

Когда каталог содержит большой объем товаров, иногда возникают так называемые страницы пагинации – идентичные по содержанию, но с разным порядковым номером в адресной строке. Пример: shariki.ru/krasnye/1, 2, 3 и т.д. Если трафик из поисковых систем на данных страницах отсутствует, рекомендуем настроить для страниц, начиная со 2, атрибут rel=”canonical” тега <link>, чтобы канонической считалась только 1 страница. Так вы предотвратите дублирование контента и укажете поисковому роботу, какую из страниц нужно индексировать.

Что касается страниц сортировки (по цене, популярности и т.п.), то необходимость индексации здесь зависит от того, нужны ли они в поисковой выдаче.

3. Дублирование товара в нескольких категориях.

В этом случае, при помощи того же атрибута rel=”canonical” тега <link>, в качестве канонического указывается адрес наиболее популярной категории. Остальные страницы сортировки можно скрыть из индексации.

4. Дублирование товара в разных цветах, размерах и комплектациях.

Здесь уместнее всего будет реализовать выбор характеристик товара таким образом, чтобы URL при этом не менялся. Если это невозможно по техническим причинам (ограничения CMS), выберите, какие из страниц-дублей важны для поиска (какие категории наиболее популярны), а какие можно скрыть. Это делается при помощи метода, описанного выше: через атрибут rel=”canonical”.

5. Товара нет в наличии.

В данном случае действия будут зависеть от того, ожидается ли появление товара в ближайшее время. Если вы уверены в скором поступлении, имеет смысл не скрывать страницу от индексации, установив HTTP-код ответа для робота 200. Для пользователей можно дополнительно прописать статус товара «ожидается поступление» и предложить уведомить о наличии через e-mail. Если же товара в ближайшем времени не ожидается (перезапуск линейки, сезонная коллекция, снят с производства и т.п.), имеет смысл прописать HTTP-код 404 («Ошибка»), чтобы впоследствии удалить. Можно разместить на ней полезную информацию: например, ссылки на похожие товары.

6. Содержимое robots.txt.

В файле robots.txt полезно закрыть от индексации:

• страницы действий: «Сравнить», «Добавить в корзину», «Добавить в избранное»;
• страницу корзины с товарами;
• встроенный поиск по сайту;
• каталоги с зашифрованными данными (данные для доставки заказов, контакты клиентов);
• utm-метки (через директиву “Clean-param”);
• идентификаторы сессий;
• директиву Host — с URL главного зеркала сайта;
• директиву Sitemap — с URL актуального файла.

Пример файла robots.txt с сайта iseo.ru: