|
Вручную или же автоматически на сайтах могут создаваться страницы, которые полезны пользователям либо необходимы для обеспечения нормальной работы, но которые не нужно «отдавать» поисковым роботам на индексацию. Такие страницы приходится принудительно закрывать от индексации, чтобы они не могли попасть в результаты поиска. О том, как можно это сделать и какие именно страницы следует закрывать, речь подробнее пойдет далее.
Если страницы сайта дублируют уже имеющиеся тексты или содержат только служебные данные, такие страницы могут быть не только бесполезными при поисковом продвижении, но даже и навредить. Ведь эти страницы за неуникальный или малоинформативный контент поисковые роботы могут счесть некачественными, в результате чего могут быть занижены общие показатели сайта.
Конечно, совсем удалять страницы с сайта нельзя. Во-первых, это может привести к появлению ошибки 404, что также вредно для поискового продвижения, а, во-вторых, эти страницы могут быть нужны пользователям или администрации. В подобном случае решением является закрывание страниц сайта от индексации: пользователи будут видеть нужные страницы, а поисковые роботы — нет.
Когда отдельные страницы сайта закрываются от индексации, важно очень тщательно выбирать такие страницы. Иначе можно нечаянно закрыть «правильные» страницы, а это ни к чему хорошему не приведет: если поисковые роботы не смогут проиндексировать страницы с уникальным тематическим контентом, то сайту не удастся добиться высоких позиций в поисковой выдаче.
Страницы административной части сайта
Страницы административной части предназначены строго для служебного использования, и их уж точно не следует индексировать поисковым роботам. Как правило, такие страницы изначально закрываются в автоматически генерируемом разными готовыми CMS файле robots.txt при помощи директивы Disallow. Если файл robots.txt создается вручную или подвергался изменениям, важно проверить, чтобы запрет на индексацию стоял для всех страниц, относящихся к управлению сайтом.
Страницы с личной информацией пользователей
Подобные страницы есть на сайтах самых разных типов, включая в частности форумы, блог-платформы, социальные сети. Эти страницы имеют практическую пользу для посетителей сайта, однако позволять их индексировать вредно из-за неуникального контента, ведь содержимое таких страниц отличается лишь незначительно.
Страницы с результатами поиска по сайту
Как и в случае со страницами, содержащими личные данные пользователей, индексация поисковыми роботами не нужна: страницы результатов полезны посетителям, однако с точки зрения поисковых систем они являются «мусорными», поскольку содержат неуникальный контент.
Дублирующиеся страницы сайта
Страницы, содержащие идентичную информацию, могут создаваться на сайте из-за особенностей управляющей им системы (CMS). К примеру, особенно часто подобная ситуация наблюдается в интернет-магазинах, где отдельные страницы могут быть сформированы для фильтров и сортировок, а также для тегов и меток.
Страницы корзин и страницы оформления заказов или страницы заявок
Само собой, страницы корзин и страницы оформления заказов есть в интернет-магазинах, а страницы заявок могут встречаться также и на сайтах других типов. Эти страницы не имеют смысловой нагрузки, а потому их нужно закрыть от индексации поисковыми роботами.
Как именно можно закрывать различные страницы сайта от индексации поисковыми системами? Есть разные способы, включая и написание запрещающих директив в файле robots.txt, и добавление мета-тега robots в код страниц, и использование так называемого 301-го редиректа, и запрет индексации в .htaccess. Выбор нужного метода зависит от особенностей закрываемых страниц, и решение лучше всего предоставить специалистам по оптимизации сайтов – для наиболее эффективного результата.
Теги:
оптимизация сайтов,
закрывать от индексации,
закрывать страницы от индексации,
запрет на индексацию страниц |
оптимизация сайта 
