 Необходимую информацию в Интернет легче всего найти при помощи поисковых систем. Нужный запрос вводится в поисковую строку, пользователь получает результат — список страниц, наиболее точно соответствующих поисковому запросу. Чтобы попасть в поисковую выдачу страницы сайта прежде всего должны быть проиндексированы поисковым роботом. Поисковая система обрабатывает и заносит в базу информацию, которую можно найти на сайте, индексируются статьи, ссылки, иллюстрации.
Основные способы индексации сайта
- Принудительная индексация — данные о сайте добавляются в специальную форму поисковой системы.
- Естественная индексация — поисковый робот самостоятельно отыскивает сайт, переходя со ссылающихся на сайт ресурсов. Следовательно внешняя ссылочная масса сайта не должна быть нулевой.
Срок индексации сайта может быть различным, от нескольких дней до нескольких недель. Процесс индексации цикличен и повторяется с периодичностью в две-четыре недели, в зависимости от конкретного поискового робота. Индексироваться может как сайт целиком, так и отдельные внутренние страницы. Иногда из-за технических неполадок, отсутствия доступа к страницам сайт может не индексироваться. В таком случае поисковая система поступит по одному из таких сценариев:
- сразу исключит непроиндексированные страницы из своей базы данных;
- проведет повторную индексацию сайта через несколько дней;
- исключит страницы, которые не были проиндексированы, если не обнаружит их при повторной индексации.
Для управления индексацией сайта используем карту сайта и специальный файл robots.txt и специальные тэги.
Частичное закрытие контента страницы от поисковых роботов Yandex выполняется тэгом <noindex>. Существует также специальный мета-тег robots, который может разрешать или запрещать индексацию и следование ссылкам каждой отдельной страницы сайта.
Robots.txt — файл, в котором, оперируя директивами Disallow, Allow, User-agent, Crawl-delay, можно запретить или разрешить индексацию только определенным поисковым системам или же полностью запретить индексацию как всего сайта, так и отдельных его разделов.
Карта сайта — это всегда актуальный список страниц сайта, подлежащих индексации. Специальный файл sitemap может быть создан в формате XML или же в обычном текстовом формате. Для указания расположения файла Sitemap может быть использован файл robots.txt. Для этого следует добавить в него следующую строку:
Sitemap: http://имя_сайта/sitemap.xml
Использование карты сайта позволяет сообщить поисковой системе:
- о тех страницах сайта, которые следует проиндексировать;
- о том насколько часто обновляется информация на страницах сайта;
- о том насколько важна индексация каждой из страниц.
Ускорение индексации сайта
Существует множество способов ускорения индексации сайта поисковыми роботами. Однако для начала рассмотрим нормы, соблюдение которых поможет решить проблемы индексации сайта.
- Не создаются слишком объемные страницы (размер не должен превышать 100-200 кбайт).
- Ссылки на внутренние страницы сайта объясняют содержание страницы, используя простые заголовки.
- Используются человеко-понятные URL (ЧПУ), которые облегчает индексацию сайта. Из URL исключаются параметры и идентификаторы сессии.
Заказать оптимизацию сайта в веб-студии WebStudio2U можно прямо сейчас!
Теги:
индексация сайта,
sitemap,
robotstxt,
карта сайта,
оптимизация сайтов |
оптимизация сайта 
