Хотите оставить заявку? Появились вопросы? Наша служба поддержки всегда на связи.
Контакты
Телефоны:
+38(050) 011 58 50
+38 (067) 652 74 82
+38 (044) 333 72 73
Email: info@itviz.biz

Блог

Главная  /  SEO   /  Почему так важны файлы robots.txt и sitemap.xml

Почему так важны файлы robots.txt и sitemap.xml

Роботс

Создавая сайт, каждый веб-мастер надеется, что его детище будет хорошо индексироваться и займет достойное место в поисковой выдаче. Хорошая индексация интернет-ресурса зависит от многих факторов и далеко не последнюю роль в этом деле играют файлы robots.txt и sitemap.xml.

Файл robots.txt и его использование

По своей сути, robots.txt является самым обычным файлом в текстовом формате. Его отличие от других документов в том, что он содержит в себе важную информацию о сайте, которую поисковые роботы используют при изучении ресурса. Из информации, содержащейся в этом документе, краулеры узнают о том, какие страницы сайта не нуждаются в индексировании. Файл позволяет исключить из обработки поисковиками контент, который вы не хотите демонстрировать пользователям Всемирной Сети. Также в robots.txt может содержаться запрет на индексирование иногда встречающегося на сайтах дублированного содержимого.

Правильное составление robots.txt – это важнейшая часть оптимизации любого ресурса. Ошибка, допущенная в этой работе, может стать причиной того, что важные разделы сайта или его страницы, останутся неохваченными поисковыми системами, а следовательно – невидимыми для пользователей Сети.

В том случае, если нет нужды скрывать контент на сайте, то можно файл оставить незаполненным. Содержимое тогда будет иметь следующий вид:

User-agent: *

Disallow:

Соответственно, при полной блокировке ресурса от поисковиков, текст в файле будет таким:

User-agent: *

Disallow: /

Для того, чтобы полноценно применять robots.txt, достаточно научиться оперировать тремя основными категориями директив:

  •  Страницы. Такая директива будет иметь вид: Disallow: /primerpage.html.
  •  Папки. Запись будет иметь следующую структуру: Disallow: /example-folder/.
  •  Контент. В случае, если необходимо убрать из индексации файлы определенного формата, например созданные в Microsoft Word: Disallow: /*.doc.

Также можно ввести запрет на сканирование определенного контента:

  •  Disallow: /images/

Впрочем, запрет на работу с контентом используется очень редко, так как в интересах владельца ресурса, чтобы он наоборот как можно лучше индексировался.

Файл sitemap.xml и его применение

Карта сайта, или файл sitemap.xml – это документ, созданный в формате xml, в котором размещены данные о том, какие страницы сайта необходимо проиндексировать. В файле содержатся адреса этих страниц, а также информация о дате их последнего изменения, частоте обновления и приоритете. Этот важный файл является для поисковых роботов подробной инструкцией к действию – при наличии sitemap.xml краулерам нет нужды бродить по страницам наугад, определяя самостоятельно и не всегда верно приоритеты. Подробная подсказка позволяет произвести индексацию нужных мест сайта максимально быстро, и эффективность от применения карты сайта особенно ощутима в случае с большими ресурсами, имеющими сотни страниц.

Если robots.txt создается веб-мастером вручную, то для разработки sitemap.xml существуют специальные плагины, рассчитанные на работу с определенными системами управления контентом. Как правило, для сайтов небольшого и среднего размера, до 500 страниц, используют бесплатные версии программ, а для больших проектов может потребоваться внесение небольшой суммы. После создания карты сайта, необходимо сообщить о ее наличии наиболее востребованным поисковым системам, таким как Google и Yandex – для этого нужно воспользоваться сервисами Гугл Вебмастер и Яндекс Вебмастер.

Комментариев нет
Оставьте комментарий