Что такое файл sitemap, все о нем

Карта сайта и ее влияние на SEO. Как создать карту сайта?

 

1

 

Даже самый лучший контент не улучшит видимость нашего веб-сайта, если он не проиндексирован роботами поисковых систем. Решение, которое может помочь нам избежать такой ситуации, – это создать карту сайта, если она подготовлена ​​должным образом. Проверьте, что такое карта сайта и как вы можете создать файл карты сайта для своего веб-сайта, который поможет проиндексировать содержимое на нем.

1. Что такое карта сайта?
2. Зачем на сайте должна быть карта сайта?
3. Индексация и карта сайта. Как карта сайта влияет на индексацию страницы?
4. Типы карт сайта.
5. Как выглядит файл sitemap.xml?
6. Требования к XML-карте сайта
7. Одна карта сайта или много?
8. Статическая или динамическая карта сайта?
9. Как подготовить карту сайта?
10. Как проверить правильность карты сайта?
11. Как добавить карту сайта в Google Search Console?
12. Резюме

 

Интернет растет каждую секунду – количество новых страниц и публикуемого контента постоянно растет. Ввиду такого большого количества данных индексация контента поисковыми системами становится все более сложной задачей. Карта сайта может нам в этом помочь. Подобно тому, как топографическая карта помогает людям ориентироваться в поле и достигать места назначения, карта сайта является своего рода руководством как для поисковых роботов, так и для пользователей.

1. Что такое карта сайта?

Карта сайта – это набор URL-адресов, ведущих на страницы нашего веб-сайта. Цель создания файла карты сайта – упростить роботам поисковых систем сканирование и индексирование контента и в то же время предложить, какие страницы играют более важную роль на странице. С помощью карты сайта мы помогаем сканерам понять структуру нашего сайта и предоставлять дополнительную информацию, например, дату обновления страницы.

2. Почему на странице должна быть карта сайта?

Как мы видим на приведенном выше рисунке, диаграмма веб-сайта похожа на древовидную структуру, и некоторые страницы (особенно самые сложные) могут потребовать от поискового робота пройти несколько последующих страниц. Между тем, благодаря карте сайта, робот сразу получает информацию обо всех URL.

Иногда также бывает, что структура веб-сайта далека от идеала, и тогда может возникнуть ситуация, в которой данная страница не имеет внутренней ссылки. Добавление URL-адреса такой страницы в файл карты сайта увеличивает вероятность попадания роботов поисковой системы на сайт и, как следствие, проиндексирование страницы. Карта сайта может быть особенно полезна для страниц:

• с большим количеством страниц (например, интернет-магазины),
• часто добавляя новый контент,
• обновление существующего контента,
• со слабым ссылочным профилем.

3. Индексация и карта сайта. Как карта сайта влияет на индексацию страницы?

Карта сайта облегчает роботам поисковых систем доступ к ресурсам нашего веб-сайта, однако следует помнить, что размещение URL-адреса в файле карты сайта не равносильно индексации страницы. Это всего лишь предложение, однако по разным причинам указанный адрес может быть опущен во время индексации (например, если карта сайта случайно получила URL-адрес с тегом «noindex», «nofollow»).

4. Типы карты сайта

Есть несколько типов карт сайта. Наиболее популярны:

• HTML карта сайта

Карта сайта HTML создается с учетом как пользователей, так и роботов-индексаторов. Чаще всего он принимает форму, похожую на оглавление, чтобы определить иерархию и облегчить ориентацию в структуре страницы.

Пример:

Источник:  allegro.pl/mapa-strony/kategorie

• XML карта сайта

XML-карта сайта, в отличие от HTML-карты сайта, предназначена для поисковых роботов. По этой причине его внешний вид менее удобен для обычного пользователя, но в то же время он может содержать больше информации, полезной для индексирующих роботов: приоритет, дату обновления или частоту изменений.

Из-за популярности в оставшейся части статьи мы сосредоточимся на XML-карте сайта.

5. Как выглядит файл sitemap.xml?

XML ( Extensible Markup Language ) – это язык, разработанный для структурированного представления различных данных ¹ .

В файле карты сайта мы можем использовать следующие теги:

<urlset> – открыть и закрыть тег.

 

<url> – родительский тег, который запускает и завершает отдельные URL-адреса в карте сайта.

 

<loc> – тег локализации, содержащий URL-адрес (предоставляется полностью (из http или https).

 

<lastmod> – тег, содержащий информацию о дате последней модификации (в формате ГГГГ-ММ-ДД).

 

<changefreq> – информация о частоте изменения файла (например, ежедневно, еженедельно, ежемесячно).

 

<priority> – приоритет важности файла в иерархии страниц, значение от 0,0 до 1,0.

 

<xhtml: link> – тег, используемый для указания альтернативных URL-адресов в других языковых версиях

 

Среди перечисленных выше тегов некоторые из них являются необходимыми (urlset, url, loc), а другие – необязательными.

 

6. XML-карта сайта – требования

• размер файла sitemap.xml не может превышать 50 МБ,
• один файл карты сайта может содержать до 50 000 URL,
• карту сайта можно сжать (например, в формат gzip),
• имя файла карты сайта может быть любым, но наиболее распространенными вариантами являются: sitemap.xml, sitemap-index.xml, sitemap.xml,
• файл карты сайта следует разместить на сервере веб-сайта, для которого он был подготовлен. Расположение файла произвольно, но сам Google рекомендует размещать его в корневом каталоге. Чаще всего карту сайта можно найти по следующему адресу: examplea.ru / sitemap.xml (в зависимости от имени файла с картой сайта).

Каких URL-адресов не должно быть в моем файле Sitemap?

• Страницы ошибок (например, 4xx или 5xx),
• Адреса с  редиректами,
• URL страниц с параметрами,
• Адреса, заблокированные в  txtили с тегом noindex,
• Страницы результатов поиска.

7. Одна карта сайта или несколько?

Во многих случаях может потребоваться подготовить несколько файлов карты сайта. В основном это относится к большим страницам с уже упомянутым пределом в 50 000 URL, но не только. В случае веб-сайтов, основанных на графике или видео, а также веб-сайтов, предоставляющих контент через Новости Google, стоит подготовить специальные файлы Sitemap. Использование нескольких файлов Sitemap меньшего размера также позволяет лучше контролировать статус индексации страницы.

Sitemapindex

Файл sitemapindex, проще говоря, представляет собой индекс карты сайта, в который мы включаем URL-адреса всех карт сайта, подготовленных для нашего сайта.

Файл может выглядеть так:

Источник:  support.google.com/webmasters/answer/75712?hl=pl

Обязательные теги в файле sitemapindex:

<sitemapindex> – родительский тег файла.

 

<sitemap> – родительский тег, который открывает и завершает каждую последующую карту сайта в файле.

 

<loc> – URL-адрес конкретной карты сайта.

Карта сайта графики

Графическая карта готовится для улучшения индексации графического контента. Это особенно важно для веб-сайтов, ориентированных на этот тип контента (например, фотобанков, интернет-магазинов). Создание графической карты и соответствующего описания контента на веб-сайте с использованием соответствующих тегов схемы может облегчить охват более широкой группы получателей, например, через Google Graphics.

Источник:  support.google.com/webmasters/answer/178636?hl=pl&ref_topic=4581190

Теги на графической карте

Обязательные теги в графической карте:

<image: image> – тег, содержащий всю информацию об изображении. Количество тегов <image: image> для одного тега <url> не может превышать 1000.

 

<image: loc> – Тег локализации URL изображения.

Необязательные теги в карте сайта для изображений:

<image: caption> – тег подписи к изображению.

 

<image: geo_location> – тег, определяющий географическое положение изображения.

 

<image: title> – тег, указывающий заголовок изображения.

 

<image: license> – тег, содержащий URL лицензии

Карта сайта для видео

Если на нашем сайте много видеоматериалов, у нас может возникнуть соблазн создать отдельную видеокарту с дополнительной информацией о видеоматериалах.

Источник:  support.google.com/webmasters/answer/80471?hl=pl&ref_topic=4581190.

Теги в карте сайта для видео

Обязательные теги на видеокарте:

<url> – родительский тег, который начинается и заканчивается отдельными URL.

 

<loc> – тег локализации, указывающий на определенный URL

 

<video: video> – тег, являющийся родительским для всей информации о фильме.

 

<video: thumbnail_loc> – тег, указывающий расположение миниатюры видео

 

<video: title> – тег, содержащий заголовок видео.

 

<video: description> – тег, описывающий фильм (до 2048 символов).

 

<video: content_loc> – URL, указывающий на файл фильма – взаимозаменяемо с <video: player_loc>

 

<video: player_loc> – URL-адрес проигрывателя фильмов – взаимозаменяемо с <video: content_loc>

 

Теги в карте сайта для видео

Обязательные теги на видеокарте:

<url> – родительский тег, который начинается и заканчивается отдельными URL.

 

<loc> – тег локализации, указывающий на определенный URL

 

<video: video> – тег, являющийся родительским для всей информации о фильме.

 

<video: thumbnail_loc> – тег, указывающий расположение миниатюры видео

 

<video: title> – тег, содержащий заголовок видео.

 

<video: description> – тег, описывающий фильм (до 2048 символов).

 

<video: content_loc> – URL, указывающий на файл фильма – взаимозаменяемо с <video: player_loc>

 

<video: player_loc> – URL-адрес проигрывателя фильмов – взаимозаменяемо с <video: content_loc>

 

Карта новостей

Карта новостей – это решение, оптимизированное для службы новостей Google. Он содержит URL-адреса статей за последние 2 дня, и его создание является одним из требований для публикации контента в Новостях Google.

Карта новостей требует использования таких тегов, как:

<publication> – тег, указывающий на издателя, публикующего новость.

<name> – тег имени издателя. Должно соответствовать имени, отображаемому в Новостях Google.

<language> – языковой тег.

<publication_date> – дата публикации в формате W3C, то есть ГГГГ-ММ-ДД.

<title> – тег, обозначающий заголовок статьи. В своих правилах Google предлагает использовать заголовок статьи, идентичный заголовку на странице, без информации об авторе и издателе.

 

8. Статическая или динамическая карта сайта?

Карта сайта может быть как статической, так и динамической. В первом случае мы сами создаем файл карты сайта и размещаем его на сервере. Однако делать это не рекомендуется, так как файл придется обновлять вручную после каждого изменения на сайте. Использование динамической карты сайта позволяет избежать таких проблем, поскольку каждое сохраненное изменение автоматически внедряется также в саму карту сайта.

9. Как подготовить карту сайта?

Карта сайта может быть подготовлена ​​несколькими способами. Большинство систем CMS позволяют создавать файлы динамической карты сайта на основе плагинов, предназначенных для этой цели, но вы также можете подготовить соответствующий файл с помощью других инструментов.

Как создать файл sitemap.xml с помощью Screaming Frog SEO Spider?

В бесплатной версии Screaming Frog SEO Spider позволяет сканировать до 500 URL-адресов.

Для автоматического создания карты сайта в Screaming Frog нам необходимо:

1. Введите веб-адрес страницы, для которой вы хотите подготовить файл sitemap.xml, на панели и нажмите кнопку «Пуск».
2. Когда наш веб-сайт просканируется на 100%, выберите «Карты сайта» на верхней панели, а затем «Карта сайта XML».
3. Следующий шаг – настройка – нам нужно определить параметры, которые будут учтены при создании карты.
4. После нажатия следующей кнопки программа спросит, где сохранить сгенерированный файл карты сайта.

Обратите внимание, что карта сайта, созданная Screaming Frog, представляет собой статическую карту, т.е. после каждого изменения содержимого на нашем веб-сайте необходимо создавать новый файл карты сайта.

Как создать карту сайта в WordPress?

WordPress остается самой популярной CMS в мире, поэтому мы будем использовать его в качестве примера, чтобы представить способ создания карты сайта. По умолчанию WP не создает файл sitemap.xml, но мы можем очень легко изменить это с помощью плагинов.

В этой статье мы будем использовать для этой цели Yoast SEO .

Скачиваем и устанавливаем плагин.

2. После установки выберите «SEO» в строке бокового меню, затем на вкладке «функции» отметьте элемент карты сайта XML как «включен» и сохраните изменения.
3. Если мы хотим, чтобы некоторые страницы не отображались в карте сайта, мы можем отключить их, выбрав «SEO» -> «поисковые системы» -> «Типы контента», а затем выбрав соответствующий параметр в поле «Отображать страницу в результатах поиска».
4. Как проверить правильность карты сайта?

После создания карты сайта мы можем проверить ее правильность, например, используя www.xml-sitemaps.com . После ввода адреса, по которому доступна карта сайта, и нажатия кнопки «ПРОВЕРИТЬ КАРТУ САЙТА» мы получим информацию о возможных ошибках и предупреждениях.

11. Как добавить карту сайта в Google Search Console?

После создания карты сайта стоит сообщить о ней в инструменте Google Search Console , чтобы поисковые роботы Google быстрее заметили ее.

Мы можем сделать это за несколько простых шагов:

1. Войдите в Google Search Console и выберите домен, для которого вы хотите добавить карту сайта.
2. Выберите карту сайта в меню навигации.

 

3. Если вы не видите никаких данных в поле «Отправленные файлы Sitemap», введите URL-адрес, по которому находится ваш файл Sitemap, и нажмите «Отправить».
4. Через некоторое время должна появиться новая запись – если все прошло успешно, в поле «статус» вы увидите сообщение «Успешно».

Также стоит упомянуть, что рекомендуется добавлять информацию о карте сайта в файл robots.txt. Для этого мы должны добавить следующий контент:

Карта сайта: seolider.by / sitemap.xml

 

Если файлов у нас больше, то добавляем их по порядку:

 

Карта сайта: seolider.by / sitemap1.xml

 

Карта сайта: seolider.by / sitemap2.xml

Важно, чтобы URL-адрес файла карты сайта, представленного в robots.txt, был абсолютным, то есть с http или https.

12. Резюме

Карта сайта – это не волшебный инструмент, который гарантирует нам верхние позиции для конкурирующих фраз. Тем не менее, это решение, которое легко сделать, благодаря которому мы можем улучшить видимость нашего веб-сайта. Учитывая тот факт, что в последнее время у Google часто возникают проблемы с индексированием контента, стоит позаботиться об этом аспекте и максимально облегчить поглощение контента на наших страницах роботами-обходчиками поисковых систем.