Настройка заголовка "Last-Modified" - ускоряем индексацию

Настройка заголовка "Last-Modified" - ускоряем индексацию

Опции

Sa[Y]moN

Topic Starter сообщение

25.9.2014, 18:08; Ответить: Sa[Y]moN

Сообщение #1

Топовый постер

Группа: User
Сообщений: 2608
Регистрация: 9.2.2012
Из: Таганрог
Поблагодарили: 0 раз
Репутация:

0

Общая информация о "Last-Modified"

Настройка заголовка "Last-Modified" (последние изменения) является очень важной, как в SEO, так и для снижение нагрузки на сервер и ускорения загрузки сайта со стороны клиента. Клиент (в лице браузера либо поискового робота), при заходе на сайт, отправляет серверу заголовок "If-Modified-Since" и если дата последнего изменения страницы с двух сторон совпадает, сервер возвращает заголовок "304 Not Modified" и не загружает страницу, а берет из кеша. Если время последнего изменения отличается (либо last modified header не настроен) — сервер возвращает заголовок "200 OK" и снова загружает страницу. И получается, что вместо повторной перезагрузки страницы и обновления кеша, клиент получает всего лишь заголовок 304. Таким образом экономя ресурсы сервера, и время клиента. Получается хорошо.

Заголовок "Last-Modified" и SEO

Понятное дело, что роботу в первую очередь необходимы новые страницы либо обновленные, а потом уже можно и другие. Для того, что бы для начала он приступил к ним, нам необходимо настроить заголовок "Last-Modified" так, что бы он отдавал информацию роботу, когда была изменена та или иная страница. Он сравнивает эти данные, и вместо того, что бы индексировать все по кругу, сперва приступает к тем, которые были недавно созданы или обновлены. В общем, это является альтернативой файла sitemap.xml. Так-же, как карта сайта, заголовок "Last-Modified" является рекомендацией со стороны поисковых систем, но вовсе не обязательных. Давайте вспомним, что по этому поводу говорят такие поисковоки как Google и Яндекс.

Цитата из документации Яндекса:

Следите за корректностью http-заголовков. В частности, важно, содержание ответа, который сервер отдает на запрос «if-modified-since». Заголовок Last-Modified должен отдавать корректную дату последнего изменения документа. Даже если сервер не выдает дату последней модификации документа (last-modified), ваш сайт будет проиндексирован. Однако в этом случае следует учитывать следующее:
- в результатах поиска не будет показываться дата рядом со страницами вашего сайта;
- при сортировке по дате сайт не будет виден большинству пользователей;
- робот не сможет получить информацию о том, обновилась ли страница сайта с момента последнего индексирования. А так как число страниц, получаемых роботом с сайта за один заход, ограничено, изменившиеся страницы будут переиндексироваться реже.

Цитата из документации Google:

Убедитесь, что ваш веб-сервер поддерживает HTTP-заголовок "If-Modified-Since". Этот заголовок позволит веб-серверу сообщать Google, изменился ли контент сайта со времени последнего сканирования. Поддержка этой функции сокращает издержки и нагрузку на полосу пропускания.

По мимо всего, бонусом к этому является то, что если робот посчитает нужным, то в поисковой выдаче ваш сниппет будет дополнен датой создания (либо обновления) данной страницы. А это может послужить очень на пользу, как для кликабельности, так и для повышения сайта на странице выдачи (ведь поисковым системам необходимо выдавать актуальные страницы).

Настройка заголовка "Last-Modified"

Настройка <meta> Last-Modified для статичных html страниц

Настройка Last-Modified в php

<?php
$LastModified_unix = 1294844676;
$LastModified = gmdate("D, d M Y H:i:s \G\M\T", $LastModified_unix);
$IfModifiedSince = false;
if (isset($_ENV['HTTP_IF_MODIFIED_SINCE']))
$IfModifiedSince = strtotime(substr($_ENV['HTTP_IF_MODIFIED_SINCE'], 5));
if (isset($_SERVER['HTTP_IF_MODIFIED_SINCE']))
$IfModifiedSince = strtotime(substr($_SERVER['HTTP_IF_MODIFIED_SINCE'], 5));
if ($IfModifiedSince && $IfModifiedSince >= $LastModified_unix) {
header($_SERVER['SERVER_PROTOCOL'] . ' 304 Not Modified');
exit;
}
header('Last-Modified: '. $LastModified);
?>

Настройка Last-Modified в .htaccess

RewriteRule .* - [E=HTTP_IF_MODIFIED_SINCE:%{HTTP:If-Modified-Since}]
RewriteRule .* - [E=HTTP_IF_NONE_MATCH:%{HTTP:If-None-Match}]

Настройка Last-Modified на nginx + php

location ~ \.php$
{
…
if_modified_since off;

fastcgi_pass fcgi;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME /<тут указываем путь > /web$fastcgi_script_name;
…
fastcgi_pass_header Last-Modified;
include fastcgi_params;
}

Проверка заголовка Last-Modified
Проверка заголовка

На это все, заголовок настроен!

0

Ответить с цитированием данного сообщения

shaddad_mw shaddad_mw 25.9.2014, 20:51; Сообщений: 347 Поблагодарили: 0 раз Репутация: 0 Просмотр профиля	25.9.2014, 20:51; Ответить: shaddad_mw Сообщение #2
Бывалый Группа: User Сообщений: 347 Регистрация: 1.5.2012 Поблагодарили: 0 раз Репутация: 0	Не совсем мне вот что ясно: По сути, должен просто присутствовать мета-тег в header'e, который будет просто показывать дату последнего изменения публикации? Или всю лабуду в PHP и HTTP запросами тоже нужно записывать?

Sa[Y]moN Topic Starter Sa[Y]moNTopic Starter 25.9.2014, 21:36; Сообщений: 2608 Поблагодарили: 0 раз Репутация: 0 Просмотр профиля	Topic Starter 25.9.2014, 21:36; Ответить: Sa[Y]moN Сообщение #3
Топовый постер Группа: User Сообщений: 2608 Регистрация: 9.2.2012 Из: Таганрог Поблагодарили: 0 раз Репутация: 0	Владимир, на ваше усмотрение. Допустим вы же не будете прописывать МЕТА для каждой страницы? Это только для статических. По сути, это вообще не нужно, но я привел все способы. Заголовок должен отдавать сервер, и самый удобный и надежный способ (по моему усмотрение), это код в .htaccess.

k0ttee k0ttee 25.9.2014, 21:46; Сообщений: 12040 Поблагодарили: 0 раз Репутация: 0 Просмотр профиля	25.9.2014, 21:46; Ответить: k0ttee Сообщение #4
Топовый постер Группа: User Сообщений: 12040 Регистрация: 2.5.2014 Поблагодарили: 0 раз Репутация: 0	Давно писали по блогам, что надо в /sitemap.xml время последнего изменения подшаманивать. Такое писали нубы, которые вообще не ведают о http-заголовках. мета-тег в header'e Можно и так. Только не думайте, что яндекс-бот вам поверит. Он же и мега-тэг и http-header видит. Собственно, мета-тэг есть подобие шаманства с sitemap.xml Http-header отдает сервер (apache / nginx / томкэт / лайтхттпд) это самый красноглазый из вариантов показать боту липовую дату. Кто не умеет админить сервет, тот на этом палится и орет что тема не работает. P.S: Да, кроме даты изменений, неповредило бы и сами изменения сделать - ну хотяб имена классов поменять. Бот может сравнить нынешний документ с содержимым поисковой базы, если не отличается бот поймет что его дурачат. -------------------- Задонь кибер-коту на крипто-вискас btc: 3Hq7X9CosVftRFPqWis1Dkk5MdtM1u6jj9

shaddad_mw shaddad_mw 25.9.2014, 22:29; Сообщений: 347 Поблагодарили: 0 раз Репутация: 0 Просмотр профиля	25.9.2014, 22:29; Ответить: shaddad_mw Сообщение #5
Бывалый Группа: User Сообщений: 347 Регистрация: 1.5.2012 Поблагодарили: 0 раз Репутация: 0	Ну, что касается увеличение кликов из-за недавней даты написания, то тут можно спокойно обойтись правильной микроразметкой, которая будет сама показывать дату публикации для робота и, соответственно, изменения. Что касается нагрузки на сервер, то не могу сказать, действительно ли это большая нагрузка и как в будущем будут действовать поисковики.

komarik_vlad komarik_vlad 10.5.2015, 13:39; Сообщений: 61 Поблагодарили: 3 раза Репутация: 0 Просмотр профиля	10.5.2015, 13:39; Ответить: komarik_vlad Сообщение #6
Частый гость Группа: User Сообщений: 61 Регистрация: 4.5.2015 Поблагодарили: 3 раза Репутация: 0	можете попробывать ткнуть в меня польцем, но не хочет работать мета тег. У меня статический сайт, хочу настроить, чтобы отдавал он lost modified при запросе, чтобы ускорить индексацию, но при опросе онлайн сервисом выдается ошибка "lost modified" не обнаружен, почему может быть так? В заголовке использую такого вида мета тег: <meta http-equiv="Last-Modified" content="Sun, 11 Sep 2001 17:31:28 GMT" /> Пример страницы с Lost modified: http://1st-finstep.ru/nedela_bynet.php -------------------- Все о создании сайта, его продвижении и заработке в сети

Necrobine

10.5.2015, 20:35; Ответить: Necrobine

Сообщение #7

Старожил

Группа: User
Сообщений: 1654
Регистрация: 8.1.2011
Поблагодарили: 0 раз
Репутация:

0

(zeusgod)

можете попробывать ткнуть в меня пaльцем, но не хочет работать мета тег. У меня статический сайт, хочу настроить, чтобы отдавал он last modified при запросе, чтобы ускорить индексацию, но при опросе онлайн сервисом выдается ошибка "last modified"
В заголовке использую такого вида мета тег: "<meta http-equiv="Last-Modified" content="Sun, 11 Sep 2001 17:31:28 GMT" />"

Слэш лишний.

Добавлено спустя 2 минуты 24 секунды:
Re: Настройка заголовка "Last-Modified" - ускоряем индексацию
Не уверен, но по моему тут те же ошибки.

Эскизы прикрепленных изображений

komarik_vlad komarik_vlad 11.5.2015, 15:45; Сообщений: 61 Поблагодарили: 3 раза Репутация: 0 Просмотр профиля	11.5.2015, 15:45; Ответить: komarik_vlad Сообщение #8
Частый гость Группа: User Сообщений: 61 Регистрация: 4.5.2015 Поблагодарили: 3 раза Репутация: 0	По поводу слешей, я пишу в DreamWeaver и он автоматом выставляет слеши, возможно это и не критично, где-то видел в каком то руководстве, умном, что слеши нужны. так что не знаю, как прав, а кто нет, главное что мета теги работают, хоть со слешем, хоть нет (кроме last modified). но главный вопрос темы, как на статичном сайте правильно настроить last modified и все что с ним связано так и не раскрыт :( -------------------- Все о создании сайта, его продвижении и заработке в сети

prolisk prolisk 11.5.2015, 17:30; Сообщений: 6107 Поблагодарили: 39 раз Репутация: 6 Просмотр профиля	11.5.2015, 17:30; Ответить: prolisk Сообщение #9
Топовый постер Группа: Active User Сообщений: 6107 Регистрация: 24.8.2010 Из: Sava Поблагодарили: 39 раз Репутация: 6	(zeusgod) но главный вопрос темы, как на статичном сайте правильно настроить last modified и все что с ним связано Прилепить маленький скрипт. Например, рандомно подбирало дату посл.редакт.для разных страниц. (от 5 до 10 мая) -------------------- Бонус Payeer Блог вебмастера. Добавь свой сайт в белый каталог

komarik_vlad komarik_vlad 17.5.2015, 13:36; Сообщений: 61 Поблагодарили: 3 раза Репутация: 0 Просмотр профиля	17.5.2015, 13:36; Ответить: komarik_vlad Сообщение #10
Частый гость Группа: User Сообщений: 61 Регистрация: 4.5.2015 Поблагодарили: 3 раза Репутация: 0	так, я сам во всем разобрался. Для подобных сайтов, как у меня, нужно прописать PHP код в начало страницы и тогда и все будет работать, мета тег вставлять не нужно,и страница пройдети проверку на last modified и ответ сервера на запрос "304 Not Modified". Если кому интересны подробности обращайтесь ко мне, помогу: http://1st-finstep.ru/kontakt.php -------------------- Все о создании сайта, его продвижении и заработке в сети

« Предыдущая тема · Поисковая оптимизация (SEO) · Следующая тема »

1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)

Пользователей: 0

Похожие темы

Тема	Ответов	Автор	Просмотров	Последний ответ
Хостинг "Hostland" - качественный хостинг по разумным ценам и со своей Панелью Управления	0	artmeteor	400	18.4.2024, 22:46 автор: artmeteor
⭐⭐⭐ Google Voice \| Gmail - OLD аккаунты "SMS и звонки" ⭐⭐⭐	15	Chekon	4450	18.4.2024, 12:00 автор: Chekon
✅ sms.chekons.com - ⭐ Сервис для получения SMS на реальные номера USA "Non-VoIP, безлим SMS, API" ⭐ Сервис для получения SMS на реальные номера USA	13	Chekon	4078	18.4.2024, 11:48 автор: Chekon
Требуется помощь по сайту на "ВордПресс" Закрылся доступ в панель администратора	15	Tia2	2350	17.4.2024, 0:54 автор: diviner99
Опрос: Результаты в упражнении "Жим лёжа" у вэбмастеров	35	Room	4522	13.3.2024, 13:10 автор: Room