X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Ускорение индексации сайта: Last-Modified - If-Modified-Sinc
Gerga_rs
Gerga_rs
Topic Starter сообщение 4.6.2013, 17:16; Ответить: Gerga_rs
Сообщение #1


Сегодня хочу рассказать о методе ускорения индексации сайта путем правильно настройки сервера Last-Modified - If-Modified-Sinc.
Относится только к динамическим сайтам!!!!
На странице Яндекс.Вебмастера "Как помочь роботу быстрее индексировать сайт ", есть инструкция в которой указаны рекомендации, которые позволят улучшить индексацию сайта:
[spoiler="Как помочь роботу быстрее индексировать сайт"]
Чтобы ускорить появление страниц сайта в поиске, воспользуйтесь нашими рекомендациями — во-первых, исключите из индексирования ненужную информацию, во-вторых, сообщайте роботу о новых страницах. Для этого:

---запретите в robots.txt индексирование страниц, неинтересных пользователям. Например, формы ответа на форуме, статистику посещений, страницы с результатами поиска, сайты-зеркала, документы на нераспространенных в рунете языках;
---создайте файл Sitemap с дополнительной информацией о страницах сайта, подлежащих индексированию;
---создайте карту сайта, то есть страницу или несколько страниц, которые содержат ссылки на все документы сайта;
---настройте сервер на выдачу корректных заголовков ответов (например, если страница не существует, выдавать ошибку 404, а если поступил запрос If-Modified-Since, то выдавать код 304, если страница с указанной в запросе даты не изменялась).
[/spoiler]
Если с первыми 3мя элементами списка все понятно, то с четвёртом не очень-то и понятно.

Как работает "Last-Modified".
Почему нужен этот заголовок? Когда клиент (программа) обращается к серверу, сервер в ответ сообщает определенные HTTP-заголовки и к одним из них относится заголовок Last-Modifie (последнее изменение документа). И вот, если клиент с помощью If-Modified-Since спросит "не изменялась ли страница после последнего полученного Last-Modifie " , и если web-страница не изменялась с момента последнего обращения - сервер возвращает код «304 Not Modified» (нет изменений), в другом случае, если содержание web-страницы изменялось - клиент получит «200 OK».

Как ускорить индексацию сайта с помощью заголовка "Last-Modified"
Из страницы помощи в Яндексе, Насколько критично, что мой сервер не выдает last-modified?, вытекает:
[spoiler="Из помощи Яндекса"]
Даже если сервер не выдает дату последней модификации документа (last-modified), ваш сайт будет проиндексирован. Однако в этом случае следует учитывать следующее:

----в результатах поиска не будет показываться дата рядом со страницами вашего сайта;
----при сортировке по дате сайт не будет виден большинству пользователей;
----робот не сможет получить информацию о том, обновилась ли страница сайта с момента последнего индексирования. А так как число страниц, получаемых роботом с сайта за один заход, ограничено, изменившиеся страницы будут переиндексироваться реже.
[/spoiler]
Допустим у вас есть массивный динамический сайт, 5 000 -10 000 страниц, вот вы отредактировали одну из них. В случае, если не настроен last-modified, робот ПС не знает какую страницу вы изменили. И как думаете, что он делает? Индексирует все страницы (!), даже тех, которых вы не изменяли! И когда робот дойдет до измененной страницы? Ну или представьте индексирование форума без использования Last-Modifie.

Здесь еще такой момент, сервер знает когда был изменен html документ, а вот последние динамическое (с php и т.д.) изменение он не знает! В этом и есть преимущество индексации статических сайтов, перед динамическими! Но это преимущество можно свести к нулю соответствующим образом настроив файл .htaccess и php обработчики. Кстати, многие популярные CMS игнорируют возможности last_modified :spiteful: .

Настройка "Last-Modified"
Чтобы настроить Last-Modified нужно сделать следующее:
1. В файле .htassecc вставить:
# If-Modified-Since (if php is not installed as cgi then comment lines below)
RewriteRule .* - [E=HTTP_IF_MODIFIED_SINCE:%{HTTP:If-Modified-Since}]
RewriteRule .* - [E=HTTP_IF_NONE_MATCH:%{HTTP:If-None-Match}]

2. В php файле, который работает с контентом нужно это прописать:
$qtime = isset($_SERVER['HTTP_IF_MODIFIED_SINCE'])? $_SERVER['HTTP_IF_MODIFIED_SINCE']:'';

$modified = substr(gmdate('r', $timestamp), 0, -5).'GMT';

if ($hdr == $modified)
{
header ("HTTP/1.1 304 Not Modified ");
header ("Last-Modified: $modified");
exit();
}
header ("Last-Modified: $modified");
//render



Правильность работа Last-Modified проверяется [здесь]. Нужно вставить адрес страницы, нажать check. Если скрипт выводит - Yes - Last-Modified работает правильно. В противном случае, если No. - Last-Modified не работает.

Удачи!!!! ;)

Добавлено спустя 32 минуты 38 секунд:
Кстати, Last-Modified не только улучшает индексацию сайта, но и ускоряется загрузка сайта (например http://jino.ru) + снижается нагрузка на сервер.
Эскизы прикрепленных изображений
Прикрепленное изображение
 
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dos1k_rs
dos1k_rs
сообщение 4.6.2013, 17:44; Ответить: dos1k_rs
Сообщение #2


Тс, спасибо, что расписали, но честно, надеялся увидеть что нибудь новое, а не хелп яндекса :(
Хотите от меня совет по ускорению индексации? Каждую страницу сайта твитните на нормальном акке твиттера. У меня страницы в индекс за 1 минуту влетают ;)


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gerga_rs
Gerga_rs
Topic Starter сообщение 4.6.2013, 17:50; Ответить: Gerga_rs
Сообщение #3


dos1k, вы скорее всего не поняли метод. В Яндексе не сказано как это сделать, а я написал как это реализовать. ;)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
dos1k_rs
dos1k_rs
сообщение 4.6.2013, 17:51; Ответить: dos1k_rs
Сообщение #4


Gerga, Но суть то одна - ускорение индексации, и как мне кажется, постинг в твиттер намного быстрее


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gerga_rs
Gerga_rs
Topic Starter сообщение 4.6.2013, 18:26; Ответить: Gerga_rs
Сообщение #5


(dos1k_rs)
Gerga, Но суть то одна - ускорение индексации, и как мне кажется, постинг в твиттер намного быстрее

Частично да! Но, если использовать If-Modified-Sinc, робот знает что нужно индексировать, и он за два-три часа проиндексирует страницу без твиттера и т.д. + вот на примере форума, ведь не всегда кликают на соц. кнопки, где ежеминутно оставляют комменты, робот индексирует только новые комментарии, а не весь форум, он знает что индексировать + твиттер не ускорит загрузку сайта в браузере. Использование Last-Modified --- очень выгодно, но многие вебмастера не используют. Кстати, этот движок использует Last-Modified, а вот WordPress, uCoz - нет.

Добавлено спустя 6 минут 40 секунд:
Я бы еще так сказал, при использовании твиттера + Last-Modified --- страницу моментально проиндексируют.

Добавлено спустя 9 минут 27 секунд:
Re: Ускорение индексации сайта. Last-Modified - If-Modified-Sinc
кстати, dos1k, еще такой момент. Если отредактировать страницу, и даже если ее проиндексируют, и вот если пользователем в запросе будет учитываться дата страницы, в таком случае:
----при сортировке по дате сайт не будет виден большинству пользователей;
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Foxi_rs
Foxi_rs
сообщение 4.6.2013, 18:50; Ответить: Foxi_rs
Сообщение #6


ЛастМодифиед важен, но в стартпосте написано что-то явно не рабочее. Данный параметр должен базироваться на дате последней модификации документа, а это хтасесом или еще каким универсальным способом не сделать, нужно ковырять конкретный движок, получая из базы дату изменения, и уже решать какой ответ отдавать, модифиед или не модифиед :beach: и кстати не забывать про всякие сапы и прочие посторонние контенты, а то ведь страница может не изменяться годами, а сапоссылки каждый день новые, а если отдавать ответ в зависимости от даты изменения основного контента, то ссылки индексироваться не будут, вебмастера обидятся...


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gerga_rs
Gerga_rs
Topic Starter сообщение 4.6.2013, 22:44; Ответить: Gerga_rs
Сообщение #7


(Foxi_rs)
ЛастМодифиед важен, но в стартпосте написано что-то явно не рабочее.

Работает, проверьте!

(Foxi_rs)
а сапоссылки каждый день новые, а если отдавать ответ в зависимости от даты изменения основного контента, то ссылки индексироваться не будут, вебмастера обидятся...

даже если изменить одну статическую букву в динамической странице - будет получен код "200" (есть изменения), проверено! Т.е., при малейшем движении на странице, даже появление ссылки "ниоткуда", страница будет проиндексирована. Проверено!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Siege_mw
Siege_mw
сообщение 7.6.2013, 22:07; Ответить: Siege_mw
Сообщение #8


(dos1k_rs)
Тс, спасибо, что расписали, но честно, надеялся увидеть что нибудь новое, а не хелп яндекса :(
Хотите от меня совет по ускорению индексации? Каждую страницу сайта твитните на нормальном акке твиттера. У меня страницы в индекс за 1 минуту влетают ;)

согласен, в твиттер загонять полезно, хорошо что у меня акк нормальный в твиттере есть
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Gerga_rs
Gerga_rs
Topic Starter сообщение 8.6.2013, 1:01; Ответить: Gerga_rs
Сообщение #9


(Siege)
согласен, в твиттер загонять полезно, хорошо что у меня акк нормальный в твиттере есть

я же не спору! НО Last-Modified --- нужен как вода рыбе!!! Я написал как это сделать самому, даже не зная PHP и возможности Апач!!!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ametist_rs
Ametist_rs
сообщение 15.7.2013, 13:00; Ответить: Ametist_rs
Сообщение #10


(Gerga_rs)
2. В php файле, который работает с контентом нужно это прописать:


А в каком именно файле?
По блогам походила, нашла только код для вставки в header.php, который почему-то не на всех сайтах работает (сайта на WP)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Продвижение молодого сайта
30 maxmer 6374 26.3.2024, 21:49
автор: c4p1t4l15t
Открытая тема (нет новых ответов) SEO-текст на главной странице сайта и в категориях
5 boltuk 1355 26.3.2024, 21:43
автор: c4p1t4l15t
Открытая тема (нет новых ответов) Какой % отказов нормален для сайта?
10 Aloof 2554 24.3.2024, 21:45
автор: Liudmila
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыБыстрая индексация страниц сайта и обратных ссылок - 2Index
32 2Index 5846 18.3.2024, 16:33
автор: 2Index
Открытая тема (нет новых ответов) Перенос сайта на CMS Wordpress
8 freeax 4849 10.3.2024, 14:58
автор: freeax


 



RSS Текстовая версия Сейчас: 29.3.2024, 19:03
Дизайн