Индексация страниц с редиректа.

Индексация страниц с редиректа.

Сообщение aries »

Всех приветствую!
Проблема такая, ранее в начале развития проекта я создал домен типа site.ru/site/ и на сайте были такие внутренние страницы типа:
site.ru/site/xx-yyyyy.html
или как пример с русским языком, такой вариант:
site.ru/site/xx-yyyy.html?lang=rus.
С старого домена в последующем сделал 301 редирект на новый домен site.com как пример.
А проблема заключается в том, что новый домен начал индексировать страницы редиректа вот такого вида:
site.com/rr-tyu.htmlxx-yyyy.html
либо добавлять буквы от русскоязычной версии.
site.com/rr-tyu.htmlrus
Я отменил 301 редирект, думал, что все больше не будет таких некорректных страниц, но все равно, Яндекс продолжает в новом домене их индексировать, закидывает их в проиндексированные, а потом через неделю выкидывает из поиска.
Как убрать это индексирование старых страниц? Чтобы новый домен не индексировал эти кривые страницы которые по факту получаются главными страницами сайта нового.

Аватара пользователя
aries

 
Группа: Интересующийся
Сообщения: 275
Зарегистрирован: 14 сен 2010
Откуда: Ростов-на-Дону
Средств на руках: 146.55
Статус: не указан
Спонсор
 
Re: Индексация страниц с редиректа.

Сообщение k0ttee »

Я бы вывел канониклы и забил на дубли.
Код: Выделить всё
<link rel="canonical" href="правильный-адрес"/>


Вот простой пример реализации костыля (потести у себя):
Код: Выделить всё
<?php
//разбиваем URL по символу '?'
$uri_parts = explode('?', $_SERVER['REQUEST_URI'], 2);
//используем левую часть
$clean_url_part = $uri_parts[0];
//выхлоп: протокол, домен, страница
echo $_SERVER['REQUEST_SCHEME'].'://'.$_SERVER['HTTP_HOST'].$clean_url_part;
?>

На выхлопе должно обрезаться от адреса "по символу знака вопроса".

Снимок 2018-11-08 в 12.49.05.png
Снимок 2018-11-08 в 12.49.05.png (5.01 КБ) Просмотров: 51


У одного комрада (не будем показывать пальцем) после пересадки несколько страниц просто перестали открываться по волшебной причине.

Добавлено спустя 5 минут 20 секунд:
Если костыль подходит - вот полная реализация. Пихнуть в шаблон, чтоб в секции <head></head> выводился каноникл и думать дальше.

Код: Выделить всё
<?php
//разбиваем URL по символу '?'
$uri_parts = explode('?', $_SERVER['REQUEST_URI'], 2);
//используем левую часть
$clean_url_part = $uri_parts[0];
//выхлоп: протокол, домен, страница
$clean_address_fix = $_SERVER['REQUEST_SCHEME'].'://'.$_SERVER['HTTP_HOST'].$clean_url_part;
?>
<link rel="canonical" href="<?php echo $clean_address_fix; ?>"/>

За это сообщение автора k0ttee поблагодарили: 2
aries, birds
Аватара пользователя
k0ttee

 
Группа: Супермодераторы
Сообщения: 9273
Рефералы: 2
Зарегистрирован: 02 май 2014
Откуда: пам пари ру рам
Средств на руках: 65.35
Статус: бубны козыри
Спонсор
 
Re: Индексация страниц с редиректа.

Сообщение aries »

k0ttee, спасибо конечно за информацию, но все же вопрос откуда беруться эти кривые урлы? Ведь 301 редирект убрал уже 8 месяцев назад, а они до сих пор на новом домене появляются. Это может быть типа кеша какого-то? или что еще, как вариант что может быть?!
Аватара пользователя
aries

 
Группа: Интересующийся
Сообщения: 275
Зарегистрирован: 14 сен 2010
Откуда: Ростов-на-Дону
Средств на руках: 146.55
Статус: не указан
Re: Индексация страниц с редиректа.

Сообщение k0ttee »

но все же вопрос откуда беруться эти кривые урлы?

Движок отдает на этих урлах страницы. Это же очевидно.
301 редирект убрал уже 8 месяцев назад, а они до сих пор на новом домене появляются

Нет редиректа - робот не ходит со старых на новые. По уже проиндексированным новым - продолжает ходить. Ликвидация редиректа не убирает проиндексированный мусор.
Это может быть типа кеша какого-то?

Существующие мусорные страницы продолжают существовать в глазах поискового робота. Чтобы убрать - на мусорных страницах достаточно отдавать 404 и дождаться их вылета из индекса.

Можно сварганить костыль, который на страницах с get-переменными в адресах будет отдавать 404.
Заголовок отдается так.
Код: Выделить всё
<?php header("HTTP/1.0 404 Not Found"); ?>
Аватара пользователя
k0ttee

 
Группа: Супермодераторы
Сообщения: 9273
Рефералы: 2
Зарегистрирован: 02 май 2014
Откуда: пам пари ру рам
Средств на руках: 65.35
Статус: бубны козыри
Re: Индексация страниц с редиректа.

Сообщение birds »

k0ttee писал(а):не убирает проиндексированный мусор.

в вебмастере есть же инструмент удаления страниц, как раз для этого
Аватара пользователя
birds
Администратор
 
Группа: Администраторы
Сообщения: 19050
Рефералы: -208
Зарегистрирован: 24 авг 2010
Откуда: местный житель
Средств на руках: 455.10
Статус: летящий вперед
Re: Индексация страниц с редиректа.

Сообщение Юрик »

Удаление страниц, или же просто удалить страницу и отправить адрес на переообход, робот обойдет и выкинет из индекса.
Юрик

 
Группа: Интересующийся
Сообщения: 912
Рефералы: -10
Зарегистрирован: 10 янв 2014
Средств на руках: 7.95
Re: Индексация страниц с редиректа.

Сообщение k0ttee »

в вебмастере есть же инструмент удаления страниц

Да только у того инструмента в описании пишут, что удаляемая страница должна "не существовать"... То есть - нужно чтоб удаляемые были 404.
Аватара пользователя
k0ttee

 
Группа: Супермодераторы
Сообщения: 9273
Рефералы: 2
Зарегистрирован: 02 май 2014
Откуда: пам пари ру рам
Средств на руках: 65.35
Статус: бубны козыри
Re: Индексация страниц с редиректа.

Сообщение aries »

k0ttee писал(а):
в вебмастере есть же инструмент удаления страниц

Да только у того инструмента в описании пишут, что удаляемая страница должна "не существовать"... То есть - нужно чтоб удаляемые были 404.

Верно заметили, и тем более у меня эти страницы отдаю 200 ответ и они работают как шаблон главной страницы, поэтому удалить я не могу, даже если бы и хотел, но есть еще одно "НО", таких страниц у меня десятки тысяч.
Аватара пользователя
aries

 
Группа: Интересующийся
Сообщения: 275
Зарегистрирован: 14 сен 2010
Откуда: Ростов-на-Дону
Средств на руках: 146.55
Статус: не указан

Вернуться в Внутренняя оптимизация сайта

 


  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 65