Как стянуть весь сайт с webarchive?


Как стянуть весь сайт с webarchive?

Сообщение prolisk »

Нашел свой форум старый, там много уникальных статей.
Домен не индексируется и тиц обнулен (думаю другой прикручу).
Но нужен контент.
Как стянуть всю пачку? Бесплатно :)

з.ы. сам форум не критично, там сообщений до 50. Интересует общая концепция на будущее.

Меняй выгодно! Только на bestchange!
Мой блог вебмастера. Софт по .арк - 49.99 долларов/мес.
Аватара пользователя
prolisk

 
Группа: Супермодераторы
Сообщения: 11894
Рефералы: 4
Зарегистрирован: 07 янв 2011
Откуда: С той стороны экрана.
Средств на руках: 700.15
Статус: веб-сайт надо?
Спонсор
 
Re: Как стянуть весь сайт с webarchive?

Сообщение prohojy »

Актуальный вопрос. Сюда же спрошу, а можно ли как-нибудь вебархив сканировать сразу на несколько доменов, просто на наличие контента? Чтобы пачку закинуть и пустые сразу в сторону отмести.
Промокод на 3 месяца Хостинга ( тариф 10ГБ ) - 94CE-59EA-3E88-2272
Аватара пользователя
prohojy

 
Группа: Специалист ruSEO
Сообщения: 2823
Рефералы: -1
Зарегистрирован: 07 мар 2015
Откуда: Беларусь
Средств на руках: 95.91
Статус: Владелец rabotaip.ru
Спонсор
 
Re: Как стянуть весь сайт с webarchive?

Сообщение k0ttee »

Интересует общая концепция

На форуме есть мой парсер, который работал... Я давно им не пользовался, так что не дам гарантий о работоспособности сейчас.

Вот моя старая тема, где я выкладывал свой парсер - Re: Парсер вебархива на php
Аватара пользователя
k0ttee

 
Группа: Супермодераторы
Сообщения: 6320
Рефералы: 2
Зарегистрирован: 02 май 2014
Средств на руках: 108.45
Статус: вертел
Спонсор
 
Re: Как стянуть весь сайт с webarchive?

Сообщение prolisk »

k0ttee, я так понял, если конкретную страну в вебархиве не открывает, то ее не стащишь?
з.ы. там статьи :(
Меняй выгодно! Только на bestchange!
Мой блог вебмастера. Софт по .арк - 49.99 долларов/мес.
Аватара пользователя
prolisk

 
Группа: Супермодераторы
Сообщения: 11894
Рефералы: 4
Зарегистрирован: 07 янв 2011
Откуда: С той стороны экрана.
Средств на руках: 700.15
Статус: веб-сайт надо?
Спонсор
 
Re: Как стянуть весь сайт с webarchive?

Сообщение birds »

Аватара пользователя
birds
Администратор
 
Группа: Администраторы
Сообщения: 16745
Рефералы: -209
Зарегистрирован: 24 авг 2010
Откуда: местный житель
Средств на руках: 401.80
Статус: летящий вперед
Re: Как стянуть весь сайт с webarchive?

Сообщение k0ttee »

если конкретную страну в вебархиве не открывает, то ее не стащишь?

Ну конечно, если страницы нет - откуда ее тащить? Из астрала что-ли? :-D

Мой парсер составляет карты страниц, которые удалось открыть в веб-архиве (морда + второй УВ + третий УВ). Если вложенность была больше - то глубокие страницы он не собирает. А потом по карте можно хоть Wget'ом или Teleport'ом скачать сами страницы.
Аватара пользователя
k0ttee

 
Группа: Супермодераторы
Сообщения: 6320
Рефералы: 2
Зарегистрирован: 02 май 2014
Средств на руках: 108.45
Статус: вертел
Re: Как стянуть весь сайт с webarchive?

Сообщение prolisk »

k0ttee писал(а):если страницы нет - откуда ее тащить

Это понятно, просто вначале слюня потекла, увидев свою старые статьи, за которые уплаченные деньги.
А потом полез по сайту - а там доступны только иконки и robots :lol: <_<
Меняй выгодно! Только на bestchange!
Мой блог вебмастера. Софт по .арк - 49.99 долларов/мес.
Аватара пользователя
prolisk

 
Группа: Супермодераторы
Сообщения: 11894
Рефералы: 4
Зарегистрирован: 07 янв 2011
Откуда: С той стороны экрана.
Средств на руках: 700.15
Статус: веб-сайт надо?
Re: Как стянуть весь сайт с webarchive?

Сообщение land »

Воровать чужой контент для продажи в биржах, очень плохо.
Аватара пользователя
land

 
Группа: Интересующийся
Сообщения: 897
Рефералы: 1
Зарегистрирован: 30 ноя 2010
Откуда: Серпухов
Средств на руках: 5.80
Статус: Испытатель
Re: Как стянуть весь сайт с webarchive?

Сообщение k0ttee »

очень плохо

Зато быстрее и прибыльнее, чем писать свой... :-D Какой же я плохой, надо меня отшлепать. :-[

В архиве есть и мои трупы, например pro-dodge https://web.archive.org/web/20140110150 ... -dodge.ru/ Обкатывал на нем правильность шаблона для гугла, а потом угробил в сапе.
Аватара пользователя
k0ttee

 
Группа: Супермодераторы
Сообщения: 6320
Рефералы: 2
Зарегистрирован: 02 май 2014
Средств на руках: 108.45
Статус: вертел
Re: Как стянуть весь сайт с webarchive?

Сообщение prolisk »

land писал(а):Воровать чужой контент для продажи в биржах, очень плохо.

Если статьи висят в архиве несколько лет и никто не пользуется их уникальностью - то почему бы и не заработать?
Меняй выгодно! Только на bestchange!
Мой блог вебмастера. Софт по .арк - 49.99 долларов/мес.
Аватара пользователя
prolisk

 
Группа: Супермодераторы
Сообщения: 11894
Рефералы: 4
Зарегистрирован: 07 янв 2011
Откуда: С той стороны экрана.
Средств на руках: 700.15
Статус: веб-сайт надо?
След.

Вернуться в Вопросы от новичков в SEO

 


  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 10

☞ Форум Казино. Всегда свежие бездепы в онлайн казино. Налетай!


*** заработок на сайте, выплаты еженедельно, в долларах ***
-= покупка и продажа кликов и трафика =-