X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Как стянуть весь сайт с webarchive?
prolisk
prolisk
Topic Starter сообщение 18.9.2015, 13:55; Ответить: prolisk
Сообщение #1


Нашел свой форум старый, там много уникальных статей.
Домен не индексируется и тиц обнулен (думаю другой прикручу).
Но нужен контент.
Как стянуть всю пачку? Бесплатно :)

з.ы. сам форум не критично, там сообщений до 50. Интересует общая концепция на будущее.


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
prohojy_rs
prohojy_rs
сообщение 18.9.2015, 14:40; Ответить: prohojy_rs
Сообщение #2


Актуальный вопрос. Сюда же спрошу, а можно ли как-нибудь вебархив сканировать сразу на несколько доменов, просто на наличие контента? Чтобы пачку закинуть и пустые сразу в сторону отмести.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
k0ttee
k0ttee
сообщение 18.9.2015, 15:44; Ответить: k0ttee
Сообщение #3


Интересует общая концепция

На форуме есть мой парсер, который работал... Я давно им не пользовался, так что не дам гарантий о работоспособности сейчас.

Вот моя старая тема, где я выкладывал свой парсер - Re: Парсер вебархива на php


--------------------
Задонь кибер-коту на крипто-вискас
btc: 3Hq7X9CosVftRFPqWis1Dkk5MdtM1u6jj9
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
prolisk
prolisk
Topic Starter сообщение 18.9.2015, 15:46; Ответить: prolisk
Сообщение #4


k0ttee, я так понял, если конкретную страну в вебархиве не открывает, то ее не стащишь?
з.ы. там статьи :(


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
airman
airman
сообщение 18.9.2015, 15:56; Ответить: airman
Сообщение #5


Почитай эти темы

Парсер вебархива на php
Сервис для восстановления сайта из вебархива
Восстановление заброшенного сайта
Добыча уникального контента бесплатно


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
k0ttee
k0ttee
сообщение 18.9.2015, 16:37; Ответить: k0ttee
Сообщение #6


если конкретную страну в вебархиве не открывает, то ее не стащишь?

Ну конечно, если страницы нет - откуда ее тащить? Из астрала что-ли? :D

Мой парсер составляет карты страниц, которые удалось открыть в веб-архиве (морда + второй УВ + третий УВ). Если вложенность была больше - то глубокие страницы он не собирает. А потом по карте можно хоть Wget'ом или Teleport'ом скачать сами страницы.


--------------------
Задонь кибер-коту на крипто-вискас
btc: 3Hq7X9CosVftRFPqWis1Dkk5MdtM1u6jj9
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
prolisk
prolisk
Topic Starter сообщение 18.9.2015, 18:24; Ответить: prolisk
Сообщение #7


(k0ttee)
если страницы нет - откуда ее тащить

Это понятно, просто вначале слюня потекла, увидев свою старые статьи, за которые уплаченные деньги.
А потом полез по сайту - а там доступны только иконки и robots :laugh: <_<


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Uhab
Uhab
сообщение 18.9.2015, 20:29; Ответить: Uhab
Сообщение #8


Воровать чужой контент для продажи в биржах, очень плохо.


--------------------
неадекват
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
k0ttee
k0ttee
сообщение 18.9.2015, 20:43; Ответить: k0ttee
Сообщение #9


очень плохо

Зато быстрее и прибыльнее, чем писать свой... :D Какой же я плохой, надо меня отшлепать. :blush:

В архиве есть и мои трупы, например pro-dodge https://web.archive.org/web/20140110150 ... -dodge.ru/ Обкатывал на нем правильность шаблона для гугла, а потом угробил в сапе.


--------------------
Задонь кибер-коту на крипто-вискас
btc: 3Hq7X9CosVftRFPqWis1Dkk5MdtM1u6jj9
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
prolisk
prolisk
Topic Starter сообщение 21.9.2015, 16:59; Ответить: prolisk
Сообщение #10


(land)
Воровать чужой контент для продажи в биржах, очень плохо.

Если статьи висят в архиве несколько лет и никто не пользуется их уникальностью - то почему бы и не заработать?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Ваш сайт блокирует Роскомнадзор?
23 hollywooduk 5091 Вчера, 10:43
автор: hollywooduk
Открытая тема (нет новых ответов) Тысячи ботовых переходов на сайт
18 Suagaring 4536 26.3.2024, 21:42
автор: c4p1t4l15t
Открытая тема (нет новых ответов) Большие ставки для кликов в Я.Директ. Как удешевить?
2 rownong27 1117 26.3.2024, 14:13
автор: knezevolk
Открытая тема (нет новых ответов) Как вы бросили работу и перешли на заработок с сайтов?
12 uahomka 2286 25.3.2024, 6:52
автор: Skyworker
Открытая тема (нет новых ответов) Как отозвать банковский платеж фрилансеру?
28 metvekot 3912 25.3.2024, 6:34
автор: Skyworker


 



RSS Текстовая версия Сейчас: 28.3.2024, 18:56
Дизайн