X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Как стянуть весь сайт с webarchive?
prolisk
prolisk
Topic Starter сообщение 18.9.2015, 13:55; Ответить: prolisk
Сообщение #1


Нашел свой форум старый, там много уникальных статей.
Домен не индексируется и тиц обнулен (думаю другой прикручу).
Но нужен контент.
Как стянуть всю пачку? Бесплатно :)

з.ы. сам форум не критично, там сообщений до 50. Интересует общая концепция на будущее.


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
prohojy_rs
prohojy_rs
сообщение 18.9.2015, 14:40; Ответить: prohojy_rs
Сообщение #2


Актуальный вопрос. Сюда же спрошу, а можно ли как-нибудь вебархив сканировать сразу на несколько доменов, просто на наличие контента? Чтобы пачку закинуть и пустые сразу в сторону отмести.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
k0ttee
k0ttee
сообщение 18.9.2015, 15:44; Ответить: k0ttee
Сообщение #3


Интересует общая концепция

На форуме есть мой парсер, который работал... Я давно им не пользовался, так что не дам гарантий о работоспособности сейчас.

Вот моя старая тема, где я выкладывал свой парсер - Re: Парсер вебархива на php


--------------------
Задонь кибер-коту на крипто-вискас
btc: 3Hq7X9CosVftRFPqWis1Dkk5MdtM1u6jj9
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
prolisk
prolisk
Topic Starter сообщение 18.9.2015, 15:46; Ответить: prolisk
Сообщение #4


k0ttee, я так понял, если конкретную страну в вебархиве не открывает, то ее не стащишь?
з.ы. там статьи :(


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
airman
airman
сообщение 18.9.2015, 15:56; Ответить: airman
Сообщение #5


Почитай эти темы

Парсер вебархива на php
Сервис для восстановления сайта из вебархива
Восстановление заброшенного сайта
Добыча уникального контента бесплатно


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
k0ttee
k0ttee
сообщение 18.9.2015, 16:37; Ответить: k0ttee
Сообщение #6


если конкретную страну в вебархиве не открывает, то ее не стащишь?

Ну конечно, если страницы нет - откуда ее тащить? Из астрала что-ли? :D

Мой парсер составляет карты страниц, которые удалось открыть в веб-архиве (морда + второй УВ + третий УВ). Если вложенность была больше - то глубокие страницы он не собирает. А потом по карте можно хоть Wget'ом или Teleport'ом скачать сами страницы.


--------------------
Задонь кибер-коту на крипто-вискас
btc: 3Hq7X9CosVftRFPqWis1Dkk5MdtM1u6jj9
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
prolisk
prolisk
Topic Starter сообщение 18.9.2015, 18:24; Ответить: prolisk
Сообщение #7


(k0ttee)
если страницы нет - откуда ее тащить

Это понятно, просто вначале слюня потекла, увидев свою старые статьи, за которые уплаченные деньги.
А потом полез по сайту - а там доступны только иконки и robots :laugh: <_<


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Uhab
Uhab
сообщение 18.9.2015, 20:29; Ответить: Uhab
Сообщение #8


Воровать чужой контент для продажи в биржах, очень плохо.


--------------------
неадекват
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
k0ttee
k0ttee
сообщение 18.9.2015, 20:43; Ответить: k0ttee
Сообщение #9


очень плохо

Зато быстрее и прибыльнее, чем писать свой... :D Какой же я плохой, надо меня отшлепать. :blush:

В архиве есть и мои трупы, например pro-dodge https://web.archive.org/web/20140110150 ... -dodge.ru/ Обкатывал на нем правильность шаблона для гугла, а потом угробил в сапе.


--------------------
Задонь кибер-коту на крипто-вискас
btc: 3Hq7X9CosVftRFPqWis1Dkk5MdtM1u6jj9
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
prolisk
prolisk
Topic Starter сообщение 21.9.2015, 16:59; Ответить: prolisk
Сообщение #10


(land)
Воровать чужой контент для продажи в биржах, очень плохо.

Если статьи висят в архиве несколько лет и никто не пользуется их уникальностью - то почему бы и не заработать?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Арбитражники, как ведете учет расходов и доходов?
11 Boymaster 1773 17.4.2024, 23:35
автор: Boymaster
Горячая тема (нет новых ответов) Как вывести деньги в Украине с заблокированного Юмани ?
29 freeax 4795 17.4.2024, 1:19
автор: sergio11
Открытая тема (нет новых ответов) Ваш сайт блокирует Роскомнадзор?
27 hollywooduk 5711 17.4.2024, 0:19
автор: Omaxis
Открытая тема (нет новых ответов) Прототипирование + дизайн + вёрстка = красивый и эффективный сайт под ключ
0 bunneh 303 16.4.2024, 18:02
автор: bunneh
Открытая тема (нет новых ответов) Если в сайт с одними ключами, которые там долго, добавить новую рубрику с новыми ключами
2 Tutich 1179 16.4.2024, 8:27
автор: Tutich


 



RSS Текстовая версия Сейчас: 19.4.2024, 0:07
Дизайн