X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Поиск инфы по циклу в гугле
prolisk
prolisk
Topic Starter сообщение 3.6.2015, 15:48; Ответить: prolisk
Сообщение #1


Подскажите, как прогнать инфу (домены, аськи, мейлы) по гуглу и сохранить данные?
Например, есть 100 доменов, нужно их все прогнать по поиску, сохранить результат (первая страница выдачи - в картинке или текстом).

Как то поюзать Api?
Нашел документацию, но пока не разбирался https://developers.google.com/web-search/docs/
Может кто занимался.


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
k0ttee
k0ttee
сообщение 3.6.2015, 16:47; Ответить: k0ttee
Сообщение #2


Может кто занимался.

У них там даже через JS искать можно, я писал в топике Бессерверный парсер выдачи Google на Javascript (приведенный там код даже ищет, если API не обновили до устаревания приведенного примера).

Прелесть такой реализации в том, что работать можно хоть на телефоне... Лишь бы браузер поддерживал JS.

Как то поюзать Api?

Обязательно "белым путем" через API или можно влоб закотать?

<?php
#массив запросов
$zaprosy = array('1', '2', '3');
#выделяем скрипту время (чтоб по тайм-ауту не обламываться), но лучше из консоли гонять.
set_time_limit(0);
#цикл
foreach ($zaprosy as $value){
sleep(5); //пауза в 5 секунд между поисками (а то палево слишком быстро гуглить)
$results[] = file_get_contents('https://www.google.ru/search?q='.$value);
}
print_r($results); //отладочка
#ну и сохранить потом результаты куда-нибудь.
?>


Можно через cUrl, там будет сложнее - зато с юзерагентом и больше похоже на человека.


--------------------
Задонь кибер-коту на крипто-вискас
btc: 3Hq7X9CosVftRFPqWis1Dkk5MdtM1u6jj9
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
prolisk
prolisk
Topic Starter сообщение 3.6.2015, 17:36; Ответить: prolisk
Сообщение #3


k0ttee, спасибо, сейчас делаю. Все вроде получается, только еще цикл нормально настроить - то что мне нужно и все :)

Добавлено спустя 16 секунд:
Сам начал тестить по их документации )


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
k0ttee
k0ttee
сообщение 3.6.2015, 18:22; Ответить: k0ttee
Сообщение #4


то что мне нужно

Реплейсами отрезать / прегматчами найти... Парсинг без границ. ;)

Если нужно переварить много и сегодня, могу погонять со своего компа (типа второй поток). Все равно после множества поисковых запросов вылезет капча, а через прокси медленно.


--------------------
Задонь кибер-коту на крипто-вискас
btc: 3Hq7X9CosVftRFPqWis1Dkk5MdtM1u6jj9
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
prolisk
prolisk
Topic Starter сообщение 3.6.2015, 18:33; Ответить: prolisk
Сообщение #5


Да суть в том, что я написал код по примеру, вроде работает, но гугл закрывает доступ :(
403. That’s an error.

Your client does not have permission to get URL /search?q=***** from this server. (Client IP address: 1*****6)

Если менять доменную зону (например .com.ua на .com), то дает 301 ошибка и ссылку на результат -_-
пилю далее. все таки буду лезть без рнр, а чисто их явой.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
prolisk
prolisk
Topic Starter сообщение 3.7.2015, 16:19; Ответить: prolisk
Сообщение #6


Код написал, с заданным интервалом, но вот беда - ищет только 6 символов подряд (для некоторых запросов).
Например, 380931111111 будет искать. а вот что-то вроде 3809312345682 уже нет. Хотя в выдаче результаты есть.
Кто что может сказать?

Пользуюсь через АПИ (старый), новый оказывается для поисков на внешних сайтов требует платы (вроде, да?).

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Smmsearch.net - поиск самой дешевой накрутки в социальных сетях.
0 Professor7717 3294 13.8.2021, 19:53
автор: Professor7717
Открытая тема (нет новых ответов) Поиск кодера в команду. PHP, Pyton. На постоянку.
7 getsend_mw 2857 3.2.2021, 21:15
автор: getsend_mw
Открытая тема (нет новых ответов) Поиск копирайтера на игровую тематику
Поиск копирайтера на игровую тематику
4 a1ex777 1649 2.10.2020, 16:01
автор: AndreyBozhenko
Открытая тема (нет новых ответов) Кто возьмется за продвижение сайта со второй страницы на первую в Гугле
и за сколько?
9 Mukanov 2271 24.8.2020, 3:34
автор: adamsadriane
Открытая тема (нет новых ответов) SmmBox - поиск, аналитика и отложенная публикация в соцсетях. Официально!
23 smmbox 11933 13.5.2020, 11:12
автор: smmbox


 



RSS Текстовая версия Сейчас: 19.4.2024, 20:42
Дизайн