Birds кое-что заказывал спарсить. Оно прямо сейчас работает. В десять потоков (думаю это оптимальное количество потоков).

Обойти нужно страницы, где в адресах шестизначный порядковый номер от 000 000 до 999 999 (пробелы для удобства восприятия глазами).

Вы ведь знаете с какой скоростью открываются страницы? Ну вот представьте, что нужно открыть миллион страниц!

file_get_contents() не прокатил - сайт использует Cookies. Поэтому, пришлось использовать что-то типа cUrl / wGet или даже консольного браузера Links2.
Быстрее получится сделать парсер если использовать "настоящий" браузер, а не писать груду кода с учетом всяких кукисов и сессий и еще хер знает чего.

Использовал Caffeine - утилиту, которая не дает завершиться сеансу (именно сеансу, не говоря уже об уходе машины в спячку).

Сделал обоину, чтобы себе отбить желание по-привычке выключить машину.


Работаю в 10 потоков.

Бывает в секунду выкачивается сразу пяток страниц, бывает одна страница занимает до пяти секунд.
Вот как смотрятся выхлопы (вчера в 16 часов и сегодня в полдень).