Февраль
1

Как лучше парсить результы по запросам....???

21.02.2007 15:15 onmelkiy

Вообщем, очень часто и много результов надо пропарсивать по запросам:
"site:mysite.com inurl:myurl"
В данный момент я беру без фильтров и по 100 результов на страницу, но гугл очень быстро меня банит. Как тогда быть? Может лучше брать по 10 результов и прогонять до конца? Т.к. для некоторых сайтов результов может быть всего 10. Я юзаю прокси, но тем не менее гугля всё равно каждой проксе дает не более 5 раз. Печально. ПОсоветуйте


22.02.2007 08:01 anstar

sleep делай иногда


22.02.2007 11:48 onmelkiy

Да я после каждого запроса делаю 10(!!!!) секундный слип


22.02.2007 12:08 nomer.1

Я делаю слип 10 на яху и мсн, а на гугл 30.


22.02.2007 14:03 [b

Сообщение от [b
Quote[/b] (onmelkiy @ Feb. 22 2007,16:48)]Да я после каждого запроса делаю 10(!!!!) секундный слип10 секунд очень много спалю тему (или баян) – гугл банит не только из-за количества запросов – но и из-за вида конкретного запроса (твой запрос ему явно не нравится) – попробуй сделать 10 или 20 результатов на странице – может поможет

в соседнем топике (www.umaxforum.com/topic/12/19040/) тоже самое обсуждается кстати


0