Февраль
1

Бан IP при парсинге гугла задачка..

25.11.2006 22:43 Andryxa

В секунду надо делать 20 запросов типа "siteomain.com". При этом будет парситься только первая страница СЕРПа (как дополнительная опция – несколько страниц)

1. Сколько надо IPишников, чтобы гоголь не побанил?
2. Через какое время гоголь побанит IP, если будет 20 запросов в сукунду? Точнее так: через сколько запросов гугл побанит ИП?

Btw, 20 запросов/сек – это к примеру

Только, пожалуйста, не надо "юзай поиск" и т.п., лучше ответьте или дайте ссылки, где это обсуждалось. Буду очень благодарен.


25.11.2006 22:55 gofman

хуй его знает

в идеале, между запросами с одного ip, делать паузу в две – три секунды
$30 за 1000 уников


26.11.2006 01:07 arma

Вспоминали Гоголя, мертвые души, он пару раз в гробу перевернулся и похоже вышел из литургического сна)

Гоголь = gogole.com

Есть две бесконечных вещи: Вселенная и человеческая глупость. Причем насчет первой я не уверен… (А. Эйнштейн)


26.11.2006 01:21 qwer12

Исползуй разные датацентры www.google.com/search?q=Google+Data+Centers+List
qwerilicious


26.11.2006 10:37 [b

Сообщение от [b
Цитата[/b] ]
Исползуй разные датацентры www.google.com/search?q=Google+Data+Centers+List Мне чёто это нифига не помогает. Т.е. банятся айпишники сразу везде Ну или с небольшим интервалом…

А топикстартеру: у меня обычно гугл первую страницу всегда отдаёт. А банит только вторую и дальше… почему-то так…

А точных цифр сколько в секунду, сколько айпишников – тебе никто не скажет… разработчики гугла вряд ли тут тусуются
получаем дополнительные деньги на траффике
тулзы


26.11.2006 15:23 Andryxa

А мне точно и не надо

Просто не знаю, на сколько IPишников рассчитывать

У кого как при парсинге, расскажите?


12.12.2006 22:14 Fidel

Я пока вручную расширял базу запросов, меня гугл забанил=)
Но баны у него короткие, мин на 30.

При парсинге пользуюсь хрефером в 100 айпишников и 40 потоков, правда хрефер частенько обновляет прокси лист. А так сутками гоняю и всё нормально.
Но это на adsl’е, там и зажержки получаются сами собой, на сервере не пробовал.
Десктопный дорвей генератор Door It!
goodkat team


13.12.2006 01:09 [b

Сообщение от [b
Цитата[/b] (gofman @ Ноя 25 2006,17:55)]хуй его знает

в идеале, между запросами с одного ip, делать паузу в две – три секундыУ меня – не меньше шести секунд с одного IP. Или минут 5-10 попарсишь и бан где-то на 30 минут.
Делаю программы для SEO. Бесплатно, если идея понравится.


13.12.2006 03:37 [b

Сообщение от [b
Цитата[/b] (Andryxa @ Ноя 25 2006,17:43)]…будет парситься только первая страница СЕРПа…Обратил внимание на эту фразу…
Оно мож вообще не будет баниться?
Я сам на спутнике сижу: статичное ИП, 65к народу на нем, определенная часть парсит, короче банит каждый 3-й запрос.
Дык вот, когда тока первую страницу дергаешь – бана не происходит! По крайней мере, у меня.


13.12.2006 08:06 dreder

топикстарер – делай не 20, делай 19 запросов… вопрос решен?
а вообще, умники и умницы, обратите внимание на куки, как это делает гугля… забанили – сигнал… ручками капчу пишем, получаем новые куки, а дальше все по новой. всё должно быть в разумных пределах. (кстати, и пить так много не надо, как я..)
ГУГЛЯ ОБОЖАЕТ КУКИ!!! вот блин, я все спалил… подставлять разные браузеры с СООТВЕТСТВУЮЩИМИ их запросам (со свеже взятыми куками)… (опять спалил)…
да ну вас… думайте сами…
дайте денех!


0