Февраль
1

парсинг и бан сколько можно скормить запросов с 1 ip

17.10.2006 00:36 dim7

подскажите, сколько можно скормить запросов google с 1 ip,
до того как это ip будет забанен.

у меня гугля не банет, если запросы просто бла-бла-бла,
а если в них inurl или site, то бан.
>><><<


17.10.2006 02:44 BMaster

скорость парсинга притормози, на дольше хватит.
SEOWATER – Живая вода для дорвейщика. ~~~ ГлавТорг – на МОДЕ тоже можно зарабатывать!


17.10.2006 05:04 mr.haron

Либо 5 секунд между запросами задержку ставь или прокси используй


17.10.2006 12:06 [b

Сообщение от [b
Цитата[/b] (dim7 @ Окт 16 2006,17:36)]подскажите, сколько можно скормить запросов google с 1 ip,ДАХУЯ!!!!!

BMaster +1


17.10.2006 22:01 [b

Сообщение от [b
Цитата[/b] (StalkerS @ Окт 17 2006,08:06)] Сообщение от [b
Цитата[/b] (dim7 @ Окт 16 2006,17:36)]подскажите, сколько можно скормить запросов google с 1 ip,ДАХУЯ!!!!!

BMaster +1У меня что-то практика, с твоим ответом не клеется ))
Таймауты как-то не спасают

Спрошу поконкретнее, запросы исключительно с inurl и site.

Вот таких сколько можно скормить google.com, до бана с 1 ip?
>><><<


17.10.2006 23:15 bolan

А проверить самому не?
Без прокси парсить очень медленно получается (таймауты большие надо ставить и немного запросов одновременно). А на вопрос сколько ответ – сколько угодно. Всё от времени зависит, за которые ты эти запросы будешь делать. Как-то пробовал без прокси парсить такие запросы – с таймаутом 7 секунд на страницу по 5 запросов одновременно – не банил достаточно долго.
получаем дополнительные деньги на траффике
тулзы


17.10.2006 23:45 [b

Сообщение от [b
Цитата[/b] (bolan @ Окт 17 2006,19:15)]А проверить самому не?
Без прокси парсить очень медленно получается (таймауты большие надо ставить и немного запросов одновременно). А на вопрос сколько ответ – сколько угодно. Всё от времени зависит, за которые ты эти запросы будешь делать. Как-то пробовал без прокси парсить такие запросы – с таймаутом 7 секунд на страницу по 5 запросов одновременно – не банил достаточно долго.не не ) гугля прицеленно забанил сразу сеть, в которой стоит сервер
долго не долго, – время есть.
5 запросов одновременно с таймаутом 7 секунд, они в одну и туже секунду запускались? что-то тут мутно

пойду прокси искать … хотя, там же капча, надо пробить
>><><<


17.10.2006 23:59 alex777

правильный ответ – сколько угодно
есть способы обхода бана, хз как это работает, у меня скрипт зазендиный
но факт что работает, правда в последнее время гугль всё-таки банит через некоторое время, но сотни-тысячи запросов проходят (без пауз)
зато с яхой без проблем


18.10.2006 06:41 [b

Сообщение от [b
Цитата[/b] (alex777 @ Окт 17 2006,19:59)]зато с яхой без проблемпарсится то он без проблем,только один мусор выдает по любым запросам,сколько не пробовал,бывает 2-3 странички чистенькие,а остальные сплошь из мусора


18.10.2006 09:56 lutiy_xXx

за inurl гугл лучше бота ловит, но если тайм аут между каждым запросом в 5 сек, то и миллиарды запросов кормить можно, гугл в основном банит за сверх активность


0