Февраль
1

blogspot и бан за парсинг

14.02.2008 18:05 smsm
blogspot и бан за парсинг
Не могу определить, банит ли блогспот за большой парсинг. Ну скажем лям страниц скачки с него в сутки. Без прокси. С сотней айпишников подключаемых на “скачку страницы” рандомом.

Вопрос тем кто его парсит. Есть ли бан? Как быстро банится (за сколько запросов) один ИП? (сам проверить – не могу, есть причины)


15.02.2008 06:47 smsm

Сообщение от smsm
Не могу определить, банит ли блогспот за большой парсинг. Ну скажем лям страниц скачки с него в сутки. Без прокси. С сотней айпишников подключаемых на “скачку страницы” рандомом.

Вопрос тем кто его парсит. Есть ли бан? Как быстро банится (за сколько запросов) один ИП? (сам проверить – не могу, есть причины)У меня не миллионы, а всего несколько тысяч запросов в сутки было, на протяжении недель 3-4. Потом был бан. blogger.com был доступен(работа с аккаунтами етц), а сам blogspot.com не отвечал, пакеты дропались.


15.02.2008 07:32 smsm

сенкс


15.02.2008 08:26 5hark

боты поисковиков не дергают по 200 страниц в минуту c одного домена (как правило), и никто их не банит, попробуй дергать много, но запросы постоянно делать к разным блогам
Последний раз редактировалось 5hark; 15.02.2008 в 08:31
Колоти бабло, зарабатывай на онлайн казино и покере


15.02.2008 08:39 5hark

Сообщение от 5hark
боты поисковиков не дергают по 200 страниц в минуту c одного домена (как правило), и никто их не банит, попробуй дергать много, но запросы постоянно делать к разным блогамВ моем случае как раз совершенно разные блоги дергались, где-то 1 страница блога в 1 секунду, переходим к следующей странице другого блога.


15.02.2008 10:09 5hark

видимо после покупки гуглом они внедрили ту же систему бана как и гугл, я его парсил по разным датацентрам он один хрен меня банил собако
Колоти бабло, зарабатывай на онлайн казино и покере


0