Февраль
1

Парсинг МСН Забанил меня или как???

11.09.2006 09:39 DaSharm

Парсил МСН с большой скоростью, в секунду было приблизительно 3-10 запросов. Парсю типа, все окей, а тут:

Page parsing failed…(network error)
Page parsing failed…(network error)
Page parsing failed…(network error)
Page parsing failed…(network error)
Page parsing failed…(network error)
Page parsing failed…(network error)
Page parsing failed…(network error)
………….

Блин, это как? неужели МСН забанил так серьёзно? Типа, от АйПи моего сервака НЕТ коннекта к МСН вообще! Это не простой бан типа нет выдачи, а даже коннекта нет…т. е. для моего сервака МСН’а больше не существует! У кого такое было плиз подскажите что делать и вообще что это за фигня?


11.09.2006 09:43 DaSharm

Пробую ещё раз – все парсит нормально, но потом вновь Page parsing failed…(network error)…. Может это от того, что в сумме большое количество запросов? (П.С. я парсю по страничке с 10 результатами, есть смысл парсить по страничках с 100 результатами?)


11.09.2006 11:21 StarLey

Лучше по сотке


11.09.2006 12:35 DaSharm

ок, делаю по сотке…кстати, по сотке 1000 результатов отдает без проблем


11.09.2006 19:29 DaSharm

Блин..МСН гад меняет форматы выдачи очень часто и неожидано… То сунет редирект свой перед линком, то ещё какую-то муть…Нет ли у кого-то паттерна для регэкспа с высокой пробиваемостью? Был бы благодарен.


12.09.2006 14:49 Anarki

Да мсн любит всякие замуты с поиском
Пишу скрипты на заказ PHP/Perl качественно, продуманно. Скрипты получаются быстрые и стабильные. Парсеры, граберы, многопоточность, прокси. Аська 47два-семь45-57девять


13.09.2006 11:53 FunArt

Восновном гуглю парсю, но с проксями вечная проблема
Подскажите кто мсн парсит, она на одинитотже айпишник нереагирует если с него слишкомчасто заходить ?
our brain believes in fairy dalbayob tales


13.09.2006 12:15 Pilot_ru

Реагирует, просто не отдает выдачу.
Раньше спокойно парсился без прокси.
Сделай доброе дело и бросай его в воду
Что? Можно ли заработать в интернет? Нет, конечно, ты до сих пор веришь в эти сказки про миллион? Гонят…


13.09.2006 12:18 FunArt

Спасибо, да думал контент попарсить из мсна, нудаладно буду дальше гуглю мучать
our brain believes in fairy dalbayob tales


15.09.2006 20:03 DaSharm

Pilot_ru, реагирует на скольких потоках?


0