Февраль
1

Гугл не выдает 2-ю страницу поиска. Как побороть эту блокировку?

08.08.2005 19:08 Strike

Делаю поиск в гугле: "inurl:какоенибудьслово"
Выдает первую страницу результатов, а вместо второй страницы такую хрень:

——
We’re sorry…
… but we can’t process your request right now. A computer virus or spyware application is sending us automated requests, and it appears that your computer or network has been infected.
We’ll restore your access as quickly as possible, so try again soon. In the meantime, you might want to run a virus checker or spyware remover to make sure that your computer is free of viruses and other spurious software.
We apologize for the inconvenience, and hope we’ll see you again on Google.
——

Причем это не блокировка по айпи за слишком большое кол-во запросов ботами, пробовал с трех абсолютно разных айпишников – результат одинаковый, но если сделать тот-же поиск, но без "inurl:", то гугл ведет себя прилично и вторую страницу результатов выдает исправно.

Причину такого поведения я вроде нашел, это гугл так защищается от хакеров, которые при помощи ботов ищут в гугле адреса серверов с определенными версиями определенных скриптов, в которых есть известные им уязвимости (например, phpBB) и затем взламывают эти сервера. Вот только логика такой защиты мне не совсем понятна.
Ну ладно я сделал поиск "inurl:guestbook.php".
Гугл меня послал. Это еще можно понять, мало ли чего я затеял.
Но зачем он вообще полностью блокирует любой поиск с inurl?
Почему он не дает сделать, например, такой поиск: "inurl:london"?
И почему он не блокирует конкретные айпишники? Это значит, что сейчас вообще никто в инете не сможет получить с гугла вторую страницу поиска с inurl?
Вот у меня сейчас гугл вторую страницу не показывает, причем с трех абсолютно разных айпишников из разных сеток (не прокси). Может кто-нибудь у себя проверить?

Ну и самый главный вопрос. Как обойти это ограничение?
Использовать &num=100 не выход, т.к. таким способом можно получить только 100 результатов, а если надо 500, 1000?
Сейчас скачал Google API для Perl, правда еще не пробовал его поюзать. Может ли API помочь в этом деле, или такая блокировка и на запросы через API распространяется?


08.08.2005 19:31 ulo

Сейчас сам проверил… точно..
Хотя с домашнего компа я уже на гугле вообще ничего не ищу
Будь среди первых!
Дай народу музыку


08.08.2005 19:42 [b

Сообщение от [b
Цитата[/b] (Strike @ Авг 08 2005,15:08)]Сейчас скачал Google API для Perl, правда еще не пробовал его поюзать. Может ли API помочь в этом деле, или такая блокировка и на запросы через API распространяется?1 можно делать 1000 запросов в сутки с одного аккаунта
2 каждый запрос возвращает не более 10 результатов помоему.
Т.е. чтоб забрать 1000 урл нада сделать 100 запросов

Решается заведением тучи акков на гугле .. + разные IP

ХОТЯ может Inurl скоро и в API гугля обкоцает .. раз такая пьянка
Nikolay N


08.08.2005 19:59 [b

Сообщение от [b
Цитата[/b] (Nikola_N @ Авг 08 2005,15:42)]1 можно делать 1000 запросов в сутки с одного аккаунта
2 каждый запрос возвращает не более 10 результатов помоему.
Т.е. чтоб забрать 1000 урл нада сделать 100 запросов

Решается заведением тучи акков на гугле .. + разные IPВот спасибо!
Ответ как раз от того человека, которому и предназначался этот вопрос!
Так как при том, что у меня гугл результаты не выдает, Гринвудовский сервис упорно продолжает работать, используя все тотже inurl!
Пошел мучать API


08.08.2005 20:56 benzole

Злоебучие гуглёныши. Хотя поиск фрагмента урл без allinurl работает нормально.
Блять, не хотите народу адекватный поиск предоставлять – нахуя вообще на рынок вылезли?! Каждый раз пишут "результатов поиска столько-то". Тыркаешь выдачу – оказывается раза в два-три меньше. Фейк бля. Всё фейк.
gif- , флэш-баннеры. быстро, красиво, недорого. портфолио


08.08.2005 21:00 documentalist

нахуя ваще все эти команды на in
я както и без них себя нормально чувствую


08.08.2005 21:04 documentalist

а блин обкурился
для набора баз ведь она нужна
всё равно можно и без неё жить поживать потихоньку
Так что топикстартер забей нах

или конечно пользоваться сервисами Они покажут 1000 гугловских и ещё с пр


08.08.2005 22:25 [b

Сообщение от [b
Цитата[/b] (benzole @ Авг 08 2005,16:56)]Злоебучие гуглёныши. Хотя поиск фрагмента урл без allinurl работает нормально.
Блять, не хотите народу адекватный поиск предоставлять – нахуя вообще на рынок вылезли?! Каждый раз пишут "результатов поиска столько-то". Тыркаешь выдачу – оказывается раза в два-три меньше. Фейк бля. Всё фейк.Вот и я про то же.
- Есть команда inurl, но пользоваться ей мы никому не разрешаем. На всякий случай. Но команда есть. Очень удобная. Но не разрешаем.
- Вырубите нахер тогда эту команду, если ей пользоваться все равно нельзя!

ЗЫ: пошел скачать Google Web API, вот здесь
www.google.com/apis/download.html
А у них размер файла 666 Кб!
Чур меня, чур, нечистая сила прям


09.08.2005 08:05 benzole,Авг 08 2005,16:56

[QUOTE=[b]Цитата[/b] (Strike @ Авг 08 2005,20:25)] Сообщение от benzole,Авг 08 2005,16:56

ЗЫ: пошел скачать Google Web API, вот здесь
www.google.com/apis/download.htmlВопщем у АПИ тоже есть куча минусов.. выше уже писАли.. я еще добавлю что через апи гугл по одинаковому запросу отдает меньше результатов. например самодельный парсер выгребает 547 урлов по одному запросу, – апи выдает 273 резалта.
Я например, после недолгих размышлений, смотрю позитивно на эти изменения:
-лесом идут школяры шароебы
-нешароебы возьмутся за работу по совершенствованию софта своего
-програмеры заработают денех на более продвинутых собиралках баз
-базы будут цениться поболее
-зубрам пох уже на базы
.
. еще 150 позиций
.

Кстати есть мысля что это временно.. такое уже было на определенные запросы инурл например форумы так нельзя было найти.. время лечит..


09.08.2005 12:02 shango

борются
но кроме гугла есть еще поисковики и в них тоже есть свои запросы


0