Февраль
1

Как ведет себя гугл при таком robots.txt

15.08.2005 12:09 Lab

вот сам файл:

User-agent: *
Disallow: /
Allow: /rss

получается, что гуглбот не ходит никуда, кроме rss, а берет ли он линки из rss?
А вы знаете, что ….


15.08.2005 12:24 uncopyrightable

Все боты проигнорируют данный robots.txt как неправильный.
Учи матчасть: www.robotstxt.org/wc/norobots.html
Если вы хотите, чтобы Бог рассмеялся, расскажите ему о своих планах


15.08.2005 13:35 Lab

дело не в матчасти, это реальный файл с одного ресурса. у него ПР8 и я подумываю получить на нем ссылку.. и не могу понять, работает или нет. в индексе этот ресурс есть, но только title без сниппетов
А вы знаете, что ….


15.08.2005 14:17 _Digger

гы

успех ресурса с пр8 в его админе-нашакуре


16.08.2005 05:01 kysil

Бот вообще на этот ресурс не ходит!


16.08.2005 05:56 Lab

если бы бот на ресурс не ходил – то не было бы страниц в индексе, а так на запрос siteomen.com есть выдача в несколько десятков тыщ страниц. но только тайтлы без сниппетов
А вы знаете, что ….


0