Февраль
1

Гугл нас посчитал...

14.10.2005 07:47 Grinder

Долгожданный результат недавнего взбесившегося поведения гугла не заставил себя долго ждать… Имеется в виду когда mozilla goglebot выжирал все подряд.

с 08 сентября трафик на группе дорвев вырос примерно в 10 раз – 40-50К в сутки против обычных 3-5К в сутки. Так продолжалось до 13 октября – в это день гугл забанил все домены кластера.

Хорошо или плохо то что случилось я даже не знаю… За месяц было получено трафика столько, сколько эти домены зарабатывали бы год. По крайней мере, предыдущие 4 месяца они показывали стабильный трафик 3-4К в сутки не падали и не росли…

Есть еще одна интересность: одна из тачек не справлялась во время приходов гугла, и в целях эксперимента гугл-мозилла отсекался с помощь robots.txt на 20 доменах… Так вот эти домены пока живы и продолжают приносить трафик. Причем, на них так же наблюдался 10-ти кратный скачек трафика.

Это голые факты, а выводы делайте сами

Вопрос: в течение последнего месяца кто-то пострадал подобным образом?

/grin


14.10.2005 08:04 sprat

Домены кластера: NS/Whois у них были разные, IP рядом или все из разных блоков, перелинкованы ли были?

Или ты хочешь сказать, что мозилла-гуглбот может вычислять доры из одного кластера если они вообще никак не связаны (ns/whois/ip/link/content)?

А то что мозилла-гугльбот для аналитических целей, это подтверждается все больше и больше.


14.10.2005 08:44 [b

Сообщение от [b
Цитата[/b] (sprat @ Окт 14 2005,04:04)]Домены кластера: NS/Whois у них были разные, IP рядом или все из разных блоков, перелинкованы ли были?

Или ты хочешь сказать, что мозилла-гуглбот может вычислять доры из одного кластера если они вообще никак не связаны (ns/whois/ip/link/content)?

А то что мозилла-гугльбот для аналитических целей, это подтверждается все больше и больше.ns/whois у регистратора – один и тот же
ip – рядом в четырех разных с-шках, по одному домену на ip.
перелинкованы были только субдомены в рамках домена.

Да, я думаю, что мозилла-гугльбот как раз и предназначен для вычисления кластеров. С другой стороны, страницы, которые были проиндексированы только мозиллой тоже попали в индекс и давали трафик, так что это палка о двух концах, по всей видимости…

/grin


14.10.2005 11:39 jonn22

У меня буквально на днях побанили несколько десятков доменов. Насчет статистики ботов незнаю, несмотрю
Софт для работы + 25 процентов с заказа (Партнерка).


14.10.2005 14:54 SID

мозила засранец однозначно, уже начинает раздражать – как придет, так дорога в бан
Уникальная возможность приобщиться к святым строчкам php кода старца SIDа :) быстро и дешево скрипты, многопоточные парсеры и пр. icq 644два64947 OR elder.sid@гугл OR в личку


14.10.2005 15:09 [b

2Grinder
Сообщение от [b
Цитата[/b] ] гугл-мозилла отсекался с помощь robots.txtт.е. вообще для гугла закрыто было? или именно гугл-мозилла? если последнее, то это как выглядело?
типа:
User-agent: Mozilla/5.0 (compatible; Googlebot/2.1;+www.google.com/bot.html) ?


14.10.2005 15:57 mcn

угу, воще мозилла отдельно,обычнный гугл бот отдельно ходют, хотя связь между ними наверное есть. Например вот у меня была такая ситуация: Был фид, на него в течении 2х месяцев ходил просто гуглбот, было около 200-300 страниц в индексе, потом пришёл мозилла-гуглбот и за 2 дня сожрал 30к страниц(все related , popular searches хватал),вывалил их в выдачу и потом мистически исчез больше на том домене он не появлялся.
UmaxSearch – $$$Cash$$$? Go Get It!
E v o P l u s – Buy A+ Traffic Here!


14.10.2005 16:43 sprat

Grinder, а сколько субдоменов на каждом домене было?
Вероятно мозилла-гуглбот подсчитал количество субдоменов на домене и бан за большое количество.
Там где ты его забанил, он не смог посчитать. :)
Whois/dns маловероятно.


14.10.2005 17:05 netzoner

User-agent: Mozilla/5.0 (compatible; Googlebot/2.1;+www.google.com/bot.html)

бля это же юзерагент моего браузера, с которым я серфю…
Сервера в Европе под adult, warez, torrents, replica, pharmacy.
Сервера с Gigabit Metered & Unmetered Gigabit. Детали в icq: 1619-741-77.


15.10.2005 08:20 [b

Сообщение от [b
Цитата[/b] (sprat @ Окт 14 2005,12:43)]Grinder, а сколько субдоменов на каждом домене было?
Вероятно мозилла-гуглбот подсчитал количество субдоменов на домене и бан за большое количество.
Там где ты его забанил, он не смог посчитать.
Whois/dns маловероятно.возможно что из-за большого кол-ва субдоменов. их было от 100 до 10 000 – в зависимости от.

Думаю, что сработала группа факторов:
- большое количество субдоменов
- дорвеи спамились через группу собственных сайтов, которые тоже вылетели из индекса (считай древовидная перелинковка)
- домены находились в четырех с-шках
- до глобального бана имел место выборочный бан доменов, где-то 30% было выкошено – вероятно тоже фактор.

Сейчас посмотрел – на доменах, которые находяятся в тех же сетях, но не участвовали в перелинковке трафик остался. Так же остался трафик на доменах, на которые мозилла гуглбот не допускался, но в перелинковке участвовали, и были доступны простому гуглботу…

Так что, друзья мои, это на 99% просчитанная МОЗИЛЛОЙ древовидная перелинковка.

/grin


0