Февраль
1

GoogleBot HTML и DHTML

14.04.2007 19:38 mavook

66.249.66.37 – - [13/Apr/2007:04:12:44 -0700] "GET /z1-index.html HTTP/1.1" 200
21847 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +www.google.com/bot.ht
ml)"
66.249.66.37 – - [13/Apr/2007:04:18:43 -0700] "GET /z1-index.dhtml HTTP/1.1" 200
17322 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +www.google.com/bot.h
tml)"

Дернул неплохо немного dhtml страниц,
но входящих ссылок на страницу в формате dhtml небыло, это я так понимаю его самодеятельность? чем может грозить и было ли у кого то такое? у меня оттдает 200 код и паги причем почему то с разными размерами. Чекает динамику???
Возможно апач хандлерс надо смотреть конечно но явно не хорошо то что сейчас наблюдается.
Отличный хостинг под белые проекты,США, вменяемый саппорт


14.04.2007 19:44 mavook

пофиксил на html = dhtml через htaccess оттдает одинаковые файлы, но вопрос, ето замена /sadfjksadjjjjdsaiek.html ?
Отличный хостинг под белые проекты,США, вменяемый саппорт


14.04.2007 22:42 O.R.Z.

Переношу.


14.04.2007 22:54 chaoz

ip его, но такой шняги не встречал. суть не догнал если честно.


14.04.2007 22:56 chaoz

ты с .htaccess напутал?


14.04.2007 22:59 chaoz

наверно он тебя ловит(не хочет чтоб его так грузили динамично, вот и втыкает у меня много такой шняги)


15.04.2007 08:23 mavook

да я тоже думаю что ловит т.к. нигде небыло ссылок на .dhtml паги
а апач обрабатывает dhtml как html. и как замечено оттдает дорген разные паги с разным контентом.
Отличный хостинг под белые проекты,США, вменяемый саппорт


15.04.2007 08:44 mavook

решил вобще ему Forbidden оттдавать
прочитал на вебмастерворлд что правильнее для поисковиков [F] оттдавать, а не [G] решение для [R=404] так и ненашел
Отличный хостинг под белые проекты,США, вменяемый саппорт


15.04.2007 10:12 [b

Сообщение от [b
Цитата[/b] (mavook @ Апр 15 2007,03:44)]решил вобще ему Forbidden оттдаватьЕсли будешь ему Forbidden отдавать – будет дергать до конца жизни.
Правильнее всего отдавать 404 + robots.txt (спецальный, только для ботов) . Месяца три – четыре подергает и потихоньку отстанет ( правда не на 100% ), но нагрузка на сервере уменьшится.
А то, что он у тебя дергает файлы, на которые нет ссылок, ничего удивительного..
У тебя в броузере стоит googletoolbar? Ты сам посещал (чтобы протестить) этот url посредством Мозиллы ?
Плюс ко всему я заметил, что боты не всегда ограничиваются тем, чем их кормишь. Я даю им урл НТТР://domen.com/catalog
- а он тянет вот что:
1) /catalog
2) /catalog/
3) /catalog/index.htm
4) /catalog/index.html
….
10) /catalog/index.php
11) /catalog/nonexist_XXX_XXX.html

Так, что причин может быть много
Для заработка PPC совсем не обязательно иметь свой сервер…
ppc.findtrust.com/ru


15.04.2007 15:53 mavook

404 реврайтрулом не решил проблему.
ФОрбидден мне показался более правильным чем 410 Gone
гуглтулбара нигде не стоит ни в ие ни в мозилле
да вот странно – подумалось dhtml новая идея супротив ajdsfkjladsfksd.html когда он дергал
Отличный хостинг под белые проекты,США, вменяемый саппорт


0