Может ли google сканировать 301 страницу?

Возможно ли для google или любого другого искателя выполнить обход и индексирование страницы, которая возвращает код состояния 301?

Я видел страницу в google, у которой был 301 в течение нескольких месяцев. Однако дата кэширования этой страницы в индексе - несколько дней назад.

Может ли google просто игнорировать 301 и сканировать содержимое страницы?

5 7
php http-status-code-301

5 ответов:

Google всегда обходит цель перенаправления, HTTP 301 не является исключением. Однако не смог найти лучшего источника, чем дискуссионный пост одного сотрудника. документация Google Search Appliance говорит то же самое, и я не вижу, почему GSA и GoogleBot должны обрабатывать перенаправления по-разному.

3

Обычно Google обходит страницу, на которую перенаправлен. Два возможных объяснения для сайта, который вы видели:

  • сайт просто показал 301 сообщение вместо того, чтобы правильно возвращать HTTP-заголовки.
  • Сайт перенаправлен на другой 301, который перенаправлен на другой 301,...

Смотрите это видео на Youtube .

6

Google всегда посещает URL-адреса, независимо от того, какой код ответа вы возвращаете. Они делают это на случай, если URL-адрес когда-нибудь вернется к жизни с реальным контентом.

301-это лучший ответ. В конечном итоге Google удалит эти URL-адреса из SERPs. Не форсируйте более быстрое падение, если вы не хотите, чтобы на вашем сайте было меньше посетителей в течение следующих трех-шести месяцев.

2

По словам Мэтта Каттса, главы команды webspam, люди использовали 301-е для злоупотребления рейтингами, перенаправляя кучу доменов на новый, и таким образом Google улучшил то, как они обрабатывают 301 страницу. Допустим, вы перешли на новый домен и перенесли все свои страницы со старого домена на соответствующие страницы в новом домене. В этом случае Google постепенно выведет старый домен из индекса и введет новый.

То, что вы говорите, - редкость, и если вы беспокоитесь об этом, вы можете сообщить об этом Google через форумы веб-мастеров Google. Они довольно быстро справляются с подобными вещами, как только это привлекает чье-то внимание. Однако может быть причина, по которой страница в конечном итоге удаляет 301, а затем возвращает его обратно. Или это может быть то, что 301 не показан Google Bot.

2

Вы можете использовать инструмент google webmaster: https://www.google.com/webmasters/tools/home

Существует инструмент robots-analysis, с помощью которого вы можете проверить url-адрес вашего домена и посмотреть, выполняется ли обход 301 перенаправленной страницы;)

2