Микророботы.приоритетный вопрос txt

Если у меня есть эти строки в роботах.txt: 

Disallow /folder/
Allow /folder/filename.php

Будет имя файла.значит, РНР разрешат?

Того, что делает Google приоритет строк?

Что произойдет здесь, например?:

Allow /
Disallow /

Я в основном имею в виду Google как поисковую систему.

Спасибо

2 4
html php search robots.txt

2 ответа:

Для вашего первого примера, да, файл /folder/filename.php будет разрешен, так как Google будет определять приоритет наиболее конкретного правила. Смотрите здесь или Проверьте статью Википедии, например, для получения более подробной информации.

Кроме того, Google имеет подробную документацию о том, как он использует robots.txt над здесь.

Edit: во втором примере Allow будет иметь приоритет в соответствии с цитатой из Википедии Байрона Уитлока, опубликованной в его ответе.

5

Это зависит от поисковой системы:

В то время как при стандартной реализации первые соответствующие роботы.шаблон txt всегда выигрывает реализация Google отличается тем, что допускает паттерны с равные или более символов в директивная победа пути над совпадением Запретить шаблон. Бинг использует Разрешить или запретить директиву, которая является самая конкретная.

Для того, чтобы быть совместимым со всеми роботы, если кто-то хочет позволить одиноким файлы внутри иначе отвергнутый каталог, надо разместить сначала директива (ы) Allow, затем Кстати, о запрете.

Http://en.wikipedia.org/wiki/Robots_exclusion_standard

2