Что означает "разрешить: / $" в роботах.формат txt

При копании через роботов Google.файл txt я заметил строку, с которой не был знаком.

Что означает приведенный ниже код в контексте робота.txt файл?

Allow: /$

Меняет ли " $ " значение любого из просто говорящих 

Allow: /
2 3
web-crawler robots.txt

2 ответа:

Согласно SearchEngineLand ..

Вы можете сопоставить конец строки, используя знак доллара ($). Например, блокировать URL-адреса, которые заканчиваются на .asp:

Агент пользователя: Googlebot
Запрещать: /*.asp$

Похоже, что он действует немного как регулярное выражение.

2

Некоторые роботы понимают, что такое сопоставление шаблонов. $ используется в регулярных выражениях для обозначения конца строки. Поэтому это правило должно позволять /, но не /foo.

У меня нет источника для роботов.хотя txt особенный.

0