robots.txt
При копании через роботов Google.файл txt я заметил строку, с которой не был знаком. Что означает приведенный ниже код в контексте робота.txt файл? Allow: /$ Меняет ли " $ " значение любого из просто говорящих Allow: / ...
Для веб-сайта индексный файл карты моего сайта и все карты моего сайта являются gzipped и имеют следующие имена (SiteMapIndex.XML.gz, SiteMap1.XML.gz, SiteMap2.XML.ГЗ), должны роботы.txt-файл и SiteMapIndex.XML-файл содержит ссылки на архивный файл или архивный файл? Пример - Должны роботы.содержимое txt выг...
У меня есть следующее .файл htaccess в корне: Options +FollowSymlinks RewriteEngine on RewriteBase / RewriteRule ^(.*)/(?.*)?$ $1$2 [R=301,L] RewriteRule ^([^/]*)$ index.php?page=$1 [NC] Это работает как должно для сокращения всех моих URL-адресов до website.com/something Проблема в том, что Google не мо...
Я пишу гусеничный движитель и для этого внедряю роботов.txt parser, я использую стандартный lib роботпарсер. Похоже, чтоrobotparser неразбирает правильно, я отлаживаю свой искатель с помощью роботов Google .txt . (следующие примеры взяты из IPython) In [1]: import robotparser In [2]: x = robotparser.R...
Я хочу разрешить только один файл каталога /minsc, но я хотел бы запретить остальную часть каталога. Теперь о роботах.txt это: User-agent: * Crawl-delay: 10 # Directories Disallow: /minsc/ Файл, который я хочу разрешить, это /minsc/menu-leaf.png Я боюсь причинить вред, поэтому не знаю, должен ли я исп...
Каким-то образом виртуальные роботы.txt блокирует сайт http://www.domda.se из Google search. Я не хочу, чтобы это случилось. Сайт сделан с Wordpress и открыт для поисковых систем в настройках целостности (естественно;) Я пробовал: Включение и выключение настройки конфиденциальности/разрешения поисково...
Получено предупреждение поисковой консоли aGoogle - "Googlebot не может получить доступ к CSS и JS" Шахтные роботы.txt User-agent: * Disallow: /_System Disallow: /bcas-homepage-slider Disallow: /css Disallow: /fonts Disallow: /images Disallow: /js Disallow: /Layouts Disallow: /Medigap logos Disallow: /PO...
Если у меня есть эти строки в роботах.txt: Disallow /folder/ Allow /folder/filename.php Будет имя файла.значит, РНР разрешат? Того, что делает Google приоритет строк? Что произойдет здесь, например?: Allow / Disallow / Я в основном имею в виду Google как поисковую систему. Спасибо ...
Я использую Github для хранения текста одного из моих веб-сайтов, но проблема в том, что Google индексирует текст в Github. Таким образом, один и тот же текст будет отображаться как на моем сайте, так и на Github. например,поиска главный хит-это мой сайт. Второй хит-это репозиторий Github. Я не возражаю, есл...