Микророботы.txt блокирует сайт wordpress от google


Каким-то образом виртуальные роботы.txt блокирует сайт http://www.domda.se из Google search. Я не хочу, чтобы это случилось.

Сайт сделан с Wordpress и открыт для поисковых систем в настройках целостности (естественно;)

Я пробовал:

  • Включение и выключение настройки конфиденциальности/разрешения поисковой системы.

  • Выключение всех плагинов.

  • Добавление полностью разрешающих роботов.txt в корень справочник.

  • Использование плагина робота для записи того, что должно быть в роботах.txt

  • Измените тему на Twentyeleven и обратно

  • Сброс папки плагина с ftp

Теперь я задаюсь вопросом, Может ли кто-то помочь мне, потому что мои знания php настолько низки, что заставляют меня краснеть. Сейчас я думаю о том, как решить эту проблему, изучая функции.РНР.

Робот, выполняющий код в wp-includes/functions.РНР говорит:

function do_robots() {
    header( 'Content-Type: text/plain; charset=utf-8' );

    do_action( 'do_robotstxt' );

    $output = "User-agent: *n";
    $public = get_option( 'blog_public' );
    if ( '0' == $public ) {
        $output .= "Disallow: /n";
    } else {
        $site_url = parse_url( site_url() );
        $path = ( !empty( $site_url['path'] ) ) ? $site_url['path'] : '';
        $output .= "Disallow: $path/wp-admin/n";
        $output .= "Disallow: $path/wp-includes/n";
    }

    echo apply_filters('robots_txt', $output, $public);
}

Может быть, этот код полностью в порядке. А ко мне добавились настоящие роботы.txt отменил бы виртуальный, но я действительно не знаю, что делать.

Я надеюсь, что кто-нибудь сможет помочь.
1 2

1 ответ:

Я думаю, что вам нужно сначала посмотреть, является ли вступительное заявление полностью истинным.

Вы можете просматривать своих роботов.txt непосредственно в веб-браузере.

Если вы посетите http://www.domda.se/robots.txt , Вы получаете

User-agent: *

Запретить: /wpsystem / wp-admin /

Запретить: /wpsystem / wp-includes/

Который блокирует всех роботов из файлов wpsystem.

Он не блокирует Google с основного сайта.

Однако поиск в Google для site:http://www.domda.se тянет вверх

Описание этого результата недоступно из-за роботов этого сайта.txt-узнать больше

Поскольку вы внесли много изменений, кажется вероятным, что у вас были роботы.txt, который заблокировал Google, и теперь вы этого не делаете.

Весь смысл роботов.txt-это то, что это информация для webcrawlers. Они регулярно проверяют сайты, причем некоторые сайты проверяют чаще, чем другие. Это может быть некоторое время до того, как ваш сайт повторно посещается роботом Google, и еще один период времени, прежде чем страницы, которые вы посетили, появятся в поиске Google.

Вы должны использовать инструменты Google Webmaster (это бесплатно), чтобы пролить больше света на эту тему и дать Google толчок.