Как остановить индексацию Google моего репозитория Github

Я использую Github для хранения текста одного из моих веб-сайтов, но проблема в том, что Google индексирует текст в Github. Таким образом, один и тот же текст будет отображаться как на моем сайте, так и на Github. например,поиска главный хит-это мой сайт. Второй хит-это репозиторий Github.

Я не возражаю, если люди видят источники, но я не хочу, чтобы Google индексировал его (и, возможно, наказывал за дублирование контента.) Есть ли какой-либо способ, кроме того, что хранилище закрыто, чтобы сообщить Google чтобы перестать индексировать его?

Что происходит в случае Страницы Github? Это сайты, где источник находится в репозитории Github. Есть ли у них такая же проблема дублирования?

взять поиска самый верхний хит приводит к сайт Марпа но я не вижу источник указан в результатах поиска. Как?

4 53
github robots.txt

4 ответа:

The https://github.com/robots.txt файл GitHub позволяет индексировать большие двоичные объекты в ветви 'master', но ограничивает все остальные ветви. Поэтому, если у вас нет "главной" ветви, Google не должен индексировать ваши страницы.

Как удалить ветку' master':

в вашем клоне создайте новую ветку-назовем ее 'main' и подтолкнем ее к GitHub

git checkout -b main
git push -u origin main

на GitHub изменить ветку по умолчанию (см. В разделе Настройки вашего хранилище) или здесь https://github.com/blog/421-pick-your-default-branch

затем удалите главную ветвь из вашего клона и из GitHub:

git branch -d master
git push origin :master

попросите других людей, которые, возможно, уже разветвили ваш репозиторий, сделать то же самое.

кроме того, если вы хотите финансово поддержать GitHub, вы можете пойти в частный https://help.github.com/articles/making-a-public-repository-private

67

Если вы хотите придерживаться главной ветви, кажется, что нет никакого способа использовать частное РЕПО (и продавать свою учетную запись GitHub) или использовать другую службу, которая предлагает частные РЕПО бесплатно, например Bitbucket.

0

простой ответ: сделайте свое РЕПО частным.

https://help.github.com/articles/making-a-public-repository-private

0

короткий awnser. Да вы можете с роботами.формат txt.

Если вы хотите запретить сканирование контента на вашем сайте, у вас есть несколько вариантов, в том числе с использованием роботов.txt для блокировки доступа к файлам и каталогам на вашем сервере.

вам нужны роботы.txt-файл только в том случае, если ваш сайт содержит контент, который вы не хотите индексировать поисковыми системами. Если вы хотите, чтобы поисковые системы индексировали все на вашем сайте, вам не нужны роботы.txt файл (даже пустой один.)

пока Google не будет сканировать или индексировать содержимое страниц, заблокированных роботами.txt, мы все еще можем индексировать URL-адреса, если мы найдем их на других страницах в интернете. В результате URL-адрес страницы и, возможно, другая общедоступная информация, такая как якорный текст в ссылках на сайт или заголовок из проекта Open Directory (www.dmoz.org), может появиться в поиске Google результаты.

источники:

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=93708 http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449

-5