Форма запроса разрешения Facebook для обхода?
Некоторое время я гуглил, но, похоже, я использую неправильный набор ключевых слов. Кто-нибудь знает этот URI, который позволяет мне запрашивать разрешение у Facebook, чтобы я мог сканировать их сеть? В прошлый раз, когда я использовал Python для этого, кто-то предложил мне посмотреть на него, но я не смог найти этот пост.
2 ответа:
Удивительно, но это дано в их роботах.формат txt.
Ссылка, которую вы ищете, это:
Http://www.facebook.com/apps/site_scraping_tos.php
Если вы еще не огромная организация, не ожидайте, что там будет явно белый список. Если вы не находитесь в явном белом списке, вам вообще не разрешается ползать, согласно роботам.txt и TOS. Вместо этого вы должны использовать API.
Даже не думай притворяться одним из них. краулеры из белого списка. Facebook фильтрует по белому списку IP для каждого искателя и все остальное, что выглядит как обход, получает мгновенный пермабан. В течение некоторого времени пользователи, которые просто нажимали слишком быстро, иногда могли столкнуться с этим.
Так как это сообщество с логином и паролем, я не уверен, насколько оно юридически способно к обходу. Если вы видите, что даже Google индексирует только страницы профиля пользователя. Но не их посты на стенах или фотографии и т. д.
Я бы предложил вам опубликовать этот вопрос на форуме Facebook. Но вы можете проверить это здесь -