Проектирование веб-обходчика

хотя все здесь уже предложили, как создать свой веб-искатель, вот как Google ранжирует страницы.

Google присваивает каждой странице ранг, основанный на количестве ссылок обратного вызова (сколько ссылок на других сайтах указывают на конкретный сайт/страницу). Это называется оценка релевантности. Это основано на том, что если на странице есть много других страниц, связанных с ней, это, вероятно, важная страница.

каждый сайт / страница рассматривается как узел в графике. Ссылки на другие страницы направленные края. Степень вершины определяется как число входящих ребер. Узлы с большим числом входящих ребер ранжируются выше.

вот как определяется PageRank. Предположим, что страница Pj имеет ссылки на ЖЖ. Если одна из этих ссылок относится к странице Pi, то Pj передаст 1/Lj своей важности Pi. Рейтинг важности Pi - это сумма всех вкладов, сделанных страницами, ссылающимися на него. Поэтому, если мы обозначим набор страниц, ссылающихся на Pi по Bi, то у нас есть это формула:

Importance(Pi)= sum( Importance(Pj)/Lj ) for all links from Pi to Bi

ранги помещаются в матрицу, называемую матрицей гиперссылок: H[i, j]

строка в этой матрице равна либо 0, либо 1/Lj, если есть ссылка от Pi до Bi. Другое свойство этой Матрицы заключается в том, что если мы суммируем все строки в столбце, мы получим 1.

теперь нам нужно умножить эту матрицу на собственный вектор, названный I (с собственным значением 1) таким, что:

I = H*I

теперь мы начинаем повторять: IH, IяH, Яяясек .... I^k *H, пока решение не сходится. т. е. мы получаем практически одинаковые числа в матрице на шаге k и k+1.

теперь все, что осталось в векторе I, является важностью каждой страницы.

для простого примера домашнего задания класса см. http://www.math.cornell.edu/~mec/Winter2009/RalucaRemus/Lecture3/lecture3.html

Что касается решения проблемы дублирования в вашем вопросе интервью, сделайте контрольную сумму на всю страницу и использовать либо это, либо Баш контрольной суммы в качестве ключа в карте, чтобы отслеживать посещенные страницы.

зависит от того, насколько глубоким должен был быть их вопрос. Если бы они просто пытались избежать перехода по одним и тем же ссылкам взад и вперед, то хэширования URL-адресов было бы достаточно.

Как насчет контента, который имеет буквально тысячи URL-адресов, которые приводят к одному и тому же контенту? Как параметр QueryString, который ни на что не влияет, но может иметь бесконечное число итераций. Я полагаю, вы также можете хэшировать содержимое страницы и сравнивать URL-адреса, чтобы узнать, являются ли они аналогично содержимому catch, которое идентифицируется несколькими URL-адресами. см., например, ловушки ботов, упомянутые в сообщении @Lirik.

вам нужно будет иметь какую-то хэш-таблицу для хранения результатов, вам просто нужно будет проверить ее перед каждой загрузкой страницы.

проблема здесь заключается в том, чтобы не сканировать дублированные URL-адреса, которые разрешаются индексом с использованием хэша, полученного из URL-адресов. Проблема заключается в обходе дублированного контента. Каждый url "гусеничной ловушки" отличается (год, День, SessionID...).

нет "идеального" решения... но вы можете использовать некоторые из этих стратегий:

• держите поле того уровня, который url находится внутри веб-сайта. Для каждой ячейки получения URL-адресов со страницы увеличьте уровень. Это будет как дерево. Вы можете перестать ползать на определенном уровне, например 10 (я думаю, что google использует это).

• вы можете попробовать создать своего рода хэш, который можно сравнить, чтобы найти похожие документы, так как вы не можете сравнить с каждым документом в вашей базе данных. Есть SimHash от google, но я не смог найти никакой реализации для использования. Тогда я создал свой собственный. Мой хэш подсчитывает низкие и высокочастотные символы внутри html-кода и генерирует хэш 20bytes, который сравнивается с небольшим кэшем последнего обхода страницы внутри AVLTree с поиском NearNeighbors с некоторым допуском (около 2). Вы не можете использовать любую ссылку на расположение символов в этом хэше. После "распознавания" ловушки вы можете записать шаблон url дублированного контента и начать игнорировать страницы с этим тоже.

• Как и google, вы можете создать рейтинг для каждого веб-сайта и "доверять" больше, чем другим.

искатель сохраняет пул URL-адресов, содержащий все URL-адреса для обхода. Чтобы избежать "бесконечного цикла", основная идея состоит в том, чтобы проверить существование каждого URL-адреса перед добавлением в пул.

однако это нелегко реализовать, когда система масштабируется до определенного уровня. Наивный подход заключается в сохранении всех URL-адресов в хэш-наборе и проверке существования каждого нового URL-адреса. Это не будет работать, когда есть слишком много URL-адресов, чтобы вписаться в память.

есть несколько решений здесь. Например, вместо того, чтобы хранить все URL-адреса в памяти, мы должны хранить их на диске. Для того чтобы сохранить космос, URL-адрес хэш должен быть использован вместо исходный URL-адрес. Стоит также отметить, что мы должны сохранить каноническую форму URL, а не оригинал. Так что, если URL-адрес является укороченным на услуги, такие как bit.лы, это лучше, чтобы получить конечный URL. Для ускорения процесса проверки можно построить слой кэша. Или вы можете видеть его как распределенную систему кэша, которая является отдельной тема.

пост построить веб-Искатель есть подробный анализ этой проблемы.

ну, веб-это в основном ориентированный граф, поэтому вы можете построить график из URL-адресов, а затем выполнить обход BFS или DFS, отмечая посещенные узлы, чтобы вы не посещали одну и ту же страницу дважды.

Это пример веб-краулер. Который может быть использован для сбора mac-адресов для подмены mac.

#!/usr/bin/env python

import sys
import os
import urlparse
import urllib
from bs4 import BeautifulSoup

def mac_addr_str(f_data):
global fptr
global mac_list
word_array = f_data.split(" ")

    for word in word_array:
        if len(word) == 17 and ':' in word[2] and ':' in word[5] and ':' in word[8] and ':' in word[11] and ':' in word[14]:
            if word not in mac_list:
                mac_list.append(word)
                fptr.writelines(word +"\n")
                print word



url = "http://stackoverflow.com/questions/tagged/mac-address"

url_list = [url]
visited = [url]
pwd = os.getcwd();
pwd = pwd + "/internet_mac.txt";

fptr = open(pwd, "a")
mac_list = []

while len(url_list) > 0:
    try:
        htmltext = urllib.urlopen(url_list[0]).read()
    except:
        url_list[0]
    mac_addr_str(htmltext)
    soup = BeautifulSoup(htmltext)
    url_list.pop(0)
    for tag in soup.findAll('a',href=True):
        tag['href'] = urlparse.urljoin(url,tag['href'])
        if url in tag['href'] and tag['href'] not in visited:
            url_list.append(tag['href'])
            visited.append(tag['href'])

измените url для обхода других сайтов......удачи