Как поисковые системы находят релевантный контент?

сложно, но я возьму удар:

изображение (если применимо)

• первое изображение на странице
• изображение с именем, которое включает буквы "логотип"
• изображение, которое отображается ближе всего к верхнему левому (или верхнему правому)
• изображение, которое чаще всего появляется на других страницах сайта
• изображение меньше, чем некоторые максимальными размерами

В

• содержимое тега заголовка
• содержимое тега описания мета-контента
• содержимое первого тега h1
• содержимое первого тега p

ключевые слова, которые будут использоваться для нашей поисковой системы, (стиль переполнения стека)

• подстрока доменного имени
• подстрока url
• подстрока заголовка тег
• близость между термином и самое распространенное слово на странице и в верхней части страницы

ключевые слова метаданных, описание, Все изображения, журнал изменений (для целей модерации и администрирования)

• Ак! кляп! синтаксическая ошибка.

Я не работаю в Google, но около года назад я прочитал, что у них было более 200 факторов для ранжирования результатов поиска. Конечно, самый высокий рейтинг будет релевантным, поэтому ваш вопрос довольно интересен в этом смысле.

Что такое релевантность и как ее вычислить? Есть несколько алгоритмов, и я уверен, что у Google есть свои собственные, но те, о которых я знаю,Корреляции Пирсона и Евклидово Расстояние.

хорошая книга, которую я бы предложил по этому поводу тема (не обязательно поисковые системы) составляет Программирование Коллективного Разума Тоби Сегаран (О'Рейли). Несколько примеров из книги показывают, как извлекать данные из сторонних веб-сайтов с помощью API или очистки экрана и находить похожие записи, что довольно приятно.

в любом случае, вернемся к Google. Другие методы релевантности, конечно, полнотекстовый поиск, и вы можете получить хорошую книгу по MySQL или Sphinx, если на то пошло. Предложенный @Chaoley был TSEP, который также довольно интересный.

но на самом деле, я знаю людей из русской поисковой системы под названием яндекс здесь, и все, что они делают, находится под NDA, поэтому я думаю, вы можете приблизиться, но вы не можете стать совершенным, если вы не работаете в Google ;)

Ура.

фактически отвечая на ваш вопрос (а не только в целом о поисковых системах):

Я считаю, что немного похожий на Instapaper будет лучшим вариантом.

логика instapaper (я не создавал его, поэтому я, конечно, не знаю внутренней работы, но довольно легко предсказать, как это работает):

1. найти самую большую кучу текста в текстовых элементах (опираясь на теги абзацев, в то время как очень элегантный, не будет работать с теми дерьмовыми сайтами, которые используют div вместо p). В принципе, вам нужно найти хороший баланс между элементами блока (divs, ps и т. д.) и объем текста. Придумайте некоторый порог: если X количество слов остается неразделенным разметкой, этот текст принадлежит основному тексту. Затем разверните на братьев и сестер, сохраняя порог текста / разметки какого-то рода.

2. Как только вы сделаете самую трудную часть - найдите, какой текст принадлежит фактической статье - это становится довольно легко. Вы можете найти первое изображение вокруг этого текста и используйте его как миниатюру. Таким образом, вы избежите рекламы, потому что они не будут так близки к разметке основного текста.

3. наконец, придумывание ключевых слов-это забавная часть. Вы можете делать тонны вещей: упорядочивать слова по частоте, удалять шум (ands, ors и т. д.), и у вас есть что-то хорошее. Смешайте это с "видным коротким текстовым элементом над обнаруженной текстовой областью тела" (т. е. заголовком вашей статьи), заголовком страницы, метой, и у вас есть что-то красивое вкусный.

все эти идеи, если они будут реализованы должным образом, будут очень пуленепробиваемыми, потому что они не полагаются на семантическую разметку-делая ваш код сложным, вы гарантируете, что даже очень небрежно закодированные веб - сайты будут обнаружены правильно.

конечно, это связано с недостатком низкой производительности, но я думаю, что это не должно быть так плохо.

совет: для крупномасштабных веб-сайтов, на которые люди ссылаются очень часто, вы можете установить HTML-элемент, содержащий тело текст (который я описывал в пункте № 1) вручную. Это обеспечит правильность и ускорит процесс.

надеюсь, это немного поможет.

есть много очень сложных алгоритмов для извлечения соответствующего контента из супа тегов. Если вы хотите построить что-то полезное для себя, вы можете взглянуть на исходный код для читабельности и перенесите его на php. Я сделал что-то подобное недавно (не могу поделиться кодом, к сожалению).

основная логика читаемости состоит в том, чтобы найти все теги уровня блока и подсчитать длину текста в них, не считая детей. Затем каждый родитель узлу присваивается фрагмент (половина) веса каждого из его потомков. Это используется для финансирования самого большого тега уровня блока, который имеет самый большой объем обычного текста. Отсюда содержимое дополнительно очищается.

это ни в коем случае не пуленепробиваемый, но он хорошо работает в большинстве случаев.

большинство поисковых систем ищут заголовок и мета-описание в заголовке документа, затем заголовок один и текстовое содержимое в теле. Также рассматриваются теги alt изображений и заголовки ссылок. В последний раз я читал, что Yahoo использует тег ключевого слова meta, но большинство из них этого не делают.

вы можете скачать файлы с открытым исходным кодом из проекта поисковой системы (TSEP) на Sourceforge https://sourceforge.net/projects/tsep/ и посмотрите, как они это делают.

Я бы просто схватил первый "абзац" текста. То, как большинство людей пишут истории/проблемы/то, что они сначала заявляют самое важное, а затем разрабатывают. Если вы посмотрите на любой случайный текст, и вы можете видеть это имеет смысл большую часть времени.

например, вы делаете это сами в своем первоначальном вопросе. Если взять первые три предложения из вашего первоначального вопроса, у вас есть довольно хорошее резюме того, что вы пытаетесь сделать.

и, я только что сделал это себя тоже: суть моего комментария кратко изложена в первом абзаце. Остальное-просто примеры и разработки. Если вы не уверены, взгляните на aнесколькопоследниестатьи Я полу-случайно выбрал из Google News. Хорошо, что последний не был полу-случайным, я признаю;)

в любом случае, я думаю, что это очень простой подход, который работает большую часть времени. Вы всегда можете посмотреть на мета-описания, заголовки и ключевые слова, но если их там нет, это может быть вариант.

надеюсь, что это помогает.

Я бы рассмотрел эти построения кода

• проверить синонимы и акронимов
• применение OCR на изображениях для поиска в виде текста(Abby Fine Reader и Recostar хороши,Тессеракт свободно и хорошо(не так хорошо как прекрасный читатель :) )
• вес шрифтов, а также(размер, смелость, подчеркивание, цвет)
• вес содержимого в зависимости от его места на странице(например, содержимое на верхней стороне страницы больше уместно)

также:

• дополнительный текст, запрошенный у веб-мастера, чтобы определить страницу

вы также можете проверить, если вы можете найти что-нибудь полезное в Google search API:http://code.google.com/intl/tr/apis/ajaxsearch/

Я столкнулся с той же проблемой прямо сейчас, и после некоторых попыток я нашел что-то, что работает для создания фрагмента веб-страницы (должно быть настроено):

• возьмите все html
• удалите теги скриптов и стилей внутри тела с их содержимым (важно)
• удалить лишние пробелы, табуляции, новые строки.
• Теперь перейдите через DOM, чтобы поймать div, p, article, td (другие?) и для каждого . взять HTML-код текущего элемента . взять текстовую версию элемента . присвойте этому элементу оценку: длина текста * длина текста / длина html
• Теперь отсортируйте все баллы, возьмите самый большой.

Это быстрый (и грязный) способ идентификации длинных текстов с относительно низким балансом разметки, как то, что происходит в обычном содержании. В моих тестах это кажется действительно хорошим. Просто добавьте воды ;)

в дополнение к этому вы можете искать" og: "мета-теги, название и описание, h1 и много других второстепенных приемов.

Google для "веб-искателей, роботов, пауков и интеллектуальных агентов" может попробовать их отдельно, а также получить индивидуальные результаты.

• Web Crawler
• User-Agents
• боты
• Очистка Данных/Экрана

то, что я думаю, что вы ищете, это соскабливание экрана (с DOM), которое стек имеет тонну вопросов и ответов on.

Google также использует систему под названием Page Rank, где он проверяет, сколько ссылок на сайт есть. Предположим, что вы ищете учебник по C++, и вы ищете его в Google. Вы найдете один из лучших результатов, и это отличный учебник. Google знает это, потому что он искал в своем кэше в интернете и видел, что все ссылаются на этот учебник, разглагольствуя, насколько это хорошо. Google обманывает, что это хороший учебник, и ставит его в качестве верхнего результата.

Это на самом деле делает это, поскольку он кэширует все, давая каждой странице рейтинг страницы, как было сказано ранее, на основе ссылок на него.

надеюсь, что это помогает!

чтобы ответить на один из ваших вопросов, я сейчас читаю следующую книгу, и я рекомендую ее: PageRank Google и за его пределами, Эми Langville и Карл Майер.

мягко говоря математическим. Использует некоторую линейную алгебру в контексте теории графов, собственный анализ, марковские модели и т. д. Мне понравились части, которые говорят об итерационных методах решения линейных уравнений. Я понятия не имел, что Google использует эти итерационные методы.

небольшая книга, всего 200 страниц. Содержит "азиды", которые расходятся с основным потоком текста, плюс историческую перспективу. Также указывает на другие последние системы ранжирования.

здесь есть несколько хороших ответов, но похоже, что они не отвечают на ваш вопрос. Может быть, это и так.

то, что вы ищете, называется поиск информации

он обычно использует мешок слов model

скажем, у вас есть два документа:

DOCUMENT A  
Seize the time, Meribor. Live now; make now always the most precious time. Now will never come again

и этот

DOCUMENT B  
Worf, it was what it was glorious and wonderful and all that, but it doesn't mean anything

и у вас есть запрос, или то, что вы хотите, чтобы найти другие соответствующие документы

QUERY aka DOCUMENT C
precious wonderful life

в любом случае, как вы рассчитать наиболее "релевантный" из двух документов? Вот как:

1. маркировать каждый документ (разбить на слова, удалив все не буквы)
2. в нижнем регистре все
3. удалить стоп-слова (и т. д.)
4. рассмотрим стемминг (удаление суффикса, см. Porter или Snowball stemming algorithms)
5. рассмотрите возможность использования n-граммов

вы можете подсчитать частоту слов, чтобы получить "ключевые слова".

затем вы делаете один столбец для каждого слова и вычисляете важность слова для документа, относительно его важности во всех документах. Это называется метрикой TF-IDF.

теперь у вас есть это:

Doc precious worf life...
A   0.5      0.0  0.2 
B   0.0      0.9  0.0
C   0.7      0.0  0.9

затем вы вычисляете сходство между документами, используя меру косинусного сходства. Наиболее релевантным является документ с наибольшим сходством с документом С.

теперь, вы, кажется, хотите, чтобы найти наиболее подобные абзацы, поэтому просто назовите каждый абзац документом или рассмотрите возможность использования скользящих окон над документом.

вы можете посмотреть мое видео здесь. Он использует графический инструмент Java, но объясняет понятия:

http://vancouverdata.blogspot.com/2010/11/text-analytics-with-rapidminer-part-4.html

вот приличная ИК-книга:

http://nlp.stanford.edu/IR-book/pdf/irbookonlinereading.pdf