Как искать часть слова с помощью ElasticSearch
Я недавно начал использовать ElasticSearch, и я не могу заставить его искать часть слова.
пример: у меня есть три документа из моего couchdb индексируется в ElasticSearch:
{
"_id" : "1",
"name" : "John Doeman",
"function" : "Janitor"
}
{
"_id" : "2",
"name" : "Jane Doewoman",
"function" : "Teacher"
}
{
"_id" : "3",
"name" : "Jimmy Jackal",
"function" : "Student"
}
Итак, теперь я хочу найти все документы, содержащие "Doe"
curl http://localhost:9200/my_idx/my_type/_search?q=Doe
Это не вернет ничего. Но если я ищу
curl http://localhost:9200/my_idx/my_type/_search?q=Doeman
он возвращает один документ (John Doeman).
Я пробовал устанавливать различные анализаторы и различные фильтры как свойства моего индекса. Я также попытался использовать полномасштабный запрос (например:
{
"query": {
"term": {
"name": "Doe"
}
}
}
) Но ничего, кажется, не работает.
как я могу сделать ElasticSearch найти как Джон Доуман, так и Джейн Доуман, когда я ищу "Доу"?
обновление
Я попытался использовать токенизатор и фильтр nGram, как предложил Игорь, Вот так:
{
"index": {
"index": "my_idx",
"type": "my_type",
"bulk_size": "100",
"bulk_timeout": "10ms",
"analysis": {
"analyzer": {
"my_analyzer": {
"type": "custom",
"tokenizer": "my_ngram_tokenizer",
"filter": [
"my_ngram_filter"
]
}
},
"filter": {
"my_ngram_filter": {
"type": "nGram",
"min_gram": 1,
"max_gram": 1
}
},
"tokenizer": {
"my_ngram_tokenizer": {
"type": "nGram",
"min_gram": 1,
"max_gram": 1
}
}
}
}
}
проблема, с которой я сейчас сталкиваюсь, заключается в том, что каждый запрос возвращает все документы. Какие-нибудь указатели? Elasticsearch в документацию об использовании N-грамм не велик...
9 ответов:
Я тоже с помощью n-грамм,. Я использую стандартный токенизатор и nGram просто как фильтр. Вот моя настройка:
{ "index": { "index": "my_idx", "type": "my_type", "analysis": { "index_analyzer": { "my_index_analyzer": { "type": "custom", "tokenizer": "standard", "filter": [ "lowercase", "mynGram" ] } }, "search_analyzer": { "my_search_analyzer": { "type": "custom", "tokenizer": "standard", "filter": [ "standard", "lowercase", "mynGram" ] } }, "filter": { "mynGram": { "type": "nGram", "min_gram": 2, "max_gram": 50 } } } } }
давайте вы найдете хоть до 50 писем. Отрегулируйте max_gram, как вам нужно. В немецких словах может получиться очень большой, поэтому я установил его на высокое значение.
поиск с ведущими и конечными подстановочными знаками будет очень медленным на большом индексе. Если вы хотите иметь возможность поиска по префиксу слова, удалите ведущий подстановочный знак. Если вам действительно нужно найти подстроку в середине слова, вам было бы лучше использовать Ngram tokenizer.
Я думаю, что нет необходимости менять любое отображение. Попробуйте использовать query_string, это прекрасно. Все сценарии будут работать со стандартным анализатором по умолчанию:
у нас есть данные:
{"_id" : "1","name" : "John Doeman","function" : "Janitor"} {"_id" : "2","name" : "Jane Doewoman","function" : "Teacher"}
Сценарий 1:
{"query": { "query_string" : {"default_field" : "name", "query" : "*Doe*"} } }
ответ:
{"_id" : "1","name" : "John Doeman","function" : "Janitor"} {"_id" : "2","name" : "Jane Doewoman","function" : "Teacher"}
вариант 2:
{"query": { "query_string" : {"default_field" : "name", "query" : "*Jan*"} } }
ответ:
{"_id" : "1","name" : "John Doeman","function" : "Janitor"}
сценарий 3:
{"query": { "query_string" : {"default_field" : "name", "query" : "*oh* *oe*"} } }
ответ:
{"_id" : "1","name" : "John Doeman","function" : "Janitor"} {"_id" : "2","name" : "Jane Doewoman","function" : "Teacher"}
изменить - Такая же реализация с упругим поиском данных spring https://stackoverflow.com/a/43579948/2357869
еще одно объяснение, как добавить лучше, чем другие https://stackoverflow.com/a/43321606/2357869
без изменения сопоставлений индексов вы можете сделать простой запрос префикса, который будет выполнять частичный поиск, как вы надеетесь на
ie.
{ "query": { "prefix" : { "name" : "Doe" } } }
https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-prefix-query.html
попробуйте решение описанное тут: точный поиск подстрок в ElasticSearch
{ "mappings": { "my_type": { "index_analyzer":"index_ngram", "search_analyzer":"search_ngram" } }, "settings": { "analysis": { "filter": { "ngram_filter": { "type": "ngram", "min_gram": 3, "max_gram": 8 } }, "analyzer": { "index_ngram": { "type": "custom", "tokenizer": "keyword", "filter": [ "ngram_filter", "lowercase" ] }, "search_ngram": { "type": "custom", "tokenizer": "keyword", "filter": "lowercase" } } } } }
для решения проблемы использования диска и слишком длинный срок поиска проблема короткие 8 символов длиной ngrams используются (настраиваются с помощью:"max_gram": 8). Чтобы найти термины с более чем 8 символами, превратите свой поиск в логический и запрос, ищущий каждую отдельную 8-символьную подстроку в этой строке. Например, если пользователь искали Большие Дворы (10-символьная строка), поиск будет:
" Арге я и Арге Яр и Рге Ярд.
если вы хотите реализовать функцию автозаполнения, то Завершение Suggester это самое изящное решение. Следующий блоге содержит очень четкое описание того, как это работает.
в двух словах, это структура данных в памяти, называемая FST, которая содержит допустимые предложения и оптимизирована для быстрого извлечения и использования памяти. По сути, это просто график. Например, и FST, содержащий слова
hotel
,marriot
,mercure
,munchen
иmunich
будет выглядеть так:
Elasticsearch имеет подстановочный запрос, который может быть использован в этом случае и является самым простым. Он вернет оба соответствующих документа
вы можете использовать регулярное выражение.
{ "_id" : "1", "name" : "John Doeman" , "function" : "Janitor"} { "_id" : "2", "name" : "Jane Doewoman","function" : "Teacher" } { "_id" : "3", "name" : "Jimmy Jackal" ,"function" : "Student" }
если вы используете этот запрос :
{ "query": { "regexp": { "name": "J.*" } } }
вы дали все данные, что их имя начинается с "J".Рассмотрим вы хотите получить только первые две записи, что их имя заканчивается на "man", так что вы можете использовать этот запрос :
{ "query": { "regexp": { "name": ".*man" } } }
и если вы хотите получить все записи, которые в их имени существуют "m", вы можете использовать этот запрос :
{ "query": { "regexp": { "name": ".*m.*" } } }
это работает для меня .И я надеюсь, что мой ответ подойдет для решения ваших проблема.