Как использовать Elasticsearch с MongoDB?

использование реки может представлять проблемы, когда ваша операция масштабируется. Река будет использовать тонну памяти при тяжелой работе. Я рекомендую реализовать свои собственные модели elasticsearch, или если вы используете Мангуст, вы можете построить свои модели elasticsearch прямо в это или использовать mongoosastic который по существу делает это для вас.

еще одним недостатком реки Mongodb является то, что вы застряли с помощью mongodb 2.4.X ветвь, и ElasticSearch 0.90.х. Вы начинаете находить что вы упускаете много действительно хороших функций, и проект mongodb river просто не производит полезный продукт достаточно быстро, чтобы поддерживать стабильность. Тем не менее, MongoDB River определенно не то, с чем я бы пошел в производство. Это создает больше проблем, чем стоит. Он будет случайным образом сбрасывать запись под большой нагрузкой, он будет потреблять много памяти, и нет никаких настроек для этого. Кроме того, river не обновляется в реальном времени, он читает оплоги из mongodb, и это может задержать обновления для до тех пор, как 5 минут в моем опыте.

недавно нам пришлось переписать большую часть нашего проекта, потому что его еженедельное Появление, что что-то идет не так с ElasticSearch. Мы даже зашли так далеко, чтобы нанять консультанта Dev Ops, который также согласен с тем, что лучше всего отойти от реки.

обновление: Elasticsearch-mongodb-river теперь поддерживает ES v1.4.0 и mongodb v2.6.х. Тем не менее, вы, вероятно, столкнетесь с проблемами производительности на тяжелых операции вставки / обновления, поскольку этот плагин попытается прочитать оплоги mongodb для синхронизации. Если есть много операций, так как блокировка (или защелка скорее) разблокируется,вы заметите чрезвычайно высокое использование памяти на вашем сервере elasticsearch. Если вы планируете провести большую операцию, река не является хорошим вариантом. Разработчики ElasticSearch по-прежнему рекомендуют вам управлять своими собственными индексами, напрямую взаимодействуя с их API, используя клиентскую библиотеку для вашего языка, а не используя river. Это не действительно цель реки. Twitter-river является отличным примером того, как река должна использоваться. Это, по сути, отличный способ получения данных из внешних источников, но не очень надежный для высокого трафика или внутреннего использования.

также учтите, что mongodb-river отстает в версии, так как его не поддерживает организация ElasticSearch, ее поддерживает третья сторона. Разработка застряла на ветке v0. 90 в течение длительного времени после выпуска v1.0, и когда была выпущена версия для v1. 0 не было стабильным, пока elasticsearch не выпустила v1.3.0. Версии Mongodb также отстают. Вы можете оказаться в трудном положении, когда вы хотите перейти к более поздней версии каждого, особенно с ElasticSearch при такой тяжелой разработке, со многими очень ожидаемыми функциями на этом пути. Оставаться на последнем ElasticSearch было очень важно, поскольку мы в значительной степени полагаемся на постоянное улучшение нашей функции поиска в качестве основной части нашего продукта.

в целом вы, вероятно, получите лучший продукт, если вы сделаете это сами. Это не так уж и сложно. Это просто еще одна база данных для управления в вашем коде, и ее можно легко вставить в существующие модели без серьезного рефакторинга.

Я нашел монго-коннектор полезным. Это форма Mongo Labs (MongoDB Inc.) и может использоваться теперь с Elasticsearch 2.x

эластичный 2.X doc manager:https://github.com/mongodb-labs/elastic2-doc-manager

mongo-connector создает конвейер из кластера MongoDB в одну или несколько целевых систем, таких как Solr, Elasticsearch или другой кластер MongoDB. Он синхронизирует данные в MongoDB с целью, а затем следит за MongoDB oplog, не отставая от операций в MongoDB в режиме реального времени. Он был протестирован с помощью Python 2.6, 2.7 и 3.3+. Подробная документация доступна на вики.

https://github.com/mongodb-labs/mongo-connector https://github.com/mongodb-labs/mongo-connector/wiki/Usage%20with%20ElasticSearch

вот как это сделать на mongodb 3.0. Я использовал это приятно блог

1. установить mongodb.
2. создать каталоги данных:

$ mkdir RANDOM_PATH/node1
$ mkdir RANDOM_PATH/node2> 
$ mkdir RANDOM_PATH/node3

1. запуск экземпляров Mongod

$ mongod --replSet test --port 27021 --dbpath node1
$ mongod --replSet test --port 27022 --dbpath node2
$ mongod --replSet test --port 27023 --dbpath node3

1. настройка набора реплик:

$ mongo
config = {_id: 'test', members: [ {_id: 0, host: 'localhost:27021'}, {_id: 1, host: 'localhost:27022'}]};    
rs.initiate(config);

1. Установка Elasticsearch:

a. Download and unzip the [latest Elasticsearch][2] distribution

b. Run bin/elasticsearch to start the es server.

c. Run curl -XGET http://localhost:9200/ to confirm it is working.

1. установка и настройка реке в MongoDB:

$ bin / plugin --установить com.на GitHub.richardwilly98.elasticsearch / elasticsearch-river-mongodb

$ bin / plugin --install elasticsearch/elasticsearch-mapper-attachments

1. создайте "реку" и индекс:

curl-XPUT - http://localhost:8080/_river/mongodb/_meta' - d '{ "тип": "mongodb", "в MongoDB": { "db": "mydb", "коллекция": "фу" }, "индекс": { "имя name", "type": "random" } }'

1. тест в браузере:

   http://localhost:9200/_search?q=home

поскольку mongo-connector теперь кажется мертвым, моя компания решила создать инструмент для использования потоков изменений Mongo для вывода в Elasticsearch.

наши первоначальные результаты выглядят многообещающими. Вы можете проверить это на https://github.com/everyone-counts/mongo-stream. Мы все еще находимся на ранней стадии разработки и будем приветствовать предложения или вклады.

река является хорошим решением, как только вы хотите иметь почти в режиме реального времени синхронизации и общего решения.

Если у вас уже есть данные в MongoDB и вы хотите очень легко отправить их в Elasticsearch, например "one-shot", вы можете попробовать мой пакет в узле.js https://github.com/itemsapi/elasticbulk.

он использует узел.JS потоки, так что вы можете импортировать данные из всего, что поддерживает потоки (т. е. MongoDB, PostgreSQL, MySQL, JSON файлы, и т. д.)

пример для MongoDB в Elasticsearch:

установить пакеты:

npm install elasticbulk
npm install mongoose
npm install bluebird

создать скрипт т. е. скрипт.js:

const elasticbulk = require('elasticbulk');
const mongoose = require('mongoose');
const Promise = require('bluebird');
mongoose.connect('mongodb://localhost/your_database_name', {
  useMongoClient: true
});

mongoose.Promise = Promise;

var Page = mongoose.model('Page', new mongoose.Schema({
  title: String,
  categories: Array
}), 'your_collection_name');

// stream query 
var stream = Page.find({
}, {title: 1, _id: 0, categories: 1}).limit(1500000).skip(0).batchSize(500).stream();

elasticbulk.import(stream, {
  index: 'my_index_name',
  type: 'my_type_name',
  host: 'localhost:9200',
})
.then(function(res) {
  console.log('Importing finished');
})

отправляем ваши данные:

node script.js

Это не очень быстро, но это работает для миллионов записей (благодаря потокам).