Способен ли Neo4j хранить данные в HDFS?
Q1: можно ли использовать HDFS в качестве серверной части хранилища для Neo4j?
Мои исходные данные имеют размер терабайт(от 2 ТБ до 3 ТБ, все еще обрабатываются, поэтому я не могу точно сказать, сколько вершин и ребер), поэтому, естественно, я беспокоюсь, подходит ли Neo4j в данной ситуации. наш текущий кластер имеет 64-ядерный процессор, 128 г ОЗУ на узел, в то время как данные не могут поместиться на локальном жестком диске, если только график не может быть сохранен в HDFS.
Q2: выиграет ли Neo4j производительность от кластера HA режим?
Распределяет ли кластер HA реплики только на каждом узле кластера, или Neo4j выполняет запросы параллельно, чтобы получить высокую производительность? Если последнее, то содержит ли каждый узел копию всего графа (предположим, что весь граф действительно большой), чтобы уменьшить издержки сетевого ввода-вывода?
Заранее спасибо!
BR, Тодд Лео
1 ответ:
1) это должно быть возможно, но вам нужно монтировать hdfs как обычный жесткий диск.
Но с моей точки зрения это не имеет смысла, потому что тогда операция ввода-вывода будет очень медленной. Если сравнить его с SSD.2) это повышает производительность, потому что вы можете использовать несколько машин (ведомых) для операций чтения. - http://neo4j.com/docs/stable/ha-how.html