Neo4j與ElasticSearch數(shù)據(jù)同步

針對節(jié)點刪除，加了一些邏輯，代碼地址

背景

需要強大的檢索功能，所有需要被查詢的數(shù)據(jù)都在neo4j。

方案

• 在Server邏輯中直接編寫。后端有一個Storage類。當有新數(shù)據(jù)通過RestAPI存入Neo4j時，同時存一份到ElasticSearch
• 編寫Neo4j插件。Neo4j本身不支持Trigger。但是可以通過插件實現(xiàn)類似功能

方案的選擇采用第二種，原因有二

• 集中式的數(shù)據(jù)同步處理，比分散式上層邏輯數(shù)據(jù)同步處理 穩(wěn)定性和可維護性更高
• Neo4j開源倉儲提供了Neo4j-ElasticSearch插件，雖然不滿足我們的需求，但是可以為編寫代碼提供極大的參考。

插件試用

實驗環(huán)境： Ubuntu16.04 Docker 17.12.1-ce （由于采用Docker，環(huán)境對實驗影響不大）

實驗環(huán)境搭建

• 下載最近版本(3.2.x)的Jar包

wget https://github.com/neo4j-contrib/neo4j-elasticsearch/releases/download/3.2.3/neo4j-elasticsearch-3.2.3.jar

• 啟動ES容器，該插件用的Jest 2.0.2版本。但是我們使用ElasticSearch2.3也沒什么問題

docker run -p 9200:9200 -d --name es elasticsearch:2.3

• 啟動neo4j容器， 并掛載磁盤

docker run -p 7474:7474 -p 7687:7687 -v /home/bonsai/Demo/conf:/var/lib/neo4j/conf  -v /home/bonsai/Demo/plugins:/var/lib/neo4j/plugins --name neo -d  --link es:es neo4j:3.2.3

• cp插件到plugins文件夾

cp neo4j-elasticsearch-3.2.3.jar /home/bonsai/Demo/plugins

• 增加配置 vim /home/bonsai/Demo/conf/neo4j.conf

elasticsearch.host_name=http://es:9200
elasticsearch.index_spec=people:Person(first_name,last_name), places:Place(name)

• 去除默認密碼修改限制

docker exec neo /bin/bash -c "echo 'neo4j:SHA-256,BC43474518A71BA7BEB54461F769A76195226474BFE892FF2562211DFD8043FA,B6070629C73CE74455674D39D65BA3DF:' > data/dbms/auth"

• 重啟Neo4j容器

docker restart neo

• 驗證neo4j成功加載配置docker exec neo cat /var/lib/neo4j/logs/debug.log | grep elastic
  
  成功加載配置

功能使用

在Neo4j-ElasticSearch插件中，引用了index_spec這個配置。具體實現(xiàn)細節(jié)下節(jié)分析。試用的時候只要知道我們定義了

elasticsearch.index_spec=people:Person(first_name,last_name), places:Place(name)

表示會將Person標簽的Node的first_name與last_name屬性存入ES people索引中，會將Place標簽的Node的name屬性存入ES places索引中

節(jié)點創(chuàng)建

curl -X POST \
  http://localhost:7474/db/data/cypher \
  -H 'authorization: Basic bmVvNGo6bmVvNGo=' \
  -H 'content-type: application/json' \
  -d '{
  "query" : "CREATE (n:Person { first_name : {firstname}, last_name: {lastname} }) RETURN n",
  "params" : {
    "firstname" : "Bonsai",
    "lastname": "Y"
  }
}
'

成功創(chuàng)建后訪問ES數(shù)據(jù)庫查看

curl -X GET 'http://127.0.0.1:9200/people/_search?pretty='

image.png

修改節(jié)點

curl -X POST \
  http://localhost:7474/db/data/cypher \
  -H 'authorization: Basic bmVvNGo6bmVvNGo=' \
  -H 'content-type: application/json' \
  -d '{
  "query" : "MATCH (n:Person) SET n.first_name = { newfirstname } RETURN n",
  "params" : {
    "newfirstname" : "new_bonsai"
  }
}'

成功修改后訪問ES數(shù)據(jù)庫查看

curl -X GET 'http://127.0.0.1:9200/people/_search?pretty='

修改節(jié)點

• 刪除node

curl -X POST \
  http://localhost:7474/db/data/cypher \
  -H 'authorization: Basic bmVvNGo6bmVvNGo=' \
  -H 'content-type: application/json' \
  -d '{
  "query" : "MATCH (n:Person) Delete n"
}'

成功刪除后訪問ES數(shù)據(jù)庫查看

curl -X GET 'http://127.0.0.1:9200/people/_search?pretty='

刪除節(jié)點