MySQL數(shù)據(jù)庫導(dǎo)入Elasticsearch

安裝ES及交互插件

https://my.oschina.net/frylan/blog/639980

將已有的數(shù)據(jù)庫導(dǎo)入ES

下載工具包

從以下地址下載elasticsearch-jdbc工具包(注意版本需要和ES版本對應(yīng))
https://github.com/jprante/elasticsearch-jdbc

配置導(dǎo)入腳本

將工具包解壓縮到ES安裝目錄下,并修改路徑$(es安裝目錄)\elasticsearch-jdbc\bin\mysql-simple-example.bat內(nèi)容(注意備份原文件)

修改的地方重點在

  1. JDBC驅(qū)動配置(url,user,password)
  2. 需要導(dǎo)入的數(shù)據(jù) (sql語句)
  3. 導(dǎo)出后ES中Index和type名字(index,type)

原文件

@echo off

set DIR=%~dp0
set LIB=%DIR%..\lib\*
set BIN=%DIR%..\bin

REM ???
echo {^
    "type" : "jdbc",^
    "jdbc" : {^
        "url" : "jdbc:mysql://localhost:3306/test",^
        "user" : "",^
        "password" : "",^
        "sql" :  "select *, page_id as _id from page",^
        "treat_binary_as_string" : true,^
        "elasticsearch" : {^
             "cluster" : "elasticsearch",^
             "host" : "localhost",^
             "port" : 9300^
        },^
        "index" : "metawiki"^
      }^
}^ | "%JAVA_HOME%\bin\java" -cp "%LIB%" -Dlog4j.configurationFile="%BIN%\log4j2.xml" "org.xbib.tools.Runner" "org.xbib.tools.JDBCImporter"

修改后文件

@echo off

set DIR=%~dp0
set LIB=%DIR%..\lib\*
set BIN=%DIR%..\bin

REM ???
echo {^
    "type" : "jdbc",^
    "jdbc" : {^
        "url" : "jdbc:mysql://localhost:3306/zhihu",^
        "user" : "root",^
        "password" : "123456",^
        "sql" :  "select user_id as id, user_name as name, user_avatar as avatar, user_short_description as description from user",^
        "treat_binary_as_string" : true,^
        "elasticsearch" : {^
             "cluster" : "my-application",^
             "host" : "localhost",^
             "port" : 9300^
        },^
        "index":"zhihu",^
        "type":"user"^
      }^
}^ | java -cp "%LIB%" -Dlog4j.configurationFile="%BIN%\log4j2.xml" "org.xbib.tools.Runner" "org.xbib.tools.JDBCImporter"

用cmd進入剛剛bin目錄,運行mysql-simple-example.bat,即可完成導(dǎo)入

驗證結(jié)果

在瀏覽區(qū)輸入http://localhost:9200/_plugin/head/ 可以看到數(shù)據(jù)已經(jīng)成功導(dǎo)入。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容