2020-07-27

通過(guò)logstash將sqlserver的數(shù)據(jù)同步到ELK

前提：搭建并啟動(dòng)ELK（可以不包含filebeat）
搭建過(guò)程參考：http://www.itdecent.cn/p/9e0aefa0fbaa

下載安裝JDBC

1.下載jdbc驅(qū)動(dòng)

版本：7.4
下載地址：(網(wǎng)上找不的可以留言跟我拿)
解壓路徑：D:\Linux\data\ELK-Windows\elk\logstash-7.8.0\Microsoft JDBC Driver 7.4 for SQL Server
然后把解壓文件夾下的mssql-jdbc-7.4.1.jre8.jar復(fù)制到D:\Linux\data\ELK-Windows\elk\logstash-7.8.0\bin\jdbcconfig（jdbcconfig目錄是新建的）

aa.png

（未執(zhí)行啟動(dòng)命令前文件夾中只包含這兩個(gè)東東）

2.新增配置文件jdbc.conf

在D:\Linux\data\ELK-Windows\elk\logstash-7.8.0\bin\jdbcconfig目錄下創(chuàng)建配置文件jdbc.conf，內(nèi)容如下：
注意：這個(gè)配置文件不能有中文注釋，容易報(bào)錯(cuò)

input {
    jdbc {
        jdbc_driver_library => "D:\Linux\data\ELK-Windows\elk\logstash-7.8.0\bin\jdbcconfig\mssql-jdbc-7.4.1.jre8.jar"        #數(shù)據(jù)庫(kù)驅(qū)動(dòng)路徑
        jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"     #驅(qū)動(dòng)名稱
                jdbc_connection_string => "jdbc:sqlserver://172.10.0.108:1433;DatabaseName=elkdb;"       #數(shù)據(jù)庫(kù)的連接字符串，數(shù)據(jù)庫(kù)服務(wù)器的ip和端口，數(shù)據(jù)庫(kù)名
                jdbc_user => "sa"      #連接數(shù)據(jù)庫(kù)的用戶
                jdbc_password => "123456"     #連接數(shù)據(jù)庫(kù)的密碼
                schedule => "* * * * *"     #重復(fù)執(zhí)行導(dǎo)入任務(wù)的時(shí)間間隔
                jdbc_default_timezone => "Asia/Shanghai"      #默認(rèn)時(shí)區(qū)設(shè)置
        statement => "SELECT * FROM elktable where elkid > :sql_last_value"     #導(dǎo)入的表（查詢SQL，可以過(guò)濾數(shù)據(jù)）
    }
}

output {
    elasticsearch {
        hosts => ["172.10.0.108:9200"]      #要把數(shù)據(jù)同步到的es的主機(jī)ip
        manage_template => false
        index => "elkdb"    #索引名稱（在kibana創(chuàng)建索引時(shí)以數(shù)據(jù)庫(kù)名稱為所以查詢其下的表數(shù)據(jù)）
    document_type => "elktable"       #類型名稱（相當(dāng)于數(shù)據(jù)庫(kù)表名）
        document_id => "%{elkid}"      #相當(dāng)于主鍵
    }
    stdout { codec => rubydebug }      #輸出時(shí)的字符編碼
}

3.安裝啟動(dòng)數(shù)據(jù)庫(kù)

詳細(xì)安裝過(guò)程自行百度
配置用戶：sa 密碼：123456 開(kāi)端口1433
在SQL Server 2016配置管理器中啟用SQL Server網(wǎng)絡(luò)配置下MSSQLSERVER的協(xié)議中的Named Pipes，然后重啟SQL Server（MSSQLSERVER）服務(wù)。（重啟過(guò)程：Windows搜索服務(wù)》找到SQL Server（MSSQLSERVER）右鍵重啟）

bb.png

（測(cè)試一下能否通過(guò)客戶端使用賬戶密碼連接數(shù)據(jù)庫(kù)）
用MicrosoftSQL Server Management Studio工具連接本地?cái)?shù)據(jù)庫(kù)，執(zhí)行以下操作
右擊數(shù)據(jù)庫(kù)---新建數(shù)據(jù)庫(kù)---填寫相關(guān)信息

cc.png

新建查詢（注意操作的數(shù)據(jù)庫(kù)是elkdb）

USE elkdb

SET ANSI_NULLS ON

SET QUOTED_IDENTIFIER ON

CREATE TABLE [dbo].[elktable](
    [elkid] [NVARCHAR](50) NOT NULL,
    [elkname] [NVARCHAR](50) NULL,
    [elkage] [INT] NULL,
    [elksex] [BIT] NULL,
    [elkbirth] [DATETIME] NULL
) ON [PRIMARY]

#給表elktable添加約束（約束名：DF_elktable_elkid），默認(rèn)elkid是隨機(jī)的，NEWID()隨機(jī)函數(shù)
ALTER TABLE [dbo].[elktable] ADD CONSTRAINT [DF_elktable_elkid] DEFAULT (NEWID()) FOR [elkid]

ALTER TABLE [dbo].[elktable] ADD CONSTRAINT [DF_elktable_elkbirth] DEFAULT (GETDATE()) FOR [elkbirth]

INSERT [dbo].[elktable] ([elkid], [elkname], [elkage], [elksex], [elkbirth]) VALUES (N'B0048C6E-05AD-4685-861F-E8F4A861D3AB', N'ssa', 123, 0, CAST(N'2017-09-08T09:39:12.567' AS DateTime))
INSERT [dbo].[elktable] ([elkid], [elkname], [elkage], [elksex], [elkbirth]) VALUES (N'EAC8CC17-4E66-4C1C-964B-36D3CD875BDD', N'ssb', 456, 1, CAST(N'2017-09-08T09:39:23.090' AS DateTime))
INSERT [dbo].[elktable] ([elkid], [elkname], [elkage], [elksex], [elkbirth]) VALUES (N'D672806D-6C4F-4CCB-9DCC-434A7ECDA083', N'ssc', NULL, 0, CAST(N'2017-09-08T09:39:33.050' AS DateTime))
INSERT [dbo].[elktable] ([elkid], [elkname], [elkage], [elksex], [elkbirth]) VALUES (N'20DDA41B-A679-4627-B6ED-1D96AF953CF7', N'ssd', 789, NULL, CAST(N'2017-09-08T09:39:41.467' AS DateTime))
INSERT [dbo].[elktable] ([elkid], [elkname], [elkage], [elksex], [elkbirth]) VALUES (N'6F9F8CD8-FCFB-4D88-B191-40DFD360C8C3', NULL, 135, NULL, CAST(N'2017-09-08T09:39:57.353' AS DateTime))

4.執(zhí)行導(dǎo)入

powershell進(jìn)入目錄logstash的bin目錄D:\Linux\data\ELK-Windows\elk\logstash-7.8.0\bin

.\logstash.bat -f .\jdbcconfig\jdbc.conf --path.data=./jdbcconfig

如果輸出是這個(gè)樣子的，那基本上成了

dd.png

5.kibana查數(shù)據(jù)

主菜單（左上角三條橫線）---Dev Tools

ee.png

控制臺(tái)輸入 GET elkdb/_search 并發(fā)送請(qǐng)求，如果右邊有輸出就說(shuō)明sqlserver---->elk的數(shù)據(jù)是通的

ff.png

在主菜單----Discover----打開(kāi)----管理搜索----Kibana（索引模式）----創(chuàng)建索引模式----elkdb*，下一步----時(shí)間篩選時(shí)段（@timestamp）----主菜單----選擇elkdb的索引----有數(shù)據(jù)亦說(shuō)明成功

gg.png