一、總述
Inception是集審核、執(zhí)行、回滾于一體的一個(gè)自動(dòng)化運(yùn)維系統(tǒng),它是根據(jù)MySQL代碼修改過來(lái)的,用它可以很明確的,詳細(xì)的,準(zhǔn)確的審核MySQL的SQL語(yǔ)句,它的工作模式和MySQL完全相同,可以直接使用MySQL客戶端來(lái)連接,但不需要驗(yàn)證權(quán)限,它相對(duì)應(yīng)用程序(上層審核流程系統(tǒng)等)而言,是一個(gè)服務(wù)器,在連接時(shí)需要指定服務(wù)器地址及Inception服務(wù)器的端口即可,而它相對(duì)要審核或執(zhí)行的語(yǔ)句所對(duì)應(yīng)的線上MySQL服務(wù)器來(lái)說(shuō),是一個(gè)客戶端,它在內(nèi)部需要實(shí)時(shí)的連接數(shù)據(jù)庫(kù)服務(wù)器來(lái)獲取所需要的信息,或者直接在在線上執(zhí)行相應(yīng)的語(yǔ)句及獲取binlog等,Inception就是一個(gè)中間性質(zhì)的服務(wù)。

Inception提供的功能很豐富,首先,它可以對(duì)提交的所有語(yǔ)句的語(yǔ)法分析,如果語(yǔ)法有問題,都會(huì)將相應(yīng)的錯(cuò)誤信息返回給審核者。 還提供語(yǔ)義分析,當(dāng)一個(gè)表,庫(kù),列等信息不正確或者不符合規(guī)范的時(shí)候報(bào)錯(cuò),或者使用了一個(gè)不存在的對(duì)象時(shí)報(bào)錯(cuò)等等。 還提供了很多針對(duì)SQL規(guī)范性約束的功能,這些DBA都是可以通過系統(tǒng)參數(shù)來(lái)配置的。 更高級(jí)的功能是,可以輔助DBA分析一條查詢語(yǔ)句的性能,如果沒有使用索引或者某些原因?qū)е虏樵兒苈?,都可以檢查。
還提供SQL語(yǔ)句的執(zhí)行功能,可執(zhí)行的語(yǔ)句類型包括常用的DML及DDL語(yǔ)句及truncate table等操作。 Inception 在執(zhí)行 DML 時(shí)還提供生成回滾語(yǔ)句的功能,對(duì)應(yīng)的操作記錄及回滾語(yǔ)句會(huì)被存儲(chǔ)在備份機(jī)器上面,備份機(jī)器通過配置Inception參數(shù)來(lái)指定。
Yearning 是基于Inception的web可視化SQL審核平臺(tái),其本身只提供可視化交互頁(yè)面并不具備sql審核的能力。所以必須搭配Inception一起使用。
二、搭建Inception
1、安裝依賴包
#yum -y install gcc gcc-c++ cmake openssl-devel ncurses-devel MySQL-python git m4
#cd /usr/local/src
#wget http://ftp.gnu.org/gnu/bison/bison-2.5.1.tar.gz
#tar xf bison-2.5.1.tar.gz
#cd bison-2.5.1
#./configure
#make
#make install
2、安裝mysql服務(wù)
#rpm -ivh http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
#yum -y install mysql-community-server
#systemctl start mysql
3、安裝inception
#cd /app/
#git clone https://github.com/mysql-inception/inception.git
#cd /app/inception
#bash inception_build.sh debug
#mkdir /app/inception/{conf,log,sqls}
4、配置inception
# vi /app/inception/conf/inc.cnf
[inception]
general_log=1
general_log_file=/app/inception/log/inception.log
port=6669
socket=/tmp/inc.socket
character-set-client-handshake=0
character-set-server=utf8
inception_remote_system_password=
inception_remote_system_user=root
inception_remote_backup_port=3306
inception_remote_backup_host=localhost
inception_support_charset=utf8mb4
inception_enable_nullable=0
inception_check_primary_key=1
inception_check_column_comment=1
inception_check_table_comment=1
inception_osc_min_table_size=1
inception_osc_bin_dir=/usr/bin
inception_osc_chunk_time=0.1
inception_enable_blob_type=1
inception_check_column_default_value=1
5、啟動(dòng)inception
#nohup /app/inception/debug/mysql/bin/Inception --defaults-file=/app/inception/conf/inc.cnf &
6、驗(yàn)證inception
#mysql -uroot -h127.0.0.1 -P6669
mysql> inception get variables;
#vi /app/inception/sqls/inception.py
#!/usr/bin/python
#-\*-coding: utf-8-\*-
import MySQLdb
sql='/*--user=root;--password=;--host=127.0.0.1;--execute=1;--port=3306;*/\
inception_magic_start;\
use mysql;\
CREATE TABLE adaptive_office(id int);\
inception_magic_commit;'
try:
? ? conn=MySQLdb.connect(host='127.0.0.1',user='',passwd='',db='',port=6669)
? ? cur=conn.cursor()
? ? ret=cur.execute(sql)
? ? result=cur.fetchall()
? ? num_fields = len(cur.description)
? ? field_names = [i[0] for i in cur.description]
? ? print field_names
? ? for row in result:
? ? ? ? print row[0], "|",row[1],"|",row[2],"|",row[3],"|",row[4],"|",row[5],"|",row[6],"|",row[7],"|",row[8],"|",row[9],"|",row[10]
? ? cur.close()
? ? conn.close()
except MySQLdb.Error,e:
? ? print "Mysql Error %d: %s" % (e.args[0], e.args[1])
#python /app/inception/sqls/inception.py
三、搭建Yearning
1、安裝nginx
#rpm -ivh? http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
#yum -y install nginx
2、安裝python3.6
#cd /usr/local/src/
#wget https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tar.xz
#tar -xf Python-3.6.4.tar.xz
#mkdir -p /usr/local/python/3.6.4/lib
#cd Python-3.6.4
#./configure --enable-shared --prefix=/usr/local/python/3.6.4 LDFLAGS="-Wl,-rpath /usr/local/python/3.6.4/lib"
#make
#make install
3、建立數(shù)據(jù)庫(kù)
#mysql
mysql> create database Yearning DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
4、Yearning下載
#cd /app/
#git clone https://github.com/cookieY/Yearning.git
5、Yearning配置
#vi /app/Yearning/src/deploy.conf
[mysql]
db = Yearning
address = 127.0.0.1
port = 3306
username = root
password =
[host]
ipaddress = 192.168.0.108:80
[Inception]
ip = 127.0.0.1
port = 6669
user = root
password? =
backupdb = 127.0.0.1
backupport = 3306
backupuser = root
backuppassword =
[LDAP]
LDAP_SERVER =
LDAP_SCBASE =
LDAP_DOMAIN =
LDAP_TYPE = 1
[email]
username =
password =
smtp_server =
smtp_port =
[sql]
limit = 100
[webhook]
dingding =
6、安裝python依賴庫(kù)
#cd /app/Yearning/src/
#/usr/local/python/3.6.4/bin/pip3 install -r requirements.txt
7、初始化數(shù)據(jù)庫(kù)
#/usr/local/python/3.6.4/bin/python3 manage.py makemigrations core && /usr/local/python/3.6.4/bin/python3 manage.py migrate core
8、初始化用戶
#echo "from core.models import Account;Account.objects.create_user(username='admin', password='20151012', group='admin',is_staff=1)" | /usr/local/python/3.6.4/bin/python3 manage.py shell
#echo "from core.models import grained;grained.objects.get_or_create(username='admin', permissions={'person': [], 'ddl': '1', 'ddlcon': [], 'dml': '1', 'dmlcon': [], 'dic': '1', 'diccon': [], 'dicedit': '0', 'user': '1', 'base': '1', 'dicexport': '0'})" |? /usr/local/python/3.6.4/bin/python3 manage.py shell
9、復(fù)制編譯好的靜態(tài)文件到nginx html目錄下
#cp -rf /app/Yearning/webpage/dist/* /usr/share/nginx/html/
# systemctl start nginx
10、啟動(dòng)django
#cd /app/Yearning/src/
#nohup /usr/local/python/3.6.4/bin/python3 manage.py runserver 0.0.0.0:8000 &
11、注意事項(xiàng)
默認(rèn)超級(jí)管理用戶只擁有管理頁(yè)面的訪問權(quán)限,其他的權(quán)限需自行增加!詳情請(qǐng)查看使用說(shuō)明用戶管理
由于Inception 并不原生支持pymysql,所以需更改pymysql相關(guān)源碼
注: 在install 文件夾下有已經(jīng)修改的connections.py 和 cursors.py 直接替換即可
#cp /app/Yearning/install/connections.py /usr/local/python/3.6.4/lib/python3.6/site-packages/pymysql/
#cp /app/Yearning/install/cursors.py /usr/local/python/3.6.4/lib/python3.6/site-packages/pymysql/
或直接修改 $PYTHON_HOME/lib/python3.6/site-packages/pymysql下
connections.py 和 cursors.py 兩個(gè)文件
找到 connections.py 1108行
ifint(self.server_version.split('.',1)[0]) >=5:self.client_flag|= CLIENT.MULTI_RESULTS
更改為
try:ifint(self.server_version.split('.',1)[0]) >=5:self.client_flag |= CLIENT.MULTI_RESULTSexcept:ifself.server_version.split('.',1)[0] >='Inception2':self.client_flag |= CLIENT.MULTI_RESULTS
找到 cursors.py 345行
ifself._resultand(self._result.has_nextornotself._result.warning_count):return
更改為
ifself._result:return
12、訪問Yearning
http://192.168.0.108
