zabbix 安裝與使用

1. Zabbix 介紹

1.1 概述

zabbix 是 Alexei Vladishev 創(chuàng)建, 目前由其成立的的公司維護(hù),
Zabbix 是一個(gè)企業(yè)級(jí)分布式開(kāi)源監(jiān)控解決方案.
Zabbix 軟件可以監(jiān)控有眾多網(wǎng)絡(luò)參數(shù) 和服務(wù)器監(jiān)控度 完整性, Zabbix 使用更加靈活的告警機(jī)制, 允許用戶位所欲時(shí)間配置基于郵件的報(bào)警, 可以讓用戶快速響應(yīng)服務(wù)器問(wèn)題, Zabbix 基于存儲(chǔ)的數(shù)據(jù)體用出色的報(bào)表和數(shù)據(jù)可視化功能, 功能使得Zabbix 成文容量規(guī)劃的理想選擇.
Zabbix 支持主動(dòng)獲取 和被動(dòng)獲取 數(shù)據(jù), 所有的報(bào)告, 統(tǒng)計(jì)信息和配置參數(shù)都可以基于Web 前端訪問(wèn), 基于Web 前端頁(yè)面保證 網(wǎng)絡(luò)狀況和服務(wù)器狀況可以任何地方訪問(wèn), 通過(guò)配置后, Zabbix 可以在監(jiān)控 IT 基礎(chǔ)設(shè)施方面發(fā)揮重要作用, 無(wú)論對(duì)于擁有少量服務(wù)器的小型組織, 還是擁有大量服務(wù)器而言 同樣適用.

1.2 Zabbix 功能

Zabbix 是一種高度集成的網(wǎng)絡(luò)監(jiān)控解決方案, 單一軟件包中提供了多種功能.

  • 數(shù)據(jù)采集

    • 可用性 和性能采集
    • 支持 SNMP(包括主動(dòng)輪詢和被動(dòng)捕獲), IPMI, JMX, VMware 監(jiān)控
    • 自定義檢查
    • 按照自定義的時(shí)間間隔采集需要的數(shù)據(jù)
    • 通過(guò) Server/Proxy 和 Agents 來(lái)執(zhí)行數(shù)據(jù)采集
  • 靈活的定義閾值

    • 自定義非常靈活的告警閾值, 稱為觸發(fā)器, 觸發(fā)器從后端數(shù)據(jù)庫(kù)獲取參考值
  • 高度可配置話的告警

    • 可以根據(jù)遞增計(jì)劃, 接受者, 媒介類型自定義發(fā)送告警通知
    • 使用宏變量可以使 告警統(tǒng)治者變得更加高效
    • 自動(dòng)動(dòng)作包含遠(yuǎn)程命令
  • 實(shí)時(shí)圖形

    • 使用內(nèi)置圖形功能 可以將監(jiān)控項(xiàng)繪制成圖形
  • Web 監(jiān)控功能

    • Zabbix 可以追蹤 鼠標(biāo)在 web 網(wǎng)站上的操作, 檢查Web 網(wǎng)站的功能和響應(yīng)時(shí)間.
  • 豐富的可視化選項(xiàng)

    • 能夠創(chuàng)建可以將多個(gè)監(jiān)控項(xiàng)組合到單個(gè)視圖中的自定義圖形
    • 網(wǎng)絡(luò)拓?fù)鋱D
    • 以儀表展示展示自定義聚合圖片和幻燈片演示.
    • 報(bào)表
    • 監(jiān)控資源的高層(業(yè)務(wù))視圖
  • 歷史數(shù)據(jù)存儲(chǔ)

    • 存儲(chǔ)在數(shù)據(jù)庫(kù)中的數(shù)據(jù)
    • 可配置的歷史數(shù)據(jù)
    • 內(nèi)置數(shù)據(jù)管理機(jī)制(housekeeping)
  • 配置簡(jiǎn)單

    • 將被監(jiān)控設(shè)備添加為主機(jī)
    • 主機(jī)一旦被添加到數(shù)據(jù)庫(kù)中, 就會(huì)采集主機(jī)數(shù)據(jù)用于監(jiān)控
    • 將模板用于監(jiān)控設(shè)備
  • 套用模板

    • 在模板中共分組檢查
    • 模板可以關(guān)聯(lián)其他模板, 獲得繼承
  • 網(wǎng)絡(luò)發(fā)現(xiàn)

    • 自動(dòng)發(fā)現(xiàn)網(wǎng)絡(luò)設(shè)備
    • Zabbix Agent 發(fā)現(xiàn)設(shè)備后自動(dòng)注冊(cè)
    • 自動(dòng)發(fā)現(xiàn)文件系統(tǒng), 網(wǎng)絡(luò)接和SNMP OIDs 值
  • 快捷的Web 界面

    • 基于PHP的 前端
    • 可以從任意地方訪問(wèn)
    • 可以自定義操作方式
    • 審計(jì)日志
  • Zabbix API

    • zabbix 提供了可編程接口, 用于批量操作, 第三方軟件集成和其他用途操作
  • 功能強(qiáng)大且易于擴(kuò)展 Agent

    • 部署與被監(jiān)控的對(duì)象上
    • 完美支持 Linux 和 Windows
  • 二進(jìn)制守護(hù)進(jìn)程

    • 為了更好的性能和更少的內(nèi)存占用, 采用C語(yǔ)言編寫
    • 便于移植
  • 適應(yīng)更復(fù)雜的環(huán)境

    • 使用 Zabbix Proxy 代理輕松實(shí)現(xiàn)分布式遠(yuǎn)程監(jiān)控

1.3 Zabbix 結(jié)構(gòu)

1. Server

Zabbix Server 是整個(gè)Zabbix軟件的核心程序.
Zabbix Server 負(fù)責(zé)執(zhí)行數(shù)據(jù)的主動(dòng)輪詢和被動(dòng)獲取, 計(jì)算觸發(fā)器條件, 向用戶發(fā)送通知, 它是Zabbix Agent 和 Proy報(bào)告系統(tǒng)可用性和完整性數(shù)據(jù)的核心組件, Server 自身可以可以通過(guò)簡(jiǎn)單服務(wù)遠(yuǎn)程檢查網(wǎng)絡(luò)服務(wù)(如 Web 服務(wù)器和郵件服務(wù)器)

Zabbix Server 是所有配置, 統(tǒng)計(jì)和操作數(shù)據(jù)的中央存儲(chǔ)中心, 也是Zabbix 監(jiān)控系統(tǒng)和告警中心, 在監(jiān)控的系統(tǒng)中出現(xiàn)任何異常, 將被發(fā)出通知給管理員.

Zabbix 的所有配置信息都存儲(chǔ)在Server 和 Web 前端進(jìn)行交互的數(shù)據(jù)庫(kù)中, 例如, 當(dāng)通過(guò)Web 前端(或者API)新增一個(gè)監(jiān)控項(xiàng)時(shí), 會(huì)被添加到數(shù)據(jù)庫(kù)的監(jiān)控項(xiàng)表, 然后, Zabbix server 以每一分鐘的頻率查詢監(jiān)控項(xiàng)表中的有效項(xiàng)時(shí), 會(huì)被添加到數(shù)據(jù)庫(kù)的監(jiān)控項(xiàng)表里, 然后, Zabbix Server 以沒(méi)分鐘一次的查詢頻率查詢監(jiān)控項(xiàng)表中的有效項(xiàng), 接著春處在Zabbix Server 中的緩存里, 也會(huì)就是說(shuō)Zabbix 前端做任何更改都是需要花費(fèi)兩分鐘才能顯示最新的數(shù)據(jù)段原因.

2. Agent

Zabbix agent 部署在被監(jiān)控目標(biāo)上, 以主動(dòng)監(jiān)控本地資源和應(yīng)用程序(硬盤, 內(nèi)存, 處理器統(tǒng)計(jì)信息等)

Zabbix agent 收集本地的操作信息并將數(shù)據(jù)報(bào)告給Zabbix server 用于進(jìn)一步處理, 一旦出現(xiàn)異常(例如硬盤空間已滿, 或服務(wù)進(jìn)程崩潰), Zabbix server 會(huì)主動(dòng)報(bào)告給管理員指定機(jī)器的異常.

agent 擁有兩種數(shù)據(jù)采集方式.

  • 主動(dòng)檢測(cè)
    • agent 應(yīng)答數(shù)據(jù)請(qǐng)求, Zabbix server(或proxy) 詢求數(shù)據(jù), 如 CPU load, 然后 agent 返回結(jié)果.
  • 主動(dòng)檢測(cè)
    • 主動(dòng)檢測(cè)處理過(guò)程相對(duì)復(fù)雜, Agent 必須首先從 Zabbix server 索取監(jiān)控項(xiàng)列表以進(jìn)行獨(dú)立處理, 然后定期發(fā)送采集信息給 Zabbix server.

執(zhí)行 被動(dòng)或主動(dòng)檢測(cè) 的通過(guò)選擇相應(yīng)的監(jiān)控項(xiàng)類型 來(lái)配置的.

3. Proxy

  • 概述
    Zabbix proxy 是一個(gè)或多個(gè)受監(jiān)控設(shè)備采集數(shù)據(jù)并將信息發(fā)送到 Zabbix server 進(jìn)程, 主要是代表Zabbix Server 工作, 所有收集的數(shù)據(jù)在本地緩存, 然后傳輸?shù)絧roxy 所屬的 server.

部署 Zabbix proxy 是可選擇, 但可能非常有利于分擔(dān)單個(gè)Zabbix server 的負(fù)載, 如果只有代理采集數(shù)據(jù), 那么server 上會(huì)減少CPU 和磁盤 I/O 的開(kāi)銷.

1.4 Zabbix 的 Sender和 Get

Zabbix 提供了兩個(gè)獨(dú)立的命令行程序, 用于 發(fā)送和接收 數(shù)據(jù)到server處理.

  • Sender agent中使用的, 用于發(fā)送數(shù)據(jù)到 server
  • get server端使用, 用于與 agent通訊, 獲取需要的信息

2. Zabbix 的安裝

2.1 安裝方法

2.1.1 獲取Zabbix

  • 官網(wǎng)下載地址 https://www.zabbix.com/cn/download

2.1.2 從 軟件的發(fā)行包安裝

  • 官網(wǎng)提供了 zabbix 的二進(jìn)制發(fā)行包, 可以使用yum 安裝, 現(xiàn)在配資
RHEL 7:
    # rpm -ivh http://repo.zabbix.com/zabbix/4.0/rhel/7/x86_64/zabbix-release-4.0-1.el7.noarch.rpm

RHEL 6:
    # rpm -ivh http://repo.zabbix.com/zabbix/4.0/rhel/6/x86_64/zabbix-release-4.0-1.el6.noarch.rpm

RHEL 5:
    # rpm -ivh http://repo.zabbix.com/zabbix/4.0/rhel/5/x86_64/zabbix-release-4.0-1.noarch.rpm
  • 安裝 Server/proxy/web 并且使用 MySQL 數(shù)據(jù)庫(kù)
# 安裝 Zabbix server
yum install zabbix-server-mysql

# 安裝 Zabbix proxy
yum install zabbix-proxy-mysql

# 安裝 Zabbix web 前端
yum install zabbix-web-mysql

2.1.3 從源碼包安裝

  • 從官網(wǎng)下載源碼包

    • https://www.zabbix.com/download_sources
  • 配置源碼

# 查看支持的配置項(xiàng)
./configure --help

# 配置server 和 proxy 的源碼
./configure --enable-server --enable-agent --enable-proxy --with-mysql --enable-net-snmp --with-libcurl --with-libxml2

# 配置serer 源代碼使用( PostgreSQL  數(shù)據(jù)庫(kù))
./cinfigure -enable-server --with-postgresql --with-net-snmp

# 僅配置agent
./configure --enable-agent

2.2 安裝zabbix

  • server 端安裝 和 web端
[root@node10009 ~]# yum -y install zabbix-server-mysql zabbix-server-web
....
Installed:
  zabbix-server-mysql.x86_64 0:4.0.3-1.el7                zabbix-web-mysql.noarch 0:4.0.3-1.el7  
Dependency Installed:
  OpenIPMI-libs.x86_64 0:2.0.23-2.el7     OpenIPMI-modalias.x86_64 0:2.0.23-2.el7     fping.x86_64 0:3.10-4.el7               
  gnutls.x86_64 0:3.3.29-8.el7            iksemel.x86_64 0:1.4-2.el7.centos           libtool-ltdl.x86_64 0:2.4.2-22.el7_3    
  net-snmp-libs.x86_64 1:5.7.2-37.el7     nettle.x86_64 0:2.7.1-8.el7                 trousers.x86_64 0:0.3.14-2.el7          
  unixODBC.x86_64 0:2.3.1-11.el7         

Complete!
  • agent 安裝
[root@node10011 app]# yum -y install zabbix-agent
...
Installed:
  zabbix-agent.x86_64 0:4.0.3-1.el7                                                                                           

Complete!
  • server 創(chuàng)建數(shù)據(jù)庫(kù) 和數(shù)據(jù)庫(kù)用戶
[root@node10009 ~]# cp /usr/share/doc/zabbix-server-mysql-4.0.3/create.sql.gz  /opt/backup/
[root@node10009 ~]# cd /opt/backup/
[root@node10009 backup]# gunzip create.sql.gz 
[root@node10009 backup]# ls create.sql 
create.sql
[root@node10009 backup]# mysql -uroot -p
...
MySQL [(none)] > CREATE DATABASE zabbix DEFAULT CHARACTER SET='utf8';
Query OK, 1 row affected (0.01 sec)

MySQL [(none)] > GRANT ALL ON zabbix.* TO 'zabbix'@'localhost' IDENTIFIED BY 'zabbix';
Query OK, 0 rows affected, 1 warning (0.00 sec)

MySQL [(none)] > FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)


MySQL [(none)] > \q
Bye
[root@node10009 backup]# mysql -uroot -p zabbix < create.sql 
Enter password: 
[root@node10009 backup]# 
  • 配置 web
[root@node10009 backup]# cp -r /usr/share/zabbix/ /opt/case/
[root@node10009 backup]# 
[root@node10009 backup]# /opt/app/nginx/sbin/nginx 
[root@node10009 backup]# /opt/app/php7/sbin/php-fpm 
  • 編輯nginx 配置文件
    • [root@node10009 backup]# vim /opt/app/nginx/conf/conf.d/server.conf
...
server {
    listen              82; 
    server_name         localhost;
    root                /opt/case/zabbix;
    index               index.html index.php;
    charset             utf8;
    access_log          logs/zabbix.access.log;
    error_log           logs/zabbix.error.log;

    location ~ .*\.php$ {
        root            /opt/case/zabbix;
        fastcgi_pass    127.0.0.1:9000;
        fastcgi_index   index.php;
        fastcgi_param   SCRIPT_FILENAME     /opt/case/zabbix/$fastcgi_script_name;
        include         fastcgi_params;
    }   
}
  • zabbix 初始化
zabbix.png
  • 有部分參數(shù)設(shè)置需要修改
002.png
  • 完成配置
003.png

3. Zabbix 配置

3.1 賬戶相關(guān)

  1. 登陸
    • zabbix 默認(rèn)管理員賬戶為 Admin, 密碼為 zabbix
004.png
  1. 修改默認(rèn)賬戶和賬戶密碼和添加賬戶
05.png
006.png

3.2 添加主機(jī)

  1. 客戶端啟動(dòng)服務(wù)
  • 客戶端即為 agent
  • 客戶端修改配置文件
  • vim /etc/zabbix/zabbix.agent.conf
...
Server=192.168.10.9         # zabbix-server 的地址
ServerActive=192.168.10.9   # 主動(dòng)提交模式的 提交地址(一般函數(shù)Zabbix-server 或則 zabbix-proxy)
Hostname=node10011          # 這臺(tái)主機(jī)的主機(jī)名
...
  • 啟動(dòng)服務(wù)
[root@node10011 ~]# ss -tanp | grep zabbix
LISTEN     0      128          *:10050                    *:*                   users:(("zabbix_agentd",pid=1646,fd=4),("zabbix_agentd",pid=1645,fd=4),("zabbix_agentd",pid=1644,fd=4),("zabbix_agentd",pid=1643,fd=4),("zabbix_agentd",pid=1642,fd=4),("zabbix_agentd",pid=1641,fd=4))
LISTEN     0      128         :::10050                   :::*                   users:(("zabbix_agentd",pid=1646,fd=5),("zabbix_agentd",pid=1645,fd=5),("zabbix_agentd",pid=1644,fd=5),("zabbix_agentd",pid=1643,fd=5),("zabbix_agentd",pid=1642,fd=5),("zabbix_agentd",pid=1641,fd=5))
[root@node10011 ~]# 

3.3 Zabbix 監(jiān)控相關(guān)

  1. 主機(jī)
  • Zabbix中主機(jī)(Host) 就是想要監(jiān)控的一個(gè)實(shí)體(物理的,或虛擬的), 可以是服務(wù)器, 物理交換機(jī), 或者KVM.
  1. 主機(jī)組
  • 主機(jī)的邏輯組, 可以包含主機(jī)和 模板, 一個(gè)主機(jī)組里面的主機(jī)和模板沒(méi)有任何 直接的關(guān)聯(lián), 是用于在為用戶分配權(quán)限時(shí)使用的.
  1. 監(jiān)控項(xiàng)
  • 監(jiān)控項(xiàng)時(shí) Zabbix中獲得數(shù)據(jù)的一個(gè)基礎(chǔ), 沒(méi)有監(jiān)控項(xiàng), 就沒(méi)有數(shù)據(jù), 因?yàn)橐粋€(gè)主機(jī)中只有監(jiān)控項(xiàng)定義了單一的指標(biāo)或者想要獲得的數(shù)據(jù).
  • 如: 可用內(nèi)存, cpu1分鐘負(fù)載, 進(jìn)程數(shù) 等等. 也可以是: icmp 丟包率, 網(wǎng)絡(luò)流量, 數(shù)據(jù)庫(kù)的一條查詢.
  1. 應(yīng)用集
  • 一組監(jiān)控項(xiàng)的邏輯分組,
  • 如: 一個(gè)較MySQL服務(wù)器 的應(yīng)用集, 關(guān)聯(lián)了MySQL 服務(wù)器的相關(guān)的所有監(jiān)控項(xiàng): mysql 的可用性, 磁盤空間, 處理器負(fù)載, 每秒事務(wù)數(shù), 慢查詢數(shù)
  1. 觸發(fā)器
  • 觸發(fā)器是用于對(duì)收集到的數(shù)據(jù) 做自動(dòng)評(píng)估, 觸發(fā)器包含一個(gè)表達(dá)式, 這個(gè)表達(dá)式表示該項(xiàng)數(shù)據(jù)可以接受的最大閾值級(jí)別.
  • 如果數(shù)據(jù)達(dá)到/超過(guò) 這個(gè)級(jí)別, 觸發(fā)器將會(huì)被觸發(fā), 進(jìn)入異常'Problem'狀態(tài), 從而引起注意, 當(dāng)數(shù)據(jù)恢復(fù)到合理狀態(tài)時(shí), 觸發(fā)器會(huì)恢復(fù)到 正常'ok' 狀態(tài).
  1. 模板
  • 一組可以用到多個(gè)主機(jī)上的實(shí)體(監(jiān)控項(xiàng), 觸發(fā)器, 圖形, 聚合圖形, 應(yīng)用, LLD, Web場(chǎng)景) 的集合,
  • 模板的應(yīng)用使得主機(jī)上的監(jiān)控項(xiàng)可以快速部署, 也可以使得監(jiān)控任務(wù)批量修改更加簡(jiǎn)單, 模板關(guān)聯(lián)到每個(gè)單獨(dú)的主機(jī)上
  1. Web 場(chǎng)景
  • 用于檢查網(wǎng)站的可瀏覽性, 可以用于判斷一個(gè)或多個(gè) HTTP 請(qǐng)求的響應(yīng)狀態(tài)碼, 或則響應(yīng)時(shí)間, 下載速度等等.

3.4 主機(jī)管理

  • 添加主機(jī)
    • 管理>主機(jī)>添加主機(jī)
007.png

3.4 模板管理

  • 模板是可以方便的應(yīng)用于多個(gè)主機(jī)的一組實(shí)體, 實(shí)體可以包含:
    • 監(jiān)控項(xiàng)
    • 觸發(fā)器
    • 圖形
    • 應(yīng)用
    • 聚合圖形
  1. 添加模板
008.PNG
009.png

3.5 配置自定義監(jiān)控項(xiàng)

  1. 概述
  • 用戶可以在 agent 上自定義監(jiān)控項(xiàng),
  • 需要編寫一個(gè)命令來(lái)檢索需要的數(shù)據(jù), 包含在配置文件的 用戶自定義參數(shù)(UserParameter)中
  • 配置定義參數(shù) 需要開(kāi)啟 UnsafeUserParameter 配置
    • UnsafeUserParameter=1
  • 用戶自定義參數(shù)語(yǔ)法:
    • UserParameter=<key>,<command>
  • 自定義參數(shù) 除了需要配置命令, 還需要包含一個(gè)key, 這個(gè)key 是用于配置監(jiān)控項(xiàng)時(shí)使用, key 是一臺(tái)主機(jī)中是唯一的,
  • 配置完成后需要重啟 agent, 并且在web 中添加配置項(xiàng)時(shí) 需要用戶輸入自定義的 key, 且可以攜帶參數(shù)來(lái)引用
  1. 配置
  • 編輯腳本
[root@node10011 ~]# mkdir /opt/shell/zabbix/
[root@node10011 ~]# vim /opt/shell/zabbix/check_mysql.sh
[root@node10011 ~]# chmod 755 /opt/shell/zabbix/check_mysql.sh 
[root@node10011 ~]# cat/opt/shell/zabbix/check_mysql.sh 
    #!/bin/sh
    res=`/opt/bin/mysqladmin -uroot -p123 ping 2> /dev/null | grep -c alive`
    echo $res

[root@node10011 ~]# /opt/shell/zabbix/check_mysql.sh 
1
[root@node10011 ~]# 
  • 編輯配置文件
    • vim /etc/zabbix/zabbix_agent.conf
...
UnsafeUserParameters=1
UserParameter=check_mysql[*],/opt/shell/zabbix/check_mysql.sh
...
  • server端檢測(cè)
[root@node10009 nginx]#  zabbix_get -s 192.168.10.11 -p 10050 -k check_mysql
1
[root@node10009 nginx]# 
010.png

3.6 配置郵件告警

  1. 編輯發(fā)送郵件的腳本
[root@node10009 nginx]# vim /usr/lib/zabbix/alertscripts/send_mail.py 
[root@node10009 nginx]# 
  1. 編輯用戶權(quán)限
  • 用戶需要對(duì)所組 有讀寫權(quán)限
011.png
  1. 編輯動(dòng)作
012.png
013.png
  1. 測(cè)試
  • agent 端關(guān)閉mysql
[root@node10011 ~]# mysqld.sh stop
Shutdown MySQL...
SUCESS! MySQL Stop                                         [  OK  ]
  • 郵箱
014.png

END

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • Zabbix簡(jiǎn)介 Zabbix官方網(wǎng)站Zabbix中文文檔 本文系統(tǒng)環(huán)境是CentOS7x86_64, Zabbi...
    Zhang21閱讀 8,305評(píng)論 0 37
  • 1.寫在前面 本文主要介紹的是zabbix的編譯安裝過(guò)程,包含它的基礎(chǔ)環(huán)境LNMP,雖然zabbix官方一般推薦的...
    天之藍(lán)色閱讀 2,657評(píng)論 0 16
  • 自定義key網(wǎng)絡(luò)發(fā)現(xiàn)Web監(jiān)控主動(dòng)檢測(cè)基于SNMP監(jiān)控基于JMX監(jiān)控Zabbix ProxyZabbix調(diào)優(yōu) 一、...
    哈嘍別樣閱讀 1,492評(píng)論 0 1
  • 一、zabbix簡(jiǎn)介 zabbix是一個(gè)基于WEB界面的提供分布式系統(tǒng)監(jiān)視以及網(wǎng)絡(luò)監(jiān)視功能的企業(yè)級(jí)的開(kāi)源解決方案。...
    Bogon閱讀 2,622評(píng)論 3 7
  • 本以為周六能補(bǔ)2節(jié)課,沒(méi)想到只補(bǔ)了1節(jié)~~這畫居然畫了一天~~ 已經(jīng)跟不上了,只能在后面慢慢畫吧。
    羅汝錫閱讀 277評(píng)論 11 3

友情鏈接更多精彩內(nèi)容