clickhouse-sql 記錄常用操作

• sql 相關(guān) 主要記錄 mysql 導(dǎo)入 clickhouse 過程
  其他數(shù)據(jù)庫應(yīng)該也適用
• 用途
  主要使用 clickhouse 聚合計算 特別快
  上千萬數(shù)據(jù) 幾秒就能進(jìn)行聚合

常用驗證命令

1.查看clichouse版本
SELECT version

2.創(chuàng)建倉庫
create database IF NOT EXISTS 倉庫名

3.刪除表
drop table 倉庫名.表名

4.刪除表數(shù)據(jù)(判斷條件必填)
ALTER TABLE 倉庫名.表名 DELETE WHERE 1=1

5.查看表條數(shù)(驗證導(dǎo)入是否成功)
select count(1) from 倉庫名.表名

6. 查看表情況
SELECT
    table AS `表名`,
    sum(rows) AS `總行數(shù)`,
    formatReadableSize(sum(data_uncompressed_bytes)) AS `原始大小`,
    formatReadableSize(sum(data_compressed_bytes)) AS `壓縮大小`,
    round((sum(data_compressed_bytes) / sum(data_uncompressed_bytes)) * 100, 0) AS `壓縮率`
FROM system.parts
WHERE table IN ('表1','表2',.....)
GROUP BY table

mysql 表導(dǎo)入 clikhouse(主要用 clickhouse MySQL 引擎 也可以用別的采集工具)

主要使用 mysql 引擎(注意大小寫)
采用^20.xx.xxx 版本 低版本可能不適合(沒試過其他版本)

• 1.映射倉庫 (不推薦/沒試過)

create database IF NOT EXISTS 倉庫名 engine=MySQL('localhost:3306', 'db', 'root', 'password')

• 2.映射表 (個人感覺適用于數(shù)據(jù)量少的數(shù)據(jù) 10 萬左右/不推薦)

    CREATE TABLE  倉庫名.表名('字段','字段',....) mysql('localhost:3306','db','表名','root','password')

-3.數(shù)據(jù)導(dǎo)入
思路 1.創(chuàng)建表 -2.清空數(shù)據(jù)-3.寫入數(shù)據(jù)-4.采集結(jié)果-5.獲取結(jié)果-6.清空數(shù)據(jù)-7.寫人數(shù)據(jù)-.........

!!!! * 替換為相關(guān)字段 獲取更快

定時執(zhí)行 sql 語句

1.創(chuàng)建表(第一次執(zhí)行)
CREATE TABLE 倉庫名.表名 ENGINE = MergeTree ORDER BY 主鍵名(好像不能用mysq主鍵) AS SELECT * FROM mysql('localhost:3306','db','表名','root','password')


2.清空表(定時)
ALTER TABLE 倉庫名.表名 DELETE WHERE 1=1

3.寫入數(shù)據(jù)(定時)
  INSERT INTO TABLE 倉庫名.表名 SELECT * FROM mysql('localhost:3306','db','表名','root','password')

  3.1.查看采入數(shù)據(jù)
select count(1) from 倉庫名.表名

5.使用sql語句程序內(nèi)執(zhí)行