背景 在執(zhí)行一個較為復雜的SQL聚合的時候，報錯了：【報錯】DB::Exception: Allocator: Cannot mmap 64.00 MiB., errno: ...
發(fā)簡信
IP屬地：廣東
-
給ClickHouse增加內存
-
部署clickhouse cluster(基于docker+zookeeper)安裝zookeeper 雖然不是必要的，但clickhouse官方建議使用zookeeper部署集群，原因是ck的復制是用zk實現(xiàn)的： ZooKeeper is not a ...
-
用Airflow調度數(shù)倉（CK）的ETL腳本安裝 前提：安裝了python，我這里是python3 下載 按照官網(wǎng)：pip3 install apache-airflow包太多，下載太慢改為清華的鏡像：pip3 ins...
-
docker mysql +GTID雙主+keepalived
基本思路：先停掉原mysql，把這個文件夾壓縮了傳到另一臺機器。然后解壓，用docker直接掛載解壓后的文件夾。機器1:192.168.10.2機器2:192.168.10....
-
clickhouse 用戶權限劃分（ACL）
通過配置/etc/clickhouse-server/user.xml來實現(xiàn)；user.xml如下： distribute engine 的問題 配置了ACL以后，訪問分布式...
-
Ubuntu上安裝docker
1.更新apt包索引：sudo apt update #這一步可能會報錯, 參考遇到的問題 2.通過HTTPS使用倉庫(repository)安裝：sudo apt in...
-
mysql left join 導致的 Using join buffer (Block Nested Loop)
問題 在給運營部門寫一個簡單的兩表join的時候，發(fā)現(xiàn)線上的數(shù)據(jù)庫很快，本地的數(shù)據(jù)庫很慢。 兩個表經過條件篩選以后，數(shù)據(jù)量都差不多是5000條。 按理說5000 join 5...
-
漫談事實表如何設計（四）一.累積型快照事實表的應用場景介紹 針對電商交易，設計了交易下單/支付/確認收貨事務事實表， 用于統(tǒng)計下單/支付/確認收貨的子訂單數(shù)、GMV等。但仍然有很多需求, 此事務事實...
-
UnicodeEncodeError: 'ascii' codec can't encode characters in position 29-32: ordinal not in range
環(huán)境python3.7程序在本地調試的時候沒有問題，但是部署到k8s上的時候報錯了【報錯】 看起來應該是寫日志的時候，使用了中文導致編碼錯誤 【解決辦法】因為報錯是寫日志發(fā)生...
-
mysqldump導入導出遇到的問題
1.不導出系統(tǒng)數(shù)據(jù)庫，以免在導入的時候出現(xiàn)錯誤：ERROR 1726 (HY000) at line 17288: Storage engine 'InnoDB' does ...
-
python 常用內置函數(shù)
1.字符串和bytes互轉 方法一：bytes(s) / str(b) 方法二：s.encode() / b.decode() 2.進制互轉 10轉2，8，16 ： bin(...
-
圖片毫無代表性
在澳門賭場洗手間里，我看透了人生…...
當大多數(shù)人最大的人生起伏不過是年終考核的分數(shù)時，在澳門一眾賭場的角落里，人生的無常與殘忍，才真正地揭開一點面紗。 曾經有網(wǎng)友寫下自己的見聞： “在去賭場之前，我以為那里都是濫...
-
基于flink sql構建實時數(shù)據(jù)倉庫1、需求背景 根據(jù)目前大數(shù)據(jù)這一塊的發(fā)展，已經不局限于離線的分析，挖掘數(shù)據(jù)潛在的價值，數(shù)據(jù)的時效性最近幾年變得剛需，實時處理的框架有storm，spark-streaming...
-
shell+crontab+flock 定時備份
mybackup.sh runbackup.sh crontab -e: 其中，my.lock事先創(chuàng)建，flock -xn表示獲取文件獨占鎖，如果因上次crontab任務沒有...
-
Centos7安裝GO
1.下載 2.解壓 3.修改環(huán)境變量 4.編寫helloworld測試 因為go是編譯性語言。一次編譯多處可以執(zhí)行。所以把helloword拷貝到任何目錄都能正常執(zhí)行，并且可...
