備注:PG版本:14.3 一. 問題描述 今天早上到公司，突然發(fā)現(xiàn)備庫停了，然后主庫這邊沒找到報錯日志，備庫這般看到的日志是WAL日志的缺失 TPSpgAmin工具上看到，T...
發(fā)簡信
IP屬地：廣東
-
PG案例系列3: PG備庫WAL segment has already been removed -
大數(shù)據(jù)開發(fā)之Hive案例篇14：某個節(jié)點HDFS塊比較多一. 問題描述 今天早上到公司，突然收到CDH集群某個節(jié)點的存儲量的告警，如下圖所示: 從圖中可以看出，每個節(jié)點的HDFS空間是相同的，大多節(jié)點HDFS使用量在40%左右，而...
-
PG系列5：PG體系結(jié)構(gòu)一. PG體系結(jié)構(gòu) 1.1 PG的體系結(jié)構(gòu)概述 PostgreSQL的主要結(jié)構(gòu)如下： 1.2 PostgreSQL進程概述 PostgreSQL進程結(jié)構(gòu)圖譜和分類: 二. P...
-
PG系列4：linux下編譯安裝PG15一. 源碼安裝 1.1 下載并解壓 1.2 安裝依賴包 1.3 開始編譯安裝 PG的編譯安裝比MySQL快很多 --注：請根據(jù)自己的實際情況選擇需要安裝的模塊 編譯時指定wa...
-
-
PG系列2：Linux下yum安裝PG 15一. 下載PG 官網(wǎng)地址: 選擇Downloadimage.png 選擇CentOSimage.png 選擇對應的版本image.png 二. 開始安裝 2.1 安裝數(shù)據(jù)庫 ...
-
StarRocks案例7:使用shell批量broker load導入hdfs數(shù)據(jù)
一. 問題描述 近期需要進行補錄數(shù)據(jù)，需要將hive的歷史數(shù)據(jù)遷移到StarRocks，因為需要補錄的數(shù)據(jù)較多，hive和StarRocks均使用的是分區(qū)表，兩邊的日期格式也...
-
StarRocks案例6: StarRocks同關系型數(shù)據(jù)庫的綁定變量功能
一. 問題描述 公司目前的業(yè)務是，實時和離線的數(shù)據(jù)，都導入StarRocks，然后后端根據(jù)前端傳入的條件來拼接SQL語句。使用過關系型數(shù)據(jù)庫的朋友應該知道，這樣會導致很多類似...
-
StarRocks案例5: hive外表報錯starrocks [42000][1064] hdfsOpenFile failed
一. 問題描述 StarRocks版本 2.5.5 現(xiàn)在需要使用hive外表，然后根據(jù)官網(wǎng)的的命令創(chuàng)建了hive resourceCREATE EXTERNAL RESOUR...
-
StarRocks案例4: Spark load第二次運行報錯
一. 問題描述 需求背景:CDH集群 Spark版本 2.4.0StarRocks版本 2.5.5 使用Spark 2.4.0客戶端會報錯，java.lang.NoClass...
-
大數(shù)據(jù)開發(fā)之Hive案例篇13：Hive SQL 常見參數(shù)調(diào)整
一. 問題描述 hive的一些默認參數(shù)設置不適合一些復雜的數(shù)據(jù)需求場景，需要針對具體情況進行調(diào)整。 二. 解決方案 以下是常見的調(diào)參:
-
大數(shù)據(jù)開發(fā)之Hive案例篇12：HDFS rebalance 一例一. 問題描述 公司的離線數(shù)倉是CDH集群，19個節(jié)點，HDFS存儲空間大約400TB左右，使用量在200TB左右。由于歷史遺留的問題，數(shù)據(jù)倉庫需要重構(gòu)，新舊數(shù)倉在一段時間內(nèi)...
-
PG系列1：windows下安裝PG15
一. 下載PG 官網(wǎng)地址: 選擇Downloadimage.png 選擇windowsimage.png Download the installerimage.png 點擊...
-
PG案例系列2:PG的執(zhí)行計劃沒有走索引一. 問題描述 今天開發(fā)的找到我，說他創(chuàng)建了一個索引，但是查看執(zhí)行計劃，依舊走的是全表掃描，很讓人頭疼。讓我?guī)兔Ψ治鱿戮唧w的原因。 二. 解決方案 我把復雜問題簡單化，就單表...
-
大數(shù)據(jù)開發(fā)之Hive案例篇11: 配置資源隊列一. 問題描述 公司有一個hadoop的集群。但是A項目組經(jīng)常做一些定時的BI報表，B項目組則經(jīng)常使用一些軟件做一些臨時需求。那么他們肯定會遇到同時提交任務的場景，這個時候到...
-
大數(shù)據(jù)開發(fā)之Hive案例篇10-大表笛卡爾積優(yōu)化一. 問題描述 需求描述:表概述: 需要實現(xiàn)的需求 SQL代碼: 運行日志:從日志可以看到，數(shù)據(jù)傾斜了，redcue一直卡在99%不動，過一段時間就被斷開了。 web頁面日志...
-
大數(shù)據(jù)開發(fā)之Hive案例篇9-Not yet supported place for UDAF 'count'
一. 問題描述 一個很簡單的group by和count(*) 操作，然后居然報錯了 二. 解決方案 大概是在Oracle MySQL上寫SQL寫習慣了，以為可以這么寫。出了...
-
StarRocks案例3: 通過[broadcast] 優(yōu)化慢SQL一. 問題描述 最近在使用StarRocks的時候，發(fā)現(xiàn)一個問題 table_a 10W 左右數(shù)據(jù)，通過where條件過濾數(shù)據(jù)后 剩下 10行數(shù)據(jù)。table_b 5億...
-
StarRocks案例2: 升級后性能變慢一. 問題描述 2023-05-18 將StarRocks從2.3.0升級到2.5.5。升級完成后，所有的查詢均比較慢，前端報表頁面點開也卡。 二. 解決方案 2.1 從慢查...
-
StarRocks案例1: DBeaver執(zhí)行SQL報unknown error一. 問題描述 在DBeaver上執(zhí)行某些SQL語句的時候，直接報 unknown error 二. 解決方案 首先命令行執(zhí)行奇怪的是我直接用命令行連接沒報錯，可以正常運行成...