有一張財(cái)務(wù)流水表，未分庫分表，目前的數(shù)據(jù)量為9555695，分頁查詢使用到了limit，優(yōu)化之前的查詢耗時(shí)16 s 938 ms (execut...
投稿
收錄了883篇文章 · 90人關(guān)注
-
一次SQL查詢優(yōu)化原理分析：900W+數(shù)據(jù)，從17s到300ms（減少回表查詢） -
7000字，詳解倉湖一體架構(gòu)！一、 什么是數(shù)據(jù)倉庫、數(shù)據(jù)集市和數(shù)據(jù)湖？ 1、數(shù)據(jù)倉庫 早期系統(tǒng)采用數(shù)據(jù)庫來存放管理數(shù)據(jù)，但是隨著大數(shù)據(jù)技術(shù)的興起，大家想要通過大數(shù)據(jù)技術(shù)來找...
-
經(jīng)典Hbase面試7題（附答案）
Hbase Hbase是怎么寫數(shù)據(jù)的？ HDFS和HBase各自使用場(chǎng)景 Hbase的存儲(chǔ)結(jié)構(gòu) 熱點(diǎn)現(xiàn)象（數(shù)據(jù)傾斜）怎么產(chǎn)生的，以及解決方法有哪...
-
數(shù)據(jù)質(zhì)量監(jiān)控框架及解決方案總結(jié)
概述 隨著業(yè)務(wù)發(fā)展和數(shù)據(jù)量的增加，大數(shù)據(jù)應(yīng)用開發(fā)已成為部門應(yīng)用開發(fā)常用的開發(fā)方式，由于部門業(yè)務(wù)特點(diǎn)的關(guān)系，spark和hive應(yīng)用開發(fā)在部門內(nèi)部...
-
數(shù)據(jù)治理8種方法
01 、 頂層設(shè)計(jì)法 顧名思義，頂層設(shè)計(jì)法就是先做一個(gè)數(shù)據(jù)治理頂層設(shè)計(jì)的規(guī)劃，然后按照規(guī)劃執(zhí)行即可。 做過咨詢的彭友都知道，頂層設(shè)計(jì)、戰(zhàn)略咨詢都...
-
Flink | Checkpoint 機(jī)制詳解
一、Checkpoint 簡(jiǎn)介 Flink 的 Checkpoint 機(jī)制是其可靠性的基石。當(dāng)一個(gè)任務(wù)在運(yùn)行過程中出現(xiàn)故障時(shí)，可以根據(jù) Chec...
-
Flink - 4 大主題、15 個(gè)高頻問題
1.前言 2.狀態(tài)原理 2.1. 狀態(tài)、狀態(tài)后端、Checkpoint 三者之間的區(qū)別及關(guān)系？ 結(jié)論：拿五個(gè)字做比喻："鐵鍋燉大鵝"，鐵鍋是狀態(tài)...
-
[各分類商品購物車存量Top10] Spark 指標(biāo)實(shí)戰(zhàn)（7）
需求 各分類商品購物車存量Top10 前提 今天是 2020-06-14 建表語句 完整sql 步驟 只討論 三級(jí)分類 查詢一天 步驟 統(tǒng)計(jì)當(dāng)天...
-
[各品牌商品交易統(tǒng)計(jì)] Spark 指標(biāo)實(shí)戰(zhàn)（6）
需求-各品牌商品交易統(tǒng)計(jì) 統(tǒng)計(jì)周期統(tǒng)計(jì)粒度指標(biāo)最近1、7、30日品牌訂單數(shù)最近1、7、30日品牌訂單人數(shù)最近1、7、30日品牌退單數(shù)最近1、7、...
-
[最近7/30日各品牌復(fù)購率] Spark 指標(biāo)實(shí)戰(zhàn)（5）
需求說明如下 統(tǒng)計(jì)周期統(tǒng)計(jì)粒度指標(biāo)說明最近7、30日品牌復(fù)購率重復(fù)購買人數(shù)占購買人數(shù)比例 建表語句 前提 今天是 2020-06-14dws_t...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/539320/33.jpg', '推薦專題《大數(shù)據(jù)開發(fā)》（ 分享自 @簡(jiǎn)書 ）','http://www.itdecent.cn/c/b2266bfb553d?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}