1991年，比爾·恩門（Bill Inmon）出版了他的第一本關(guān)于數(shù)據(jù)倉庫的書《Building the Data Warehouse》，標(biāo)志著數(shù)據(jù)倉庫概念的確立。我們所常說...
IP屬地：廣東
-
實(shí)時(shí)數(shù)倉的過去、現(xiàn)在和未來 -
如何計(jì)算Flink集群規(guī)模：信封背計(jì)算法2017年柏林Flink Forward大會(huì)上Robert Metger的"Keep It Going: How to Reiably and Efficiently Ope...
-
玩家留存計(jì)算的兩種SQL語句
留存簡單來說就是某天的注冊(cè)用戶有多少人在多少天后還在繼續(xù)使用，但具體的定義各個(gè)公司可能都不太一樣，比如三日留存是在第四天還有登陸的玩家，一天是按現(xiàn)實(shí)的0點(diǎn)為分界還是一個(gè)玩家完...
-
Hive中bucket-mapjoin和smb-join的區(qū)別
1 bucket-mapjoin 1.1 條件1） set hive.optimize.bucketmapjoin = true;2） 一個(gè)表的bucket數(shù)是另一個(gè)表buc...
-
Spark Join優(yōu)化-BucketJoin實(shí)現(xiàn)偶然讀取到了字節(jié)跳動(dòng)關(guān)于Spark做的一些優(yōu)化，發(fā)現(xiàn)其中一項(xiàng)被稱為BuckedtJoin的優(yōu)化項(xiàng) 傳送門:Spark SQL 在字節(jié)跳動(dòng)數(shù)據(jù)倉庫領(lǐng)域的優(yōu)化實(shí)踐 [https:...
-
復(fù)盤：如何從0~1搭建AB Test系統(tǒng)
背景 隨著公司業(yè)務(wù)的發(fā)展，慢慢已經(jīng)從做新功能，變成優(yōu)化功能，至于怎么優(yōu)化功能，精細(xì)化運(yùn)營已經(jīng)很難直觀判斷。尤其作為裂變?cè)鲩L組的PM，對(duì)公司現(xiàn)有砍價(jià)、助力、簽到等工具的優(yōu)化，尤...
-
埋點(diǎn)系列2-輸出埋點(diǎn)需求文檔上一章《埋點(diǎn)需求分析&設(shè)計(jì)埋點(diǎn)方案》已經(jīng)說明了什么是埋點(diǎn)，埋點(diǎn)需求分析、數(shù)據(jù)指標(biāo)、常見的埋點(diǎn)事件等基本概念。本周主要輸出整理埋點(diǎn)文檔的思路。 一、什么是埋點(diǎn)需求文檔 埋點(diǎn)文檔...
