Prologue join是我們這些整天與數(shù)據(jù)打交道的人繞不開(kāi)的一個(gè)詞，不管是在傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，還是在大數(shù)據(jù)領(lǐng)域的數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)湖中，join都是常客。特別是對(duì)于OLAP...
發(fā)簡(jiǎn)信
IP屬地：上海
-
漫談數(shù)據(jù)庫(kù)中的join -
你們現(xiàn)在解決了嗎？
Hive bitmap udf
背景 在hive中使用Roaring64Bitmap實(shí)現(xiàn)精確去重功能 主要目的：1.提升 hive 中精確去重性能，代替hive 中的 count(distinct uuid...
-
衛(wèi)漸行 ·spark sql 使用這些udf會(huì)報(bào)錯(cuò)：Caused by: java.lang.ClassNotFoundException: org.roaringbitmap.ArraysShim，是什么原因呀
suibf 評(píng)論自Hive bitmap udf -
ClickHouse遇見(jiàn)RoaringBitmap
Q&A Q：如圖。 A：當(dāng)然是自帶的。其實(shí)RoaringBitmap正是ClickHouse位圖的底層實(shí)現(xiàn)（笑 RoaringBitmap的預(yù)備知識(shí)請(qǐng)見(jiàn)這里。 在CH中產(chǎn)生位...
-
連接數(shù)據(jù)庫(kù)
自身問(wèn)題 一. 對(duì)自己寫(xiě)的代碼不自信。二.遇到問(wèn)題總是想著很難，自己解決不了。三.遇到問(wèn)題喜歡退縮，不喜歡花時(shí)間。四.花費(fèi)時(shí)間周期太長(zhǎng)，要加快進(jìn)度五.沒(méi)有頭緒 代碼問(wèn)題 a...
-
hive導(dǎo)入到clickhouse的幾種方式總結(jié)
在開(kāi)發(fā)過(guò)程中，需要從HDFS中導(dǎo)入數(shù)據(jù)到clickhouse中，探索了幾種方式，以及一些坑與大家分享； Waterdrop 參考大神的文章，實(shí)現(xiàn)快速的安裝，和相關(guān)配置如何快速...
-
SpringBoot框架：使用mybatis連接mysql數(shù)據(jù)庫(kù)完成數(shù)據(jù)訪問(wèn)需要技術(shù) java，MySql基本使用，mybatis技術(shù)的了解，maven基本安裝使用，SpringBoot使用，git的使用，idea使用基礎(chǔ)，mvc結(jié)構(gòu)。 Java基礎(chǔ)...
-
mindsdb 源碼解析
應(yīng)用對(duì)接的方式包含： mysql mongodb http 三種方式都可以實(shí)現(xiàn)對(duì)于預(yù)測(cè)器的透出；當(dāng)然我們常見(jiàn)的都是http或者mysql的方式； 下面介紹mysql的方式實(shí)現(xiàn)...
-
Dubbo中的設(shè)計(jì)模式
最近在看阿里開(kāi)源RPC框架Dubbo的源碼，順帶梳理了一下其中用到的設(shè)計(jì)模式。下面將逐個(gè)列舉其中的設(shè)計(jì)模式，并根據(jù)自己的理解分析這樣設(shè)計(jì)的原因和優(yōu)劣。 責(zé)任鏈模式 責(zé)任鏈模式...
-
一定要自己畫(huà)圖
MVC設(shè)計(jì)模式
MVC是常用的設(shè)計(jì)模式之一，將程序分成三個(gè)層次分別是：視圖模型層（V），控制器層（C），數(shù)據(jù)模型層（M） 好處： 1.程序結(jié)構(gòu)靈活，清晰2.描述各個(gè)對(duì)象之間的通信方式3.降低...
-
MVC設(shè)計(jì)模式MVC是常用的設(shè)計(jì)模式之一，將程序分成三個(gè)層次分別是：視圖模型層（V），控制器層（C），數(shù)據(jù)模型層（M） 好處： 1.程序結(jié)構(gòu)靈活，清晰2.描述各個(gè)對(duì)象之間的通信方式3.降低...
-
周學(xué)習(xí)復(fù)盤(pán)2021-11-07
非?？斓膬蓚€(gè)星期過(guò)去了，自己的狀態(tài)還沒(méi)有找回來(lái)，似乎在這兩個(gè)星期停止了學(xué)習(xí)的腳步一樣，感覺(jué)自己是一個(gè)遇到難就想逃避的一個(gè)人，明明知道解決這個(gè)難題會(huì)有非常大的進(jìn)步，面對(duì)問(wèn)題敢于...
-
-
周學(xué)習(xí)復(fù)盤(pán)2021-10-25
國(guó)慶回來(lái)狀態(tài)挺好的意識(shí)到了自己還要學(xué)習(xí)的非常多，時(shí)間也不會(huì)有多少了，Java基礎(chǔ)沒(méi)有學(xué)完Mysql數(shù)據(jù)庫(kù)上課也聽(tīng)不懂了，課后沒(méi)有花時(shí)間去看，所以在上個(gè)星期一有時(shí)間就會(huì)去圖書(shū)館...
-
周學(xué)習(xí)復(fù)盤(pán)2021-10-10
國(guó)慶在家?guī)缀蹙褪菦](méi)有心去學(xué)習(xí)，自己的打算是明天都學(xué)習(xí)，想著是每天都廢寢忘食，想的好，但是沒(méi)有一天是做到了的，這幾天也是意識(shí)到時(shí)間實(shí)在是不多了，一刻也不能放縱自己，放松了，應(yīng)該...
-
Nessie 像git一樣管理你的數(shù)據(jù)
Nessie可以管理像git 分支，合并數(shù)據(jù)源等一些特性； 受git的版本管理啟發(fā) 跨表事務(wù)和可見(jiàn)性 支持hive,spark,AWS Athena,dremio，管理其數(shù)據(jù)...
-
本博客所有內(nèi)容均適用知識(shí)共享-署名-相同方式共享（CC-BY-SA）4.0協(xié)議。
-
再談基數(shù)估計(jì)之HyperLogLog算法前言 在很久（好像也沒(méi)多久，4個(gè)月）之前，我曾經(jīng)寫(xiě)了一篇和主業(yè)無(wú)關(guān)的有點(diǎn)意思的小文章《基數(shù)估計(jì)探秘：Linear Counting與Flajolet-Martin算法》。但是...
