還記得好幾年前，大概13或者14年，當時不過是一個普通的工薪族，雖然玩玩程序代碼，但是高不成低不就，沒有辦法，作為程序媛，多少不會具備程序猿的那種對代碼符號的沖動。每日也就是...
發(fā)簡信
IP屬地：浙江
-
從程序猿到一名水彩畫手：我的畫畫工具篇 -
Spark的數(shù)據(jù)本地化和延遲調(diào)度策略
一.概述 Spark數(shù)據(jù)本地化即計算向數(shù)據(jù)移動，但數(shù)據(jù)塊所在的Executor不一定有足夠的的計算資源提供，為了讓task能盡可能的以最優(yōu)本地化級別（Locality Lev...
-
Apache Kylin 從零開始構(gòu)建Cube(含優(yōu)化策略)前言 Apache Kylin采用“預計算”的模式，用戶只需要提前定義好查詢維度，Kylin將幫助我們進行計算，并將結(jié)果存儲到HBase中，為海量數(shù)據(jù)的查詢和分析提供亞秒級返...
-
Spark消息通信原理一.NettyRpcEnv主要組件 子組件TransportConf，Dispatcher，TransportClientFactory，TransportServer Tr...
-
Spark中RangePartitioner的實現(xiàn)機制分析
一.分區(qū)器的區(qū)別 HashPartitioner分區(qū)可能HashPartitioner導致每個分區(qū)中數(shù)據(jù)量的不均勻。 RangePartitioner分區(qū)盡量保證每個分區(qū)中數(shù)...
-
Spark任務輸出追蹤器MapOutputTracker詳解
一.什么是shuffle MapOutputTrancker用于跟蹤map任務的輸出狀態(tài)，此狀態(tài)便于reduce任務定位到map輸出結(jié)果所在的節(jié)點地址，進而獲取中間輸出結(jié)果，...
-
決策樹與隨機森林及其在SparkMllib中的使用一.概念 決策樹和隨機森林：決策樹和隨機森林都是非線性有監(jiān)督的分類模型。 決策樹是一種樹形結(jié)構(gòu)，樹內(nèi)部每個節(jié)點表示一個屬性上的測試，每個分支代表一個測試輸出，每個葉子節(jié)點代表...
-
Flink中指定Key的幾種方式
前言 在Flink中比如某些算子（join,coGroup,keyBy,groupBy）要求在數(shù)據(jù)元上定義key。另外有些算子操作，例如reduce，groupReduce，...
-
Flink中實用的小知識點整理
目錄 1、Flink使用WaterMark處理亂序事件2、累加器和計數(shù)器3、Window使用4、流的切分和合并5、任務鏈6、Flink消費kafka數(shù)據(jù)起始offset配置7...
-
有意思了??
《長安十二時辰》在講什么？
1. 《長安十二時辰》中有這樣一個橋段:皇帝派大太監(jiān)高力士傳口諭給靖安寺的司丞李必： 你替太子辦事，受了委屈，朕已經(jīng)知道了。 高喝退隨從，低聲問李，圣人的話，你聽明白了？李必...
-
這個品控手冊，助理不舍得讓我發(fā)……在寫這個品控手冊時，剛開始內(nèi)心很是拒絕，甚至感覺有點丟人。 畢竟這只是一個小號，大多數(shù)時候閱讀量不到 8000 。 「又沒多少人看，品控個什么鬼??？！」 心態(tài)扭轉(zhuǎn)的契機是某次...
-
轉(zhuǎn)角遇到愛——一套為前男友和丈夫準備的婚紗
我們今天失戀信物是：一套為前男友和丈夫準備的婚紗 感情的事情其實很奇怪的，說不好自己的另一半在哪里等著你！ 有時候真的是就是在轉(zhuǎn)角，只是看你有沒有努力去走到轉(zhuǎn)角。 1. 20...
-
Java消息系統(tǒng)簡單設計與實現(xiàn)前言：由于導師在我的畢設項目里加了消息系統(tǒng)（本來想水水就過的..），沒辦法...來稍微研究研究吧..簡單簡單... 需求分析 我的畢設是一個博客系統(tǒng)，類似于簡書這樣的，所以消...