發(fā)簡(jiǎn)信
IP屬地：北京
-
Apache griffin 正則表達(dá)式前后端交互問(wèn)題在Apache griffin搭建完成以后，基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)，陸續(xù)做了一些測(cè)試驗(yàn)證工作，主要應(yīng)用的measure中的profile類型。在使用...
-
Apache griffin的搭建及應(yīng)用我們面臨的問(wèn)題 隨著接入產(chǎn)品的日益增多，以及數(shù)據(jù)倉(cāng)庫(kù)表、字段的日益豐富，數(shù)據(jù)側(cè)和策略側(cè)對(duì)數(shù)據(jù)質(zhì)量的關(guān)注，越發(fā)的迫切；如何能夠快速、高效的...
-
Spark Streaming中的scheduling delay問(wèn)題最近由于疫情在家辦公，事情比較多（主要在各種溝通和會(huì)上），一直沒(méi)有更新；正好工作中有個(gè)case, 用到啦spark streaming， 所以隨...
-
Flink內(nèi)window機(jī)制的實(shí)現(xiàn)和應(yīng)用在工作中需要計(jì)算指定時(shí)間段內(nèi)的某產(chǎn)品新增用戶，可以實(shí)現(xiàn)的技術(shù)方案有多種，比如Spark StructedStreaming和 Flink Str...
-
Flink內(nèi)如何生成StreamGraphFlink內(nèi)，任務(wù)的提交執(zhí)行通過(guò)調(diào)用StreamExecutionEnvironment類的execute方法，在這個(gè)過(guò)程中，flink會(huì)構(gòu)建代...
-
Flink任務(wù)提交過(guò)程源碼解析在Flink內(nèi)提交任務(wù)時(shí)，命令行命令入下： flink run -c com.qihoo.anti.bootup coverage-stat-f...
-
Airflow使用本地時(shí)區(qū)（修改源碼）在最近的工作中，涉及到很多的數(shù)據(jù)流程，需要去維護(hù)和監(jiān)控，耗費(fèi)了不少的人力，但是效果卻不理想。數(shù)據(jù)接入作為工作中基礎(chǔ)的一環(huán)，數(shù)據(jù)接入的可靠性和穩(wěn)定...