在Apache griffin搭建完成以后,基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù),陸續(xù)做了一些測(cè)試驗(yàn)證工作,主要應(yīng)用的measure中的profile類(lèi)型。在使用的過(guò)程中,遇到一個(gè)奇怪的問(wèn)題。...
在Apache griffin搭建完成以后,基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù),陸續(xù)做了一些測(cè)試驗(yàn)證工作,主要應(yīng)用的measure中的profile類(lèi)型。在使用的過(guò)程中,遇到一個(gè)奇怪的問(wèn)題。...
我們面臨的問(wèn)題 隨著接入產(chǎn)品的日益增多,以及數(shù)據(jù)倉(cāng)庫(kù)表、字段的日益豐富,數(shù)據(jù)側(cè)和策略側(cè)對(duì)數(shù)據(jù)質(zhì)量的關(guān)注,越發(fā)的迫切;如何能夠快速、高效的對(duì)核心數(shù)據(jù)資產(chǎn),有一個(gè)清晰的認(rèn)...
最近由于疫情在家辦公,事情比較多(主要在各種溝通和會(huì)上),一直沒(méi)有更新;正好工作中有個(gè)case, 用到啦spark streaming, 所以隨手記錄一下,遇到的問(wèn)題; 背景...
在工作中需要計(jì)算指定時(shí)間段內(nèi)的某產(chǎn)品新增用戶,可以實(shí)現(xiàn)的技術(shù)方案有多種,比如Spark StructedStreaming和 Flink Streaming。下面以Flink...
Flink內(nèi),任務(wù)的提交執(zhí)行通過(guò)調(diào)用StreamExecutionEnvironment類(lèi)的execute方法,在這個(gè)過(guò)程中,flink會(huì)構(gòu)建代表任務(wù)的StreamGraph...
在Flink內(nèi)提交任務(wù)時(shí),命令行命令入下: flink run -c com.qihoo.anti.bootup coverage-stat-flink-1.0.jar 通過(guò)...
在最近的工作中,涉及到很多的數(shù)據(jù)流程,需要去維護(hù)和監(jiān)控,耗費(fèi)了不少的人力,但是效果卻不理想。數(shù)據(jù)接入作為工作中基礎(chǔ)的一環(huán),數(shù)據(jù)接入的可靠性和穩(wěn)定性,對(duì)后期業(yè)務(wù)的影響很大。為了...