1 spark sql寫入mysql非常慢 有這樣一個(gè)業(yè)務(wù)場(chǎng)景：需要將通過Spark處理之后的數(shù)據(jù)寫入MySQL，并在在網(wǎng)頁端進(jìn)行可視化輸出。Spark處理之后有大概40萬條...
發(fā)簡(jiǎn)信
IP屬地：黑龍江
-
spark3.x 生產(chǎn)調(diào)優(yōu)筆記
-
元數(shù)據(jù)管理
1 為什么需要數(shù)據(jù)治理？ 通過數(shù)據(jù)治理實(shí)現(xiàn)企業(yè)數(shù)據(jù)的標(biāo)準(zhǔn)化、提高數(shù)據(jù)質(zhì)量、提升業(yè)務(wù)處理的效率，為數(shù)據(jù)分析提供準(zhǔn)確的數(shù)據(jù)支撐，賦能業(yè)務(wù)，助力企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。大數(shù)據(jù)的數(shù)據(jù)管理...
-
hive3.x on spark3.0生產(chǎn)調(diào)優(yōu)實(shí)踐1 數(shù)據(jù)傾斜 絕大部分任務(wù)都很快完成，只有一個(gè)或者少數(shù)幾個(gè)任務(wù)執(zhí)行的很慢甚至最終執(zhí)行失敗，這樣的現(xiàn)象為數(shù)據(jù)傾斜現(xiàn)象。 將數(shù)據(jù)傾斜分為單表攜帶了 GroupBy 字段的查詢和兩...
-
Flink檢查點(diǎn)機(jī)制與狀態(tài)管理1 檢查點(diǎn)機(jī)制 1.1 CheckPoints 為了使 Flink 的狀態(tài)具有良好的容錯(cuò)性，F(xiàn)link 提供了檢查點(diǎn)機(jī)制 (CheckPoints) 。通過檢查點(diǎn)機(jī)制，F(xiàn)li...
-
智慧醫(yī)療 - 微服務(wù)最佳實(shí)踐
01 產(chǎn)品分析與定位 02 微服務(wù)架構(gòu)設(shè)計(jì) 以業(yè)務(wù)為中心 高內(nèi)聚低耦合 高度自治 彈性設(shè)計(jì) 日志與監(jiān)控 自動(dòng)化 03 實(shí)時(shí)消息推送技術(shù)演進(jìn) 接入層負(fù)載均衡基于http七層負(fù)載...
-
Flink Window API窗口（window）就是將無限流切割為有限流的一種方式，它會(huì)將流數(shù)據(jù)分發(fā)到有限大小的桶（bucket）中進(jìn)行分析 window類型 時(shí)間窗口（Time Window） 滾動(dòng)時(shí)...
-
用戶畫像 - 挖掘標(biāo)簽
RFM 用戶價(jià)值模型 1 需求 假設(shè)我是一個(gè)市場(chǎng)營(yíng)銷者, 在做一次活動(dòng)之前, 我可能會(huì)思考如下問題 誰是我比較有價(jià)值的客戶? 誰是比較有潛力成為有價(jià)值的客戶? 誰快要流失了?...