發(fā)簡信
IP屬地：廣東
-
wsl 安裝mysql
一般情況下,ubuntu16.04安裝mysql只需要運(yùn)行以下命令即可: 但是,當(dāng)我在wsl上的ubuntu里運(yùn)行這個(gè)命令時(shí),卻出現(xiàn)以下問題:①...
-
3.2 Spark Streaming 性能調(diào)優(yōu)(二): 解決task傾斜
目錄1.系統(tǒng)架構(gòu)2.環(huán)境搭建2.1本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)2.2 kafka-manager的安裝與配置3.1 Spark Stream...
-
3.1 Spark Streaming 性能調(diào)優(yōu)(一): 提高并行度目錄1.系統(tǒng)架構(gòu)2.環(huán)境搭建2.1本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)2.2 kafka-manager的安裝與配置3.1 Spark Stream...
-
2.1 本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)目錄1.系統(tǒng)架構(gòu)2.環(huán)境搭建2.1本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)2.2 kafka-manager的安裝與配置3.1 Spark Stream...
-
2.2 kafka-manager的安裝與配置目錄1.系統(tǒng)架構(gòu)2.環(huán)境搭建2.1本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)2.2 kafka-manager的安裝與配置3.1 Spark Stream...
-
項(xiàng)目簡介
這個(gè)項(xiàng)目是基于spark streaming的日志分析系統(tǒng),每分鐘提交一次job,統(tǒng)計(jì)一分鐘內(nèi)的日志信息,同時(shí)也需要統(tǒng)計(jì)15分支內(nèi)的異常ip信息...
-
簡介
前言 公司的一個(gè)大數(shù)據(jù)項(xiàng)目是通過使用spark每隔一分鐘統(tǒng)計(jì)一次15分鐘內(nèi)的日志信息,一般40~50s左右就可以統(tǒng)計(jì)完,但是偶爾會(huì)出現(xiàn)某幾次任務(wù)...
-
1.系統(tǒng)架構(gòu)目錄1.系統(tǒng)架構(gòu)2.環(huán)境搭建2.1本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)2.2 kafka-manager的安裝與配置3.1 Spark Stream...
-
2.環(huán)境搭建
目錄1.系統(tǒng)架構(gòu)2.環(huán)境搭建2.1本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)2.2 kafka-manager的安裝與配置3.1 Spark Stream...
個(gè)人介紹
喜歡敲代碼,主后臺(tái)服務(wù)器方向,前端也會(huì)點(diǎn),巨乳人妻控,喜高達(dá),索粉,看動(dòng)漫,愛追番,手游、端游都愛玩