發(fā)簡信
IP屬地：甘肅
-
markdown快速入門http://www.itdecent.cn/p/q81RER 一級標(biāo)題 二級標(biāo)題 三級標(biāo)題 四級標(biāo)題 五級標(biāo)題 六級標(biāo)題 無序列表 java...
-
阿里云主機(jī)購買及網(wǎng)站域名綁定教程網(wǎng)站上線步驟 購買云服務(wù)器主機(jī)購買域名ICP備案系統(tǒng)安裝及環(huán)境配置網(wǎng)站安裝部署域名解析及端口映射 購買云服務(wù)器主機(jī) 目前，云計(jì)算近年以每年32%...
-
Spark項(xiàng)目之簡書百萬用戶動態(tài)分析與查詢展示先看下數(shù)據(jù)分析的結(jié)果大概長什么樣！ 這個(gè)項(xiàng)目主要是對簡書所有用戶的動態(tài)做分析。 0.分析什么 說是對動態(tài)做分析，啥是動態(tài)？就像你微信朋友圈的發(fā)表...
-
簡書用戶動態(tài)信息爬蟲
第一步 爬取簡書推薦用戶 爬取簡書推薦用戶，加入到用戶信息表（第一批用戶） 第二步 從推薦用戶出發(fā)，爬取每個(gè)推薦用戶的全部粉絲，加入到用戶信息表...
-
Spark性能調(diào)優(yōu)-數(shù)據(jù)傾斜調(diào)優(yōu)1. 數(shù)據(jù)傾斜發(fā)生時(shí)的現(xiàn)象 絕大多數(shù)task執(zhí)行得都非?？?，但個(gè)別task執(zhí)行極慢。比如，總共有1000個(gè)task，997個(gè)task都在1分鐘之...
-
Spark性能調(diào)優(yōu)-數(shù)據(jù)本地化調(diào)優(yōu)1. task數(shù)據(jù)本地化級別 (1) PROCESS_LOCAL：進(jìn)程本地化 (2) NODE_LOCAL：節(jié)點(diǎn)本地化 (3) NO_PREF：...
-
Spark性能調(diào)優(yōu)-代碼調(diào)優(yōu)1. 概述 代碼調(diào)優(yōu)，就是要讓大家了解以下一些Spark基本開發(fā)原則，包括：RDD lineage設(shè)計(jì)、算子的合理使用、特殊操作的優(yōu)化等。在開發(fā)...
-
Spark性能調(diào)優(yōu)-資源調(diào)優(yōu)1. 概述 在開發(fā)完Spark作業(yè)之后，就該為作業(yè)配置合適的資源了。Spark的資源參數(shù)，基本都可以在spark-submit命令中作為參數(shù)設(shè)置...
-
Spark中廣播變量和累加器一、前述 Spark中因?yàn)樗阕又械恼嬲壿嬍前l(fā)送到Executor中去運(yùn)行的，所以當(dāng)Executor中需要引用外部變量時(shí)，需要使用廣播變量。 累...