簡書社區(qū)內(nèi)容管理公告 近期簡書依照《網(wǎng)絡安全法》《互聯(lián)網(wǎng)信息服務管理辦法》《互聯(lián)網(wǎng)新聞信息服務管理規(guī)定》等相關法律法規(guī)，對社區(qū)內(nèi)容進行調(diào)整，調(diào)整期間會出現(xiàn)文章鎖定情況，簡書運...
發(fā)簡信
IP屬地：內(nèi)蒙古
-
為什么文章會被鎖定，被鎖定如何解鎖？
-
安裝kafkaKafka的一些概念 Broker ： 安裝Kafka服務的那臺集群就是一個broker（broker的id要全局唯一） Producer ：消息的生產(chǎn)者，負責將數(shù)據(jù)寫入到b...
-
-
Spark RDD的依賴關系RDD和它依賴的父RDD（s）的關系有兩種不同類型，即窄依賴（narrow dependency）和 寬依賴（wide dependency） 窄依賴： 一：map、filt...
-
用Spark實現(xiàn)多種方式的排序
方式一： package Day05 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, ...
-
SparkSQl的使用
SparkSql現(xiàn)在有兩個版本，方式如下： 方式一:使用sql版本 //提交的這個程序可以連接到spark集群中 val conf =new SparkConf().s...
-
關于Spark序列化的編程題
現(xiàn)有100W+條數(shù)據(jù)，格式如下： 3|2016年9月16日,星期五,23:13:09|192.168.1.102|那誰|武士|男|27|0|175510/800000000 ...
-
Spark RDD的checkpoint機制1.什么時候使用checkpoint （1）迭代計算，要求保證數(shù)據(jù)安全 （2）對速度要求不高（跟cache進行對比） （3）將中間結果保存到hdfs //設置checkpoi...
-
Spark RDD API1.aggregate: 先進行局部聚合，在進行全局聚合 val z = sc.parallelize(List(1,2,3,4,5,6), 2) z.mapPartiti...
