一.注解 1.@Target 注解 (1)功能： 指明了修飾的這個(gè)注解的使用范圍，即被描述的注解可以用在哪里。 (2)ElementType的取值包含以下幾種： TYPE:類...
發(fā)簡(jiǎn)信
IP屬地：山西
-
[java]多線程創(chuàng)建的三種方式對(duì)比
1.繼承Thread 優(yōu)點(diǎn):可以直接使用Thread類中的方法,代碼簡(jiǎn)單 缺點(diǎn):繼承Thread類之后就不能繼承其他的類 2.實(shí)現(xiàn)Runnable接口 優(yōu)點(diǎn):即時(shí)自定義類已經(jīng)...
-
Spark SQL實(shí)戰(zhàn):使用SparkSession創(chuàng)建DataFrame 執(zhí)行sql1.需求：在IDEA中編寫代碼，創(chuàng)建DataFrame 執(zhí)行sql命令： 2.數(shù)據(jù)源： student.txt 3.編寫代碼：(1)添加依賴：pom.xml (2)Demo1...
-
Spark Streaming實(shí)戰(zhàn):寫一個(gè)wordcount程序，統(tǒng)計(jì)從netcat中向端口發(fā)送的數(shù)據(jù)1.需求：通過spark streaming統(tǒng)計(jì)端口號(hào)1234中的信息 2.編寫代碼：(1)添加依賴： 記得去掉spark-streaming中的 provided (2)M...
-
Spark Streaming實(shí)戰(zhàn)：寫一個(gè)wordcount程序并計(jì)數(shù)，計(jì)算端口號(hào)1235中的信息1.需求：用spark Streaming寫一個(gè)wordcount程序，計(jì)算發(fā)往端口號(hào)1235中的信息(單詞計(jì)數(shù)) 2.代碼：(1)pom.xml (2)MyTotalNet...
-
SparkStearming實(shí)戰(zhàn)：集成Spark SQL，使用SQL語句進(jìn)行WordCount1.需求：集成Spark SQL，使用SQL語句進(jìn)行WordCount2.代碼：(1)pom.xml (2)MyNetwordWordCountWithSQL.scala 3...
-
SparkStreaming實(shí)戰(zhàn)：處理文件流1.需求：利用SparkStreaming處理文件流： 2.代碼：(1)pom.xml (2)FileStreaming.scala 3.運(yùn)行 4.結(jié)果：
-
SparkStreaming 實(shí)戰(zhàn)：處理RDD隊(duì)列流1.需求：利用SparkStreaming處理RDD隊(duì)列流2.代碼：(1)pom.xml (2) 3.運(yùn)行： 4.結(jié)果：
-
SparkStreaming實(shí)戰(zhàn)：處理來自flume push方式發(fā)來的數(shù)據(jù)1.需求：SparkStreaming處理來自flume push方式發(fā)來的數(shù)據(jù),即flume將數(shù)據(jù)推給spark Streaming 2.代碼：(1)pom.xml (2)...
-
SparkStreaming實(shí)戰(zhàn)：處理來自flume pull方式發(fā)來的數(shù)據(jù)
1.需求：處理來自flume pull方式發(fā)來的數(shù)據(jù) 2.代碼：(1)pom.xml (2)option2 option2 (3) FlumeLogPul.scala 3.將...
-
三十八天我寫了一堆水文
我是一個(gè)很懶的人，晚期拖延癥患者，為了與懶病作斗爭(zhēng)，我加入了日更計(jì)劃，每天都要寫，沒得寫也要硬著頭皮寫，可以說這個(gè)辦法管用，到目前已經(jīng)連寫了三十八天，對(duì)于我來說前所未有。但是...
-
Spark SQL實(shí)戰(zhàn):使用 case class 創(chuàng)建DataFrame1.需求：使用 case class 創(chuàng)建DataFrame 2.數(shù)據(jù)源： student.txt 3.編寫代碼(1)添加依賴：pom.xml (2)Demo2.scala ...
-
Spark SQL實(shí)戰(zhàn)：將結(jié)果寫入 Mysql1.需求：讀取本地student.txt，并創(chuàng)建DataFrame，并將結(jié)果寫入mysql數(shù)據(jù)庫中 2.數(shù)據(jù)源： student.txt 3.寫代碼： (1)添加依賴：pom...
-
Spark SQL實(shí)戰(zhàn)：使用Spark SQL 連接hive ，將統(tǒng)計(jì)結(jié)果存儲(chǔ)到 mysql中1.需求： 使用Spark SQL 連接hive ，讀取數(shù)據(jù)，將統(tǒng)計(jì)結(jié)果存儲(chǔ)到 mysql中 2.將寫好的代碼打包上傳的集群，然后提交spark運(yùn)行，前提是hive，HDFS...
-
Idea項(xiàng)目Tomcat啟動(dòng)常用參數(shù)配置及調(diào)優(yōu)
實(shí)際開發(fā)中，隨著業(yè)務(wù)量的增加，項(xiàng)目中的相關(guān)配置文件會(huì)不斷增多，而有的配置信息只需要在本地開發(fā)的時(shí)候需要加載，例如加密所需的jks文件，每個(gè)開發(fā)者的jks文件在本地存放的路徑不...
-
Spark:Spark使用textFile讀取本地文件時(shí)出錯(cuò)：org.apache.hadoop.mapred.InvalidInputException: Input path does no...1.錯(cuò)誤信息： 2.錯(cuò)誤原因：是因?yàn)樽约菏窃诖罱ǖ囊粋€(gè)spark集群上執(zhí)行這歌命令，而集群中每一個(gè)節(jié)點(diǎn)都要工作，都要找到自己節(jié)點(diǎn)的本地文件，因此需要每一個(gè)節(jié)點(diǎn)的路徑下都要存在...
-
-
Spark Core實(shí)戰(zhàn)：使用JDBC RDD操作數(shù)據(jù)庫1.需求：使用JDBC RDD 操作數(shù)據(jù)庫2.在數(shù)據(jù)庫中建表并插入數(shù)據(jù)： 3.添加JDBC驅(qū)動(dòng) 4.寫代碼： MyJDBCRddDemo.scala 5.結(jié)果：
個(gè)人介紹
寫一些自己在實(shí)際生產(chǎn)開發(fā)中使用過的當(dāng)下比較流行的技術(shù)點(diǎn)，總結(jié)自己在學(xué)習(xí)中的一些心得和一些底層原理在實(shí)際開發(fā)中的應(yīng)用。