來源:老顧聊技術 前言 在移動互聯(lián)網(wǎng),分布式、微服務盛行的今天,現(xiàn)在項目絕大部分都采用的微服務框架,前后端分離方式, (題外話:前后端的工作職責越來越明確,現(xiàn)在的前端都稱之為...
來源:老顧聊技術 前言 在移動互聯(lián)網(wǎng),分布式、微服務盛行的今天,現(xiàn)在項目絕大部分都采用的微服務框架,前后端分離方式, (題外話:前后端的工作職責越來越明確,現(xiàn)在的前端都稱之為...
一、引言 隨著企業(yè)系統(tǒng)的發(fā)展,應用多采用分布式結構,嚴重依賴于網(wǎng)絡的穩(wěn)定性。但由于網(wǎng)絡天生的不穩(wěn)定性,系統(tǒng)開發(fā)過程中需要考慮網(wǎng)絡不穩(wěn)定情況下如何保證應用的魯棒性。 設置網(wǎng)絡超...
前言 dubbo框架與spring boot整合,不需要導入其他的包,也不需要繁瑣的重復配置我這里使用的是idea+gradle4.8+spring boot2.x構建本項目...
這章會利用maven進行分模塊,并且引入dubbo和spring-boot,廢話不多說,就開始一步步的搭建。 分模塊 首先新建一個maven項目(其實目前好像更流行用grad...
SparkSession是spark sql的入口類: 涉及到的這些類源碼需要掌握: 1.SparkSession 2.Builder 3.DataFrameReader:各...
在讀源碼的過程中,發(fā)現(xiàn)了System的一些使用,現(xiàn)記錄一下System類源碼及其主要作用;System類代表系統(tǒng),系統(tǒng)級的很多屬性和控制方法都放置在該類的內部。該類位于jav...
Kafka為一個分布式的消息隊列,spark流操作kafka有兩種方式:一種是利用接收器(receiver)和kafaka的高層API實現(xiàn)。一種是不利用接收器,直接用kafk...
一、簡介 Spark SQL是Spark中處理結構化數(shù)據(jù)的模塊。與基礎的Spark RDD API不同,Spark SQL的接口提供了更多關于數(shù)據(jù)的結構信息和計算任務的運行時...
1 實戰(zhàn)環(huán)境 使用Spark-Shell進行練習,Spark-Shell就是一種特殊的SparkSubmit,所以如果你想要使用Spark-Submit的話就需要使用IDE開...