簡介 Spark SQL是Spark用來處理結構化數據的一個模塊，它提供了一個編程抽象叫做DataFrame(底層也是RDD)并且作為分布式SQL查詢引擎的作用。 引入 Hi...
發(fā)簡信
IP屬地：重慶
-
Spark SQL -
spark-CoreRDD解決的問題:1.中間結果保存在內存中,并且重用2.提供了通用的抽象的分布式的數據模型3.提供了多種數據操作模式(支持函數式編程):如map,ruduce,foreach...
-
Spark_簡單介紹介紹:Spark是用于大規(guī)模數據處理的統(tǒng)一分析引擎 spark的引入:雖然MapReduce提供了對數據訪問和計算的抽象，但是對于數據的復用就是簡單的將中間數據寫到一個穩(wěn)定的...
-
Hive的基本的概述即使用參考
1.Hive的概述 √ 意義：在于大幅度降低工程師學習MapReduce的學習成本，讓好用（計算速度快）的MapReduce更方便的使用（使用簡單） √ 基本概念：Hive是...
-
SparkStreaming接收Kafka中數據的兩種方式
kafka版本說明 0.8版本有Receiver和Direct模式 0.10以后只保留了direct模式 receiver接收方式 Receiver是使用Kafka的高層次C...
-
YARN的運行流程簡要步驟
1.client 向 ResourceManager提交應用程序，其中包括啟動該應用的 ApplicationMaster 的必須信息，例如 ApplicationMaste...
-
MapReduce的shuffle階段
map端的shuffle: 每個maptask的數據會進入環(huán)形緩沖區(qū)中,(默認100M,溢出比是80%),數據在寫入時,會進行分區(qū),往數據中添加一個分區(qū)屬性,當數據寫入到80...
-
初識MapReduce的八個步驟
Map階段2個步驟 第一步：設置inputFormat類，將我們的數據切分成key，value對，輸入到第二步 第二步：自定義map邏輯，處理我們第一步的輸入數據，然后轉換成...
-
HDFS文件寫入的簡要步驟
1、client發(fā)起文件上傳請求，通過RPC與NameNode建立通訊，NameNode檢查目標文件是否已存在，父目錄是否存在，返回是否可以上傳； 2、client請求第一個...
-
Kafka(分布式消息隊列)的基本認識
作用(用于消息中間件) 1.可以作為緩沖(流量消減)--防止高并發(fā) 2.分布式 3.解耦合 分片機制 簡要介紹: 1.Kafka可以將主題劃分為多個分區(qū)（Partition)...
-
Redis(內存數據庫)的兩種持久化機制認識
RDB: 介紹: 一種基于快照機制實現的持久化方案, 會將一個服務器某個時刻的一個狀態(tài)整體保存下來.快照文件非常小,一般只有幾kb左右. 優(yōu)點: 持久化的文件非常小,適合于做...
-
Dubbo的簡要執(zhí)行流程
1. 服務器啟動，運行服務提供者。 2. 服務提供者在啟動時，向注冊中心(zookeeper)注冊自己提供的服務。 3. 服務消費者在啟動時，向注冊中心訂閱自己所需的服務。 ...
-
Hi，很高興在@IT·互聯(lián)網專題遇見你。 收錄范圍：收錄IT&互聯(lián)網行業(yè)觀察與思考，數碼產品極客體驗分析等類型文章 投稿須知：http://www.itdecent.cn/p/4edc76104c27 專題主編：@若錦 http://www.itdecent.cn/u/e4c63b354a77 官方社群：可聯(lián)系添加 @若錦 加入專題官方社群交流、學習，添加時備注簡書ID。
-
如果你是程序員，或者有一顆喜歡寫程序的心，喜歡分享技術干貨、項目經驗、程序員日常囧事等等，歡迎投稿《程序員》專題。 專題主編：小彤花園 http://www.itdecent.cn/users/4a4eb4feee62/ 【程序員】專題拒稿指北：http://www.itdecent.cn/p/7c8b33b5f63b 投稿須知： 1.收錄相關技術文章，但不限于技術，也可以是項目經驗類的文章和程序員日常。 2.文章內不得有任何推廣信息。包括但不限于公眾號、微博、微信，更不得在通過投稿后再修改文章加入推廣信息。你可以將這些推廣以及個人信息放在個人主頁介紹里。 3.字數極少，段落混亂，大段代碼沒有放到代碼框的文章不收錄 4.不相關的內容不收錄，請確認文章內容和本專題相關 目前針對優(yōu)質作者及愛好者，開設了官方程序員微信群，希望加入請發(fā)簡信給主編小彤花園索取個人微信，主編會將你加入到【程序員】微信群，分享內容，收獲知識。添加微信時備注昵稱。
