發(fā)簡信
IP屬地：內(nèi)蒙古
-
Spark-SQL
1. 開始使用spark SQL 1.1 Spark SQL CLI 可以使用本地命令行的方式使用Spark SQL查詢 【注意】Spark S...
-
kafka生產(chǎn)者及問題記錄1.生產(chǎn)者API 1.1 定義 自定義數(shù)據(jù)流向kafka集群中的TOPIC發(fā)送數(shù)據(jù)的應(yīng)用程序就是kafka生產(chǎn)者。 注意：在0.10.0的官方文...
-
Dataset API
DataSet在spark中被稱為類型化API，在編譯時(shí)就會(huì)檢查類型，而DF在運(yùn)行時(shí)才會(huì)檢查。DataSet具有嚴(yán)格JVM語言特性，僅在Scal...
-
結(jié)構(gòu)化API
概述 結(jié)構(gòu)化API可以用來處理各種數(shù)據(jù)類型，包括非結(jié)構(gòu)化的日志文件、半結(jié)構(gòu)化的csv文件以及結(jié)構(gòu)化的parquet文件。Spark中的結(jié)構(gòu)化AP...
-
概述
一、Spark中的部分概念 1、DataFrame：一種結(jié)構(gòu)化的API 2、窄依賴與寬依賴 窄依賴：多分區(qū)輸入與多分區(qū)輸出形成一對一映射，每個(gè)輸...
-
第一章 天災(zāi)
楔子：傳說世間有月下老人者，于數(shù)千百年前修成真神，掌管人間姻緣；凡間亦有紅娘者，是為月下老人之使者，每每代老人成就人間好事。 ...
個(gè)人介紹
公司：天下第一大幫-丐幫
職位：丐幫第108代入門級弟子
個(gè)人經(jīng)歷：師從洪幫主第90代傳人，學(xué)習(xí)降龍之術(shù)。資質(zhì)愚鈍，尚未入門。
職位：丐幫第108代入門級弟子
個(gè)人經(jīng)歷：師從洪幫主第90代傳人，學(xué)習(xí)降龍之術(shù)。資質(zhì)愚鈍，尚未入門。