IF...ELSE 語句 簡介 ??Scala IF...ELSE 語句是通過一條或多條語句的執(zhí)行結(jié)果（True或者False）來決定執(zhí)行的代碼塊。 ??可以通過下圖來簡單了...
發(fā)簡信
IP屬地：北京
-
4.程序控制語句 -
3.包和引入
包的作用和定義 同java中的包,Scala中的包主要用于大型工程代碼的組織同時也解決命名沖突的問題。Scala中的包與java有著諸多的相似之處，但Scala語言中的包更加...
-
2.數(shù)據(jù)類型簡介 ??Scala的基本數(shù)據(jù)類型與Java中的基本數(shù)據(jù)類型是一一對應(yīng)的，不同的是Scala的基本數(shù)據(jù)類型頭字母必須大寫。 類型變量定義 整數(shù)類型變量定義 浮點類型變量定義 ...
-
1.初識scala簡介 ??Scala(Scala Language的簡稱)語言是一種能夠運行于JVM和.Net平臺之上的通用編程語言，既可用于大規(guī)模應(yīng)用程序開發(fā)，也可用于腳本編程。 ??Sc...
-
14.spark mllib之快速入門
簡介 MLlib是Spark提供提供機器學(xué)習(xí)的庫，專為在集群上并行運行的情況而設(shè)計。MLlib包含很多機器學(xué)習(xí)算法，可在Spark支持的所有編程語言中使用。 MLlib設(shè)計理...
-
13.spark streaming之快速入門簡介 ??Spark Streaming是Spark核心API的擴展，可以實現(xiàn)可伸縮、高吞吐量、具備容錯機制的實時流時數(shù)據(jù)的處理。支持多種數(shù)據(jù)源，比如Kafka、Flume、...
-
12.spark sql之讀寫數(shù)據(jù)
簡介 ??Spark SQL支持多種結(jié)構(gòu)化數(shù)據(jù)源，輕松從各種數(shù)據(jù)源中讀取Row對象。這些數(shù)據(jù)源包括Parquet、JSON、Hive表及關(guān)系型數(shù)據(jù)庫等。 ??當(dāng)只使用一部分字...
-
11.spark sql之RDD轉(zhuǎn)換DataSet
簡介 ??Spark SQL提供了兩種方式用于將RDD轉(zhuǎn)換為Dataset。 使用反射機制推斷RDD的數(shù)據(jù)結(jié)構(gòu) ??當(dāng)spark應(yīng)用可以推斷RDD數(shù)據(jù)結(jié)構(gòu)時，可使用這種方式。...
-
10.spark sql之快速入門
前世今生 Hive&Shark ??隨著大數(shù)據(jù)時代的來臨，Hadoop風(fēng)靡一時。為了使熟悉RDBMS但又不理解MapReduce的技術(shù)人員快速進行大數(shù)據(jù)開發(fā)，Hive應(yīng)運而生...
-
9.spark core之共享變量簡介 ??spark執(zhí)行操作時，可以使用驅(qū)動器程序Driver中定義的變量，但有時這種默認(rèn)的使用方式卻并不理想。 集群中運行的每個任務(wù)都會連接驅(qū)動器獲取變量。如果獲取的變量比...
-
JavaScript基礎(chǔ)入門教程概述 簡介 ??JavaScript是一種輕量級的腳本語言,是可插入HTML頁面的編程代碼。JavaScript插入HTML頁面后，由所有的現(xiàn)代瀏覽器執(zhí)行。 組成部分 ECM...
-
玩轉(zhuǎn)大數(shù)據(jù)
-
3.spark運行模式
spark支持的運行模式：本地模式、本地集群模式、standalone模式、yarn模式及mesos模式。 本地模式 local、local[N]或local[N,maxRe...
-
2.spark基本概念
Application 用戶編寫的Spark應(yīng)用程序。Application的main方法為應(yīng)用程序的入口，用戶通過Spark的API，定義了RDD和對RDD的操作。 Job...
-
1.spark簡介
spark是一個用于大規(guī)模數(shù)據(jù)處理的統(tǒng)一計算引擎。適用于各種各樣原先需要多種不同的分布式平臺處理的場景，包括批處理、迭代計算、交互式查詢、流處理。通過統(tǒng)一的框架將各種處理流程...
-
8.spark core之讀寫數(shù)據(jù)
??spark支持多種數(shù)據(jù)源，從總體來分分為兩大部分：文件系統(tǒng)和數(shù)據(jù)庫。 文件系統(tǒng) ??文件系統(tǒng)主要有本地文件系統(tǒng)、Amazon S3、HDFS等。 ??文件系統(tǒng)中存儲的文件...
-
個人網(wǎng)站 : http://www.xcan.top 個人店鋪: 鞋盒: https://shop117015562.taobao.com/ 男裝: https://shop469108515.taobao.com/ Hadoop,Hbase,Hive,Spark,Apache Kafka,Apache Storm,Map reduce,SQOOP,Zookeeper
-
大數(shù)據(jù)，數(shù)據(jù)庫，AI, sql等
-
大數(shù)據(jù)，收錄大數(shù)據(jù)相關(guān)技術(shù)的文章。
-
7.spark core之?dāng)?shù)據(jù)分區(qū)
簡介 ??spark一個最重要的特性就是對數(shù)據(jù)集在各個節(jié)點的分區(qū)進行控制。控制數(shù)據(jù)分布可以減少網(wǎng)絡(luò)開銷，極大地提升整體性能。??只有Pair RDD才有分區(qū)，非Pair RD...
個人介紹