SSL(Secure Sockets Layer (SSL) and Transport Layer Security (TLS))被設計為加強Web安全傳輸(HTTP/HT...
SSL(Secure Sockets Layer (SSL) and Transport Layer Security (TLS))被設計為加強Web安全傳輸(HTTP/HT...
學到死都學不完,新技術又層出不窮
大數(shù)據(jù)平臺技術棧技術棧全貌 下面自底向上介紹各個層的主要項目。 1 采集層和傳輸層 Sqoop 在hadoop和關系型數(shù)據(jù)庫之間轉換數(shù)據(jù)。 Flume Flume是一個分布式的高可用的數(shù)據(jù)收...
前言Hadoop2.0之前,NameNode是單個集群的故障點,NameNode作為集群首腦,存放著集群中所有的元數(shù)據(jù),一旦節(jié)點出錯,將導致整個集群不可用。為了解決這個問題,...
I/O是任何一個程序設計者都無法忽略的存在,很多高級編程語言都在嘗試使用巧妙的設計屏蔽I/O的實際存在,減小它對程序的影響,但是要真正的理解并更好運用這些語言,還是要搞清楚I...
前言 最近有些朋友在面試阿里,加上 Java-Interview 項目的原因也有小伙伴和我討論,近期也在負責部門的招聘,這讓我想起年初那段長達三個月的奇葩面試經歷??。 本來沒...
本文基于Spark 1.3.1,Standalone模式 一個Spark Application分為stage級別和task級別的調度,stage級別的調度已經用[DAGSc...
今天注冊了賬號,因為有三年來有太多太多的話憋在心里,怕自己有一天突然走了就說不出來了。里面的每一句話都是我的親身真實經歷 我是一名93年的女孩,與白血病已斗爭三年半了,從化療...
自馮諾依曼開啟大計算機時代以來,經過近一個世紀的蓬勃發(fā)展,已然成為一個人才眾多的群體:IT江湖。 依附市場規(guī)律,江湖上悄然興起數(shù)十宗門,其中以AI,大數(shù)據(jù)近期最為熱門。 每個...
一、分布式的兩大場景 數(shù)據(jù)存儲的分布式 服務的分布式 二、數(shù)據(jù)存儲的分布式 比如海量數(shù)據(jù),單機存儲不下,需要多機,以集群的方式存儲,即為數(shù)據(jù)的分布式存儲,數(shù)據(jù)存儲的分布式一般...
Spark提供的所有計算,不管是批處理,Spark SQL,Spark Streaming還是Spark ML,它們底層都是通過RDD計算。所以這里就以RDD方式簡單上手。首...
micro-batches Processing & Continuous Processing Structured Streaming 在Apache Spark 2.0...
開發(fā)工具 scala 2.11.8 jdk8 intellij idea 2017(scala plugin) maven(3.3.9) 導入源碼(多種方式): 安裝git...