1.新建maven工程2.點(diǎn)擊工程項(xiàng)目,添加scala語(yǔ)言環(huán)境(注意Spark有對(duì)應(yīng)的Scala版本信息)
今天看了一些專業(yè)的解釋,還是對(duì)ODS、DW和DM認(rèn)識(shí)不深刻,下班后花時(shí)間分別查了查它們的概念。 ODS——操作性數(shù)據(jù) DW——數(shù)據(jù)倉(cāng)庫(kù) DM——數(shù)據(jù)集市 1.數(shù)據(jù)中心整體架構(gòu)...
我們不造輪子,只是輪子的搬運(yùn)工。(其實(shí)最好是造輪子,造比別人好的輪子) 開(kāi)發(fā)中經(jīng)常會(huì)遇到excel的處理,導(dǎo)入導(dǎo)出解析等等,java中比較流行的用poi,但是每次都要寫(xiě)大段工...
IDEA配好scala直接plugin找scala ,下載sbt Spark下載http://spark.apache.org/downloads.html下載好后配置環(huán)境變...
腳本 !/bin/bashJAVA_OPTIONS_INITIAL=-Xms128MJAVA_OPTIONS_MAX=-Xmx512M_JAR_KEYWORDS=monito...
緩存穿透,緩存擊穿,緩存雪崩解決方案分析 前言 設(shè)計(jì)一個(gè)緩存系統(tǒng),不得不要考慮的問(wèn)題就是:緩存穿透、緩存擊穿與失效時(shí)的雪崩效應(yīng)。 緩存穿透 緩存穿透是指查詢一個(gè)一定不存在的數(shù)...
java.lang.OutOfMemoryError: Java heap space ,表示 Java 堆空間不足。當(dāng)應(yīng)用程序申請(qǐng)更多的內(nèi)存時(shí),若 Java 堆內(nèi)存己經(jīng)無(wú)法...
BIO:Accept線程分發(fā) 偽異步IO:線程池 NIO:緩沖區(qū)Buffer通道Channel多路復(fù)用Selector AIO: 對(duì)比:客戶端/線程數(shù)BIO:1/1偽異步IO...
Why統(tǒng)一各開(kāi)發(fā)人員版本。開(kāi)發(fā)組內(nèi)包共享。Docker鏡像管理。 步驟下載http://www.sonatype.com/download-oss-sonatype解壓后啟動(dòng)...
起因: 1205 lock wait timeout exceeded 原因: 鎖定的事務(wù)線程一直沒(méi)有commit或者rollback而是卡住了。 解決方案: SELECT ...
需求: 項(xiàng)目需要對(duì)收件人首字母進(jìn)行排序。 備選方案: 代碼排序(實(shí)現(xiàn)comparable<T>泛型接口):太費(fèi)時(shí)。mysql的order by convert('字段',gb...
What is ZooKeeper 由Hadoop項(xiàng)目衍生出來(lái)的分布式節(jié)點(diǎn)管理工具。 選舉機(jī)制 簡(jiǎn)單來(lái)說(shuō)就是超過(guò)半數(shù)的節(jié)點(diǎn)投票,id大的。 單機(jī)偽集群的搭建 解壓tar包后,...