發(fā)簡(jiǎn)信
IP屬地：浙江
-
spark-mongodb簡(jiǎn)單上手
Spark提供的所有計(jì)算，不管是批處理，Spark SQL，Spark Streaming還是Spark ML，它們底層都是通過RDD計(jì)算。所以...
-
Spark Structured Streaming2.3兩種計(jì)算模式micro-batches Processing & Continuous Processing Structured Streaming 在A...
-
spark 源碼閱讀及調(diào)試環(huán)境搭建開發(fā)工具 scala 2.11.8 jdk8 intellij idea 2017(scala plugin) maven(3.3.9) 導(dǎo)入...
-
大數(shù)據(jù)存儲(chǔ)引擎筆記大數(shù)據(jù)存儲(chǔ)引擎之哈希 數(shù)據(jù)結(jié)構(gòu)就是鍵值對(duì) 優(yōu)點(diǎn)：檢索快 缺點(diǎn)：不支持范圍掃描 如果數(shù)據(jù)都在內(nèi)存中，那就很快的，比如常用redis 作為緩存組件（...
-
spark on yarn集群搭建Hadoop yarn集群搭建 1. 修改host 主節(jié)點(diǎn)：192.168.3.187 L-AP-3-187從節(jié)點(diǎn)：192.168.3.18...
-
java 查找最長(zhǎng)連續(xù)子序列
背景： 最近工作需要，要給銀行查看報(bào)關(guān)業(yè)務(wù)持續(xù)時(shí)間最長(zhǎng)的企業(yè)，并求出連續(xù)年均漲幅，因此需要找出連續(xù)的年份，就自己寫了個(gè)方法： 1，對(duì)list排序...
-
mongo spark加載數(shù)據(jù)不全的bug fix最近開始做大數(shù)據(jù)，數(shù)據(jù)庫(kù)mongodb,計(jì)算用的spark,加載數(shù)據(jù)用的mongo-spark connector官方連接器，mongo 在加載...
-
mongodb double 精度解決方案mongodb double精度問題所學(xué)到的知識(shí) 背景介紹： 由于目前本人在做一個(gè)涉及計(jì)費(fèi)的一個(gè)項(xiàng)目，中間有統(tǒng)計(jì)計(jì)費(fèi)，比如一個(gè)公司合同下 每個(gè)賬...
-
常見設(shè)計(jì)模式
簡(jiǎn)單工廠 工廠方法 抽象工廠 單例模式 策略模式 觀察者模式 責(zé)任鏈模式 裝飾者模式 適配器模式 代理模式 門面模式 狀態(tài)模式 命令模式 模板方法模式