IP屬地：北京
-
對數(shù)收益率推導(dǎo)過程
收益率計算公式： ( 期末資產(chǎn) - 期初資產(chǎn) ) / 期初資產(chǎn)對數(shù)收益率：ln ( 期末資產(chǎn) / 期初資產(chǎn) )Rt 指日收益率 ； Pt 指...
-
【數(shù)倉】sqoop踩坑記錄
import 從mysql導(dǎo)出時select column不能聲明字段的導(dǎo)出順序，只能起到篩選作用。 import 嚴(yán)格按照mysql字段的存儲...
-
一種圖結(jié)構(gòu)的數(shù)據(jù)可視化方法GraphStream是構(gòu)建在Spark GraphX之上的第三方圖可視化工具。它雖然不屬于Spark項目，但對GraphX的支持很好，而且和G...
-
基于GraphFrames的圖計算方法
Spark生態(tài)有GraphX的圖計算模塊。但它有諸多缺點： 性能差，不能從DataFrame和Catalyst查詢優(yōu)化器提供的性能改進(jìn)中受益。 ...
-
【數(shù)倉】spark工作原理與階段劃分
概念解釋： Driver和Executor是Spark作業(yè)的工作進(jìn)程，兩者是協(xié)作關(guān)系，前者負(fù)責(zé)調(diào)度，后者負(fù)責(zé)執(zhí)行。application / j...
-
【數(shù)倉】Hive數(shù)倉的explode()炸裂函數(shù)詳解
我們知道數(shù)倉不滿足第一范式，也就是說數(shù)倉中的字段是可再分的，不滿足原子性，即DDL可以定義一個字段類型為數(shù)組。因此才有了explode()函數(shù)，...
-
【數(shù)倉】對比spark-hive的兩種分布式計算模式
最近在學(xué)習(xí)過程中發(fā)現(xiàn)SparkSQL、Hive on Spark、Spark on Hive是非常容易混淆的的概念。了解三者的關(guān)系前，先要先明白...
-
【后端】Nginx反向代理后獲取客戶端真實IP地址
用Nginx反向代理后，原先的HttpServletRequest獲取到的ip地址變成了反向代理服務(wù)器的地址。 要獲取客戶端的真實ip，修改ng...