發(fā)簡(jiǎn)信
IP屬地：香港
-
支付方法論支付：交易、清分、結(jié)算縱向：支付場(chǎng)景、支付收銀臺(tái)、支付核心服務(wù)、支付清結(jié)算服務(wù)橫向：銀行傳統(tǒng)三塊業(yè)務(wù)：存款、貸款、中間收入，支付屬于中間收入。 ...
-
Haddop：MapreduceHadoop的核心思想之一是mapreduce（分布式計(jì)算框架）Compute：計(jì)算層（處理層）HDFS：分治 一、What? 什么是MR 1、...
-
維度建模：事實(shí)表維度建模數(shù)倉(cāng)領(lǐng)域中的事實(shí)表大致分以下三種： a. 事務(wù)事實(shí)表b. 周期快照事實(shí)表c. 累計(jì)快照事實(shí)表 一、事務(wù)事實(shí)表（稀疏表，相當(dāng)于流水表） 事...
-
維度建模：緩慢變化維SCD緩慢變化維（Slowly Changing Dimension）就是變化相對(duì)緩慢（相對(duì)與快速變化的事實(shí)表來(lái)說(shuō)）的維度。 在維度建模理論中，有8種...
-
HIVE：常用分析函數(shù)
1、lag() over() lag(pay_succ_time, 1, '1990-01-01 00:00:00') over(partiti...
-
Haddop：HDFSHDFS體系結(jié)構(gòu) HDFS采用了主從（Master/Slave）結(jié)構(gòu)模型，一個(gè)HDFS集群是由一個(gè)NameNode和若干個(gè)DataNode組成。...
-
HIVE：小文件合并
HDFS非常容易存儲(chǔ)大數(shù)據(jù)文件，如果Hive中存在過(guò)多的小文件會(huì)給namecode帶來(lái)巨大的性能壓力。同時(shí)小文件過(guò)多會(huì)影響JOB的執(zhí)行，hado...
-
HIVE：數(shù)據(jù)傾斜
1、什么是數(shù)據(jù)傾斜？ 數(shù)據(jù)分布不均勻，造成數(shù)據(jù)大量的集中到一點(diǎn)，造成數(shù)據(jù)熱點(diǎn) 2、Hadoop 框架的特性 A、不怕數(shù)據(jù)大，怕數(shù)據(jù)傾斜B、Job...
-
HIVE ：行列轉(zhuǎn)換
舉個(gè)栗子 a b 1a b 2a b 3c d ...