支付：交易、清分、結算縱向：支付場景、支付收銀臺、支付核心服務、支付清結算服務橫向：銀行傳統(tǒng)三塊業(yè)務：存款、貸款、中間收入，支付屬于中間收入。 支付一直在演進1、支付載體：卡...
發(fā)簡信
IP屬地：西藏
-
-
Haddop：MapreduceHadoop的核心思想之一是mapreduce（分布式計算框架）Compute：計算層（處理層）HDFS：分治 一、What? 什么是MR 1、過濾性別為0的循環(huán)處理每行記錄...
-
-
維度建模：緩慢變化維SCD緩慢變化維（Slowly Changing Dimension）就是變化相對緩慢（相對與快速變化的事實表來說）的維度。 在維度建模理論中，有8種處理方式，包括基礎的5種以及混...
-
HIVE：常用分析函數(shù)
1、lag() over() lag(pay_succ_time, 1, '1990-01-01 00:00:00') over(partition by user_pin ...
-
三大性質(zhì)總結：原子性，有序性，可見性原創(chuàng)文章&經(jīng)驗總結&從校招到A廠一路陽光一路滄桑 詳情請戳www.codercc.com 1. 三大性質(zhì)簡介 在并發(fā)編程中分析線程安全的問題時往往需要切入點，那就是兩大核心：...
-
MapReduce過程、Spark和Hadoop以Shuffle為中心的對比分析
mapreduce與Spark的map-Shuffle-reduce過程 mapreduce過程解析（mapreduce采用的是sort-based shuffle） 將獲取...
-
謝謝，大數(shù)據(jù)入門階段
Haddop：HDFS
HDFS體系結構 HDFS采用了主從（Master/Slave）結構模型，一個HDFS集群是由一個NameNode和若干個DataNode組成。其中NameNode作為主服務...
-
Haddop：HDFSHDFS體系結構 HDFS采用了主從（Master/Slave）結構模型，一個HDFS集群是由一個NameNode和若干個DataNode組成。其中NameNode作為主服務...
-
HIVE：小文件合并
HDFS非常容易存儲大數(shù)據(jù)文件，如果Hive中存在過多的小文件會給namecode帶來巨大的性能壓力。同時小文件過多會影響JOB的執(zhí)行，hadoop會將一個job轉換成多個t...
-
HIVE：數(shù)據(jù)傾斜
1、什么是數(shù)據(jù)傾斜？ 數(shù)據(jù)分布不均勻，造成數(shù)據(jù)大量的集中到一點，造成數(shù)據(jù)熱點 2、Hadoop 框架的特性 A、不怕數(shù)據(jù)大，怕數(shù)據(jù)傾斜B、Jobs 數(shù)比較多的作業(yè)運行效率相對...
-
大數(shù)據(jù)數(shù)據(jù)倉庫建設前言 互聯(lián)網(wǎng)行業(yè)，除了數(shù)據(jù)量大之外，業(yè)務時效性要求也很高，甚至很多是要求實時的， 另外，互聯(lián)網(wǎng)行業(yè)的業(yè)務變化非?？?，不可能像傳統(tǒng)行業(yè)一樣，可以使用自頂向下的方法建立數(shù)據(jù)倉庫，...
-
數(shù)據(jù)倉庫：架構的演變發(fā)展 離線大數(shù)據(jù)架構數(shù)據(jù)倉庫概念是Inmon于1990年提出并給出了完整的建設方法。隨著互聯(lián)網(wǎng)時代來臨，數(shù)據(jù)量暴增，開始使用大數(shù)據(jù)工具來替代經(jīng)典數(shù)倉中的傳統(tǒng)工具。此時僅僅是工...
-
Kimball維度建模前言 維度模型是數(shù)據(jù)倉庫領域另一位大師Ralph Kimall所倡導，他的《The DataWarehouse Toolkit-The Complete Guide to D...
-
LeetCode高頻100【2】目錄 【2】 46. Permutations（Medium） Given a collection of distinct integers, return all pos...
