Hadoop的核心思想之一是mapreduce（分布式計(jì)算框架）Compute：計(jì)算層（處理層）HDFS：分治 一、What? 什么是MR 1、過濾性別為0的循環(huán)處理每行記錄...
發(fā)簡(jiǎn)信
IP屬地：陜西
-
Haddop：Mapreduce -
維度建模：緩慢變化維SCD緩慢變化維（Slowly Changing Dimension）就是變化相對(duì)緩慢（相對(duì)與快速變化的事實(shí)表來說）的維度。 在維度建模理論中，有8種處理方式，包括基礎(chǔ)的5種以及混...
-
LeetCode-SQL【UNLOCK】
目錄 175 Combine Two Tables E 176 Second Highest Salary E 177 Nth Highest Salary M 1...
-
HIVE：小文件合并
HDFS非常容易存儲(chǔ)大數(shù)據(jù)文件，如果Hive中存在過多的小文件會(huì)給namecode帶來巨大的性能壓力。同時(shí)小文件過多會(huì)影響JOB的執(zhí)行，hadoop會(huì)將一個(gè)job轉(zhuǎn)換成多個(gè)t...
-
三大性質(zhì)總結(jié)：原子性，有序性，可見性原創(chuàng)文章&經(jīng)驗(yàn)總結(jié)&從校招到A廠一路陽(yáng)光一路滄桑 詳情請(qǐng)戳www.codercc.com 1. 三大性質(zhì)簡(jiǎn)介 在并發(fā)編程中分析線程安全的問題時(shí)往往需要切入點(diǎn)，那就是兩大核心：...
-
MapReduce過程、Spark和Hadoop以Shuffle為中心的對(duì)比分析
mapreduce與Spark的map-Shuffle-reduce過程 mapreduce過程解析（mapreduce采用的是sort-based shuffle） 將獲取...
-
HIVE：數(shù)據(jù)傾斜
1、什么是數(shù)據(jù)傾斜？ 數(shù)據(jù)分布不均勻，造成數(shù)據(jù)大量的集中到一點(diǎn)，造成數(shù)據(jù)熱點(diǎn) 2、Hadoop 框架的特性 A、不怕數(shù)據(jù)大，怕數(shù)據(jù)傾斜B、Jobs 數(shù)比較多的作業(yè)運(yùn)行效率相對(duì)...
-
大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)前言 互聯(lián)網(wǎng)行業(yè)，除了數(shù)據(jù)量大之外，業(yè)務(wù)時(shí)效性要求也很高，甚至很多是要求實(shí)時(shí)的， 另外，互聯(lián)網(wǎng)行業(yè)的業(yè)務(wù)變化非?？欤豢赡芟駛鹘y(tǒng)行業(yè)一樣，可以使用自頂向下的方法建立數(shù)據(jù)倉(cāng)庫(kù)，...
-
LeetCode高頻100【1】目錄 【1】 20. Valid Parentheses（Easy） Given a string containing just the characters '(', '...
