經(jīng)常能夠看到有些大廠的面試題里有一些這樣的題目：一個(gè)10G的文件，里面全部是自然數(shù)，一行一個(gè)，亂序排列，對(duì)其排序。在32位機(jī)器上面完成，內(nèi)存限制為 2G。 首先來(lái)分析一下題目...
發(fā)簡(jiǎn)信
IP屬地：貴州
-
Hive原理及SQL優(yōu)化1.Hive原理 Hive是構(gòu)建在Hadoop上的數(shù)據(jù)倉(cāng)庫(kù)軟件框架，支持使用SQL來(lái)讀，寫和管理大規(guī)模數(shù)據(jù)集合。Hive入門非常簡(jiǎn)單，功能非常強(qiáng)大，所以非常流行。 通常來(lái)說(shuō)，...
-
除了FastJson,你還有選擇: Gson簡(jiǎn)易指南
前言 這個(gè)周末被幾個(gè)技術(shù)博主的同一篇公眾號(hào)文章 fastjson又被發(fā)現(xiàn)漏洞，這次危害可導(dǎo)致服務(wù)癱瘓！ 刷屏，離之前漏洞事件沒(méi)多久，fastjson 又出現(xiàn)嚴(yán)重 Bug。目...
-
利用Binlog和Kafka實(shí)時(shí)同步mysql數(shù)據(jù)到Elasticsearch(四) - 消費(fèi)Kafka消息同步數(shù)據(jù)到ES目錄 1、利用Binlog和Kafka實(shí)時(shí)同步mysql數(shù)據(jù)到Elasticsearch(一) - 開(kāi)啟Binlog日志2、利用Binlog和Kafka實(shí)時(shí)同步mysql數(shù)據(jù)...
-
數(shù)倉(cāng)--Theory--數(shù)倉(cāng)數(shù)據(jù)質(zhì)量監(jiān)控暫時(shí)定義為數(shù)倉(cāng)的質(zhì)量管理，完全可以定義為數(shù)據(jù)中臺(tái)的質(zhì)量管理 數(shù)據(jù)質(zhì)量的理解 數(shù)據(jù)質(zhì)量的高低代表了該數(shù)據(jù)滿足數(shù)據(jù)消費(fèi)者期望的程度，這種程度基于他們對(duì)數(shù)據(jù)的使用預(yù)期。數(shù)據(jù)質(zhì)量必須...
-
第七章 數(shù)據(jù)治理之模型實(shí)施實(shí)施工作流： 1）數(shù)據(jù)調(diào)研： ① 業(yè)務(wù)調(diào)研：確定數(shù)據(jù)倉(cāng)庫(kù)要包含所有的業(yè)務(wù)領(lǐng)域合適各業(yè)務(wù)各自建設(shè)?，F(xiàn)在主流做法是在各個(gè)領(lǐng)域獨(dú)自建設(shè)數(shù)據(jù)倉(cāng)庫(kù)，業(yè)務(wù)領(lǐng)域內(nèi)的業(yè)務(wù)線相似，業(yè)務(wù)相關(guān)性大...
