一： 概述 Clickhouse 插入數(shù)據(jù) Clickhouse 插入數(shù)據(jù)過程 當(dāng)需要在ReplicatedMergeTree中執(zhí)行INSERT以寫入數(shù)據(jù)時(shí)，即會(huì)進(jìn)入INSE...
發(fā)簡(jiǎn)信
IP屬地：新疆
-
clickhouse寫入和副本同步過程
-
Hadoop中Block和Split的區(qū)別
1 Block 當(dāng)我們把文件上傳到HDFS時(shí)，文件會(huì)被分塊，這個(gè)是真實(shí)物理上的劃分。每塊的大小可以通過hadoop-default.xml里配置選項(xiàng)進(jìn)行設(shè)置。系統(tǒng)也提供默認(rèn)大...
-
大數(shù)據(jù)之zookeeper
1： zookeeper 是什么 是一個(gè)針對(duì)大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)； 提供的功能包括：配置維護(hù)、名字服務(wù)、分布式同步、組服務(wù)等； zookeeper已經(jīng)成為Hadoop...
-
yarn之資源調(diào)度器1: yarn 資源調(diào)度的定義 2： yarn 資源調(diào)度的種類 在Yarn中有三種調(diào)度器可以選擇：FIFO Scheduler，Capacity Scheduler，F(xiàn)air...
-
mysql 外鍵那些事
FOREIGNKEYp: 外鍵約束，保持?jǐn)?shù)據(jù)一致性，完整性。實(shí)現(xiàn)一對(duì)一或一對(duì)多關(guān)系。 外鍵約束的要求： 1，父表和子表必須使用相同的存儲(chǔ)引擎，而且禁止使用臨時(shí)表。（父表：子表...
-
-
Opentsdb簡(jiǎn)介（一）1、OpenTSDB介紹 1.1、OpenTSDB是什么？主要用途是什么？ 官方文檔這樣描述：OpenTSDB is a distributed, scalable Time...
-
贊！大牛。
【高德】推薦系統(tǒng)在業(yè)界及高德的應(yīng)用_Part2
演講主題：物流平臺(tái)的實(shí)時(shí)優(yōu)化算法 主講人：李海波 主講人介紹： 滴滴—地圖&司機(jī)語義AI負(fù)責(zé)人個(gè)人技術(shù)網(wǎng)站：http://www.semocean.com（不少干貨，值得推薦...
-
【高德】推薦系統(tǒng)在業(yè)界及高德的應(yīng)用_Part2演講主題：物流平臺(tái)的實(shí)時(shí)優(yōu)化算法 主講人：李海波 主講人介紹： 滴滴—地圖&司機(jī)語義AI負(fù)責(zé)人個(gè)人技術(shù)網(wǎng)站：http://www.semocean.com（不少干貨，值得推薦...
-
數(shù)據(jù)治理的定義和架構(gòu)數(shù)據(jù)治理的定義 數(shù)據(jù)治理(DataGovernance)，是企業(yè)數(shù)據(jù)治理部門發(fā)起并推行的，關(guān)于如何制定和實(shí)施針對(duì)整個(gè)企業(yè)內(nèi)部數(shù)據(jù)的商業(yè)應(yīng)用和技術(shù)管理的一系列政策和流...
-
kafka 0.10.1一些使用經(jīng)驗(yàn)概述 最近公司對(duì)老版本的kafka做升級(jí)，我們的集群很小，就三臺(tái)機(jī)器。主要用來爬取數(shù)據(jù)實(shí)時(shí)任務(wù)傳輸用的。老版本用的0.8版本的，這個(gè)版本zookeeper的依賴還是比較大，每...
-
Spark on hdp yarn cluster踩坑(timeline-service)部署方案 spark官網(wǎng)下載基于hdp的Hadoop版本的pre-built的spark安裝包 在機(jī)器上解壓，并在spark-env中配置HADOOP_CONF_DIR，SP...
-
聊一聊所謂的alluxio1: alluxio是什么 Alluxio : 開源分布式內(nèi)存文件系統(tǒng)， 簡(jiǎn)而言之就是，你不用每次都從原始文件去讀，如果你的文件在alluxio內(nèi)存中，可以直接從內(nèi)存去讀。 ...
-
Spark Streaming＋Kafka的offset管理方法
本篇主要介紹一下Spark Streaming在消費(fèi)Kafka過程中，當(dāng)出現(xiàn)程序掛掉重啟后，找到上次消費(fèi)過的最后一次數(shù)據(jù)，確保kafka數(shù)據(jù)精確消費(fèi)一次(exactly-on...
