為什么做這個平臺? 選擇做這個社區(qū)平臺有以下幾個緣故:1、只要你跳槽,你就會被面試,八股文總要背的。(出來混早晚要還的)2、即使你不跳槽,只要你...
一、元數(shù)據(jù)概述 1.1、定義 元數(shù)據(jù)定義:描述數(shù)據(jù)的數(shù)據(jù),對數(shù)據(jù)及信息資源的描述性信息。小編認(rèn)為元數(shù)據(jù)不僅僅是關(guān)于數(shù)據(jù)的數(shù)據(jù),它還是一種上下文,...
國慶期間,花了些時間思考寫作的目的。主要有以下幾個方面,同時大佬們一起加入探討交流學(xué)習(xí): 1、我能提供什么? 2、我輸出的質(zhì)量如何? 3、你能得...
簡介 在前面的文章中,總結(jié)了SparkStreaming入門級的文章,了解到SparkStreaming是一種微批處理的"實時"流技術(shù),在實際場...
前言 Hive是數(shù)倉建設(shè)使用頻率最高的一項技術(shù),基于各種業(yè)務(wù)需求,使用功能函數(shù)會為我們的開發(fā)提高了很多效率。本篇是基于筆者在日常開發(fā)中使用頻率較...
該文主要包括: zookeeper核心架構(gòu)設(shè)計 zookeeper數(shù)據(jù)模型 zookeeper監(jiān)聽機(jī)制 zookeeper ACL機(jī)制 zook...
本文編寫的目的:為了深入理解后期關(guān)于zookeeper的文章,本文這里對分布式一致性算法的由來以及要解決的問題做一個簡述,更加深入的原理性東西后...
背景介紹 公司業(yè)務(wù)系統(tǒng)做優(yōu)化改造,同時為了能夠?qū)崿F(xiàn)全鏈路監(jiān)控,需收集所有業(yè)務(wù)系統(tǒng)之間的調(diào)用日志。數(shù)據(jù)情況:每天20億+機(jī)器成本:3臺kafka集...
之前用CDH5.2進(jìn)行集群的搭建,現(xiàn)需要將CDH支持spark-sql,具體搭建請見CDH離線安裝 一:準(zhǔn)備環(huán)境 jdk1.7.0_79scal...