為什么做這個平臺? 選擇做這個社區(qū)平臺有以下幾個緣故:1、只要你跳槽,你就會被面試,八股文總要背的。(出來混早晚要還的)2、即使你不跳槽,只要你...
一、元數(shù)據(jù)概述 1.1、定義 元數(shù)據(jù)定義:描述數(shù)據(jù)的數(shù)據(jù),對數(shù)據(jù)及信息資源的描述性信息。小編認為元數(shù)據(jù)不僅僅是關于數(shù)據(jù)的數(shù)據(jù),它還是一種上下文,...
國慶期間,花了些時間思考寫作的目的。主要有以下幾個方面,同時大佬們一起加入探討交流學習: 1、我能提供什么? 2、我輸出的質量如何? 3、你能得...
簡介 在前面的文章中,總結了SparkStreaming入門級的文章,了解到SparkStreaming是一種微批處理的"實時"流技術,在實際場...
前言 Hive是數(shù)倉建設使用頻率最高的一項技術,基于各種業(yè)務需求,使用功能函數(shù)會為我們的開發(fā)提高了很多效率。本篇是基于筆者在日常開發(fā)中使用頻率較...
該文主要包括: zookeeper核心架構設計 zookeeper數(shù)據(jù)模型 zookeeper監(jiān)聽機制 zookeeper ACL機制 zook...
本文編寫的目的:為了深入理解后期關于zookeeper的文章,本文這里對分布式一致性算法的由來以及要解決的問題做一個簡述,更加深入的原理性東西后...
背景介紹 公司業(yè)務系統(tǒng)做優(yōu)化改造,同時為了能夠實現(xiàn)全鏈路監(jiān)控,需收集所有業(yè)務系統(tǒng)之間的調用日志。數(shù)據(jù)情況:每天20億+機器成本:3臺kafka集...
之前用CDH5.2進行集群的搭建,現(xiàn)需要將CDH支持spark-sql,具體搭建請見CDH離線安裝 一:準備環(huán)境 jdk1.7.0_79scal...