Kafka-分布式發(fā)布-訂閱消息系統(tǒng)，最初是由LinkedIn公司所開發(fā)，Scala語言編寫，之后加入Apache旗下，成為了Apache的子項目。 Kafka具有以下特性：...
發(fā)簡信
IP屬地：北京
-
5-kafka(分布式消息隊列) -
4-MapReduce+Spark(分布式計算框架)MapReduce 一、簡介 MapReduce起源，在介紹大數(shù)據(jù)編年史時有提到Google最早在04年發(fā)表論文MapReduce，之后Doug Cutting基于這篇論文通...
-
3-YARN(分布式資源管理框架)一、簡介 簡介YARN（Yet Another Resource Negotiator）分布式通用資源管理框架，它作為一個專門的資源管理框架從MapReduce中分離出來，聚...
-
2-HDFS(分布式文件系統(tǒng))一、簡介 簡介HDFS是Hadoop非常重要的核心之一，它也是由Doug Cutting基于Google公司03年10月開源的論文GFS做的開源實現(xiàn)，發(fā)展到目前為止，HDFS...
-
1-大數(shù)據(jù)技術(shù)概覽大數(shù)據(jù)的4V特征數(shù)據(jù)規(guī)模巨大（Volume）、數(shù)據(jù)類型多樣（Variety）、生成和處理速度極快（Velocity）、價格巨大但密度較低（Value） 應(yīng)用1.基于大數(shù)據(jù)的數(shù)...
-
分區(qū)和分桶區(qū)別
我們知道在傳統(tǒng)的DBMs系統(tǒng)中，一般都具有表分區(qū)的功能，通過表分區(qū)能夠在特定的區(qū)域檢索數(shù)據(jù)，減少掃描成本，在一定程度上提高了查詢效率，當(dāng)然我們還可以通過進一步在分區(qū)上建立索引...
-
數(shù)據(jù)倉庫中的ER實體模型和維度模型
一、數(shù)據(jù)倉庫建模的意義一個公司中會有多個業(yè)務(wù)業(yè)務(wù)系統(tǒng)，比如：OA系統(tǒng)、訂單系統(tǒng)、財務(wù)系統(tǒng)、人事系統(tǒng)、倉儲系統(tǒng)等，因此需要按照一定的組織結(jié)構(gòu)將所有數(shù)據(jù)都整合起來，形成一個倉儲平...
-
數(shù)倉建設(shè)規(guī)范1、數(shù)倉分層原則 優(yōu)秀可靠的數(shù)倉體系，往往需要清晰的數(shù)據(jù)分層結(jié)構(gòu)，即要保證數(shù)據(jù)層的穩(wěn)定又要屏蔽對下游的影響，并且要避免鏈路過長。那么問題來了，一直在講數(shù)倉要分層，那數(shù)倉分幾層...
-
Excel內(nèi)頁簽信息合并（可勾選合并頁簽和合并列）
import timeimport tkinter as tkfrom tkinter import ttkfrom tkinter.filedialog import as...
-
發(fā)郵件發(fā)件人亂碼解決思路：將發(fā)件人提取出來，通過java處理后放入變量內(nèi)，供郵箱控件引用 表輸入：SELECT '公司黨委' FJR FROM DUAL Java Class:
-
創(chuàng)建虛擬環(huán)境一、用命令創(chuàng)建虛擬環(huán)境 1. 安裝虛擬環(huán)境的第三方包 virtualenv pip install virtualenv 使用清華源安裝：pip install virtua...
-
OCR識別發(fā)票內(nèi)容
import pytesseract as ptfrom PIL import Imageimport osimport fitzimport xlwtimport re 進...
-
SQL性能優(yōu)化原則-前言
1、SQL執(zhí)行過程客戶端提交SQL->計算SQL字符的HASH值->從SQL緩存區(qū)中查找是否有相同的HASH值->確認(rèn)是否為相同的SQL->如果是，取出執(zhí)行計劃，執(zhí)行SQL-...
-
數(shù)據(jù)挖掘算法機器學(xué)習(xí)導(dǎo)論 機器學(xué)習(xí)的方法是基于數(shù)據(jù)產(chǎn)生的"模型"(model)的算法，也稱"學(xué)習(xí)算法"(learning algorithm)。包括有：有監(jiān)督學(xué)習(xí)(supervised ...
-
-
指標(biāo)體系搭建方案
目標(biāo)：1.清楚認(rèn)知自己的工作內(nèi)容和價值2.清楚貫徹自己的工作模式和方法論即學(xué)習(xí)一個術(shù)與道，當(dāng)然可能更偏向于道方面的方案前言：在公司數(shù)據(jù)中臺搭建指標(biāo)體系，利用數(shù)據(jù)指標(biāo)體系解決公...
-
python的GUI編程
此處使用python自帶最易上手的tkinter模塊參考網(wǎng)址：https://www.cnblogs.com/xiehy/p/10825970.html[https://ww...