面對(duì)爆炸式增長(zhǎng)的數(shù)據(jù)，如何建設(shè)高效的數(shù)據(jù)模型和，對(duì)這些數(shù)據(jù)進(jìn)行有序和有結(jié)構(gòu)的分類和，避免和，保證數(shù)據(jù)的規(guī)范性，一直是大數(shù)據(jù)系統(tǒng)建設(shè)不斷追求的方向。 如何快速上手工作： 從業(yè)務(wù)...
IP屬地：四川
-
數(shù)據(jù)整合以及管理體系 -
數(shù)據(jù)建模目的
目的：有序、有結(jié)構(gòu)的分類組織和存儲(chǔ) 數(shù)據(jù)模型和表的區(qū)別： 數(shù)據(jù)模型是從業(yè)務(wù)、數(shù)據(jù)存儲(chǔ)和使用角度合理存儲(chǔ)數(shù)據(jù) 表就是從數(shù)據(jù)存儲(chǔ)和使用角度方面來看的 模型在性能、成本、效率、質(zhì)量...
-
-
Docker容器中添加中文字符的支持
使用docker -a 先查看下當(dāng)前系統(tǒng)支持的字符集 其中zh前綴的為中文字符集 不支持可按照如下方法安裝： 1. 安裝locales 包 （PS.在apt-get inst...
-
啟動(dòng)hdfs的報(bào)錯(cuò)ssh: connect to host master port 22: Connection timed out
如果確定自己防火墻已經(jīng)關(guān)閉，則看一看自己的ip有沒有配錯(cuò)
-
電商項(xiàng)目（Hive實(shí)現(xiàn)）
外部表的使用 基于ETL的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù) 使用Hive進(jìn)行統(tǒng)計(jì)分析*對(duì)比 MR 和 Hive 查看表： MANAGED_TABLE:內(nèi)部表刪除內(nèi)部表：HDFS上的數(shù)據(jù)被刪...
-
數(shù)據(jù)倉(cāng)庫(kù)HiveHive產(chǎn)生背景 Hive概述 HIve體系架構(gòu) Hive部署架構(gòu) Hive和RDBMS區(qū)別 Hive部署以及快速入門 HIve DDL詳解 Hive DML詳解 MapRe...
-
MapReduce 在服務(wù)器上運(yùn)行
代碼首先在本地測(cè)試成功后 需要改寫一些，首先把輸入輸出改成 args[0] args[1]如下： 如果遇到mvn commond not found執(zhí)行 編寫腳本
-
電商項(xiàng)目實(shí)戰(zhàn)（大數(shù)據(jù)）用戶行為日志 電商常用術(shù)語 項(xiàng)目需求 數(shù)據(jù)處理流程以及技術(shù)架構(gòu) 需求實(shí)現(xiàn) 提交到服務(wù)器運(yùn)行 擴(kuò)展 用戶行為日志 什么是用戶行為日志每一次訪問的行為（訪問、搜索）產(chǎn)生的日志：歷...
-
YARN學(xué)習(xí)第一課產(chǎn)生背景 master/slave：JobTracker / TashTracker問題：JobTracker： 單點(diǎn)，如果掛掉了就會(huì)整個(gè)崩掉想擴(kuò)展的話，jobTracker...
-
docker運(yùn)行g(shù)pu使用以下命令即可 下述為在新的服務(wù)器上該如何配置docker運(yùn)行g(shù)pu環(huán)境 在nvidia網(wǎng)址Repository configuration | nvidia-contai...
-
Docker 配環(huán)境（ubuntu+python3.6+pip）
拉取ubuntu20.04鏡像 看到如圖 安裝python3.6 可根據(jù)自己的需要進(jìn)行調(diào)整 然后應(yīng)該是有了python3.8版本，可以用下述命令去查 安裝python3.6【...
-
-
hadoop 配置文件說明在hadoop文件夾的etc/core-site.xml寫入如下配置文件， 在 etc/hdfs-site.xml中,調(diào)整文件副本，因?yàn)楝F(xiàn)在是單機(jī)模擬 /home/hadoo...
-
Hadoop軟件包常見目錄說明bin ： hadoop : 命令行hadoop.cmd :運(yùn)行在Windows上的 etc：etc/hadoop:hadoop相關(guān)的配置文件存放目錄 其中hadoop文件夾...
-
springboot + vue 項(xiàng)目部署在云服務(wù)器上
有分開部署和一起部署兩種方式，我這里采用的是一起部署一起部署 vue部分在vue.config.js中的publicPath改成 運(yùn)行 npm run build (或者np...
