前言 在安裝后hadoop之后，接下來需要安裝的就是Spark。 scala-2.11.7下載與安裝 具體步驟參見上一篇博文 Spark下載 為了方便，我直接是進(jìn)入到了/us...
發(fā)簡信
IP屬地：加州
-
spark-2.2.0安裝和部署——集群學(xué)習(xí)日記 -
Ubuntu分區(qū)方案(菜鳥方案、常用方案和進(jìn)階方案)
菜鳥方案 “/”與swap兩個(gè)分區(qū)就可以應(yīng)付絕大多數(shù)的應(yīng)用 常用方案 分為3個(gè)區(qū) 1. 掛載點(diǎn)/；主分區(qū)；安裝系統(tǒng)和軟件；大小為30G；分區(qū)格式為ext4； 2. 掛載點(diǎn)/h...
-
psql基礎(chǔ)語句及數(shù)據(jù)庫導(dǎo)出
連接數(shù)據(jù)庫 # psql [數(shù)據(jù)庫名] 查看表 # \dt 查看表的所有字段 # \dt [表名] 列出所有數(shù)據(jù)庫 # \l 退出psql # \q 查詢 # select ...
-
十步完全理解 SQL
摘自【十步完全理解 SQL】 很多程序員視 SQL 為洪水猛獸。SQL 是一種為數(shù)不多的聲明性語言，它的運(yùn)行方式完全不同于我們所熟知的命令行語言、面向?qū)ο蟮某绦蛘Z言、甚至是函...
-
Nginx從聽說到學(xué)會(huì)
第一章 Nginx簡介 Nginx是什么 沒有聽過Nginx？那么一定聽過它的“同行”Apache吧！Nginx同Apache一樣都是一種WEB服務(wù)器?；赗EST架構(gòu)...
-
Kafka入門經(jīng)典教程Kafka入門經(jīng)典教程-Kafka-about云開發(fā) http://www.aboutyun.com/thread-12882-1-1.html 1.Kafka獨(dú)特設(shè)計(jì)在什...
-
列存儲(chǔ)格式Parquet淺析Parquet調(diào)研報(bào)告 1. 概述 1.1 簡介 Apache Parquet是Hadoop生態(tài)圈中一種新型列式存儲(chǔ)格式，它可以兼容Hadoop生態(tài)圈中大多數(shù)計(jì)算框架(Had...
-
Spark與Apache Parquet七十年代時(shí)，有一長輩連練鐵砂掌，功夫成了之后，可以掌斷五磚，凌空碎磚，威風(fēng)得不得了。時(shí)至八十年代，只能掌斷三磚。到九十年代只能一磚一磚的斷了。他說，一直以為功力退步了，后來才...
-
筆記：新手的Spark指南macOS Sierra 10.12.4 Spark 1.6.2 Python 2.7 轉(zhuǎn)載請注明出處：http://blog.csdn.net/MrLevo520/arti...
-
spark 學(xué)習(xí)筆記
Spark學(xué)習(xí)筆記 Data Source->Kafka->Spark Streaming->Parquet->Spark SQL(SparkSQL可以結(jié)合ML、GraphX...
-
Superset搭建及其簡單使用背景 老板一直反饋說我們給不了他想要的, 關(guān)鍵每次他想要的都不一樣, 每實(shí)現(xiàn)一個(gè)新功能, 他就想要一堆相關(guān)的信息, 我要將這些信息都給他做成網(wǎng)頁, 用圖表展示出來, 各種維度...
-
Spark基本概念快速入門Spark集群 一組計(jì)算機(jī)的集合，每個(gè)計(jì)算機(jī)節(jié)點(diǎn)作為獨(dú)立的計(jì)算資源，又可以虛擬出多個(gè)具備計(jì)算能力的虛擬機(jī)，這些虛擬機(jī)是集群中的計(jì)算單元。Spark的核心模塊專注于調(diào)度和管理虛...
-
如何對MongoDB 3.2.7進(jìn)行用戶權(quán)限管理配置
上次寫了一篇在CentOS7上源碼安裝MongoDB 3.2.7，完成了MongoDB 3.2.7的安裝，但需要應(yīng)用到實(shí)際生產(chǎn)環(huán)境中，安全問題是必須要處理的。本篇主要介紹如何...
-
mongodb分片初探為什么要分片 增加單臺服務(wù)器可用的磁盤空間 減輕單臺服務(wù)器的負(fù)載 處理單個(gè)mongod無法承受的吞吐量 分片原理 mongos路由 配置服務(wù)器 shard分片 如何分片 機(jī)器...
-
啟動(dòng)報(bào)錯(cuò)：ERROR: child process failed, exited with error number 1
啟動(dòng)報(bào)錯(cuò)：ERROR: child process failed, exited with error number 1 原因：上次mongodb未正常關(guān)閉 解決方法： 重新...
-
mongoDB 學(xué)習(xí)筆記純干貨（mongoose、增刪改查、聚合、索引、連接、備份與恢復(fù)、監(jiān)控等等）最后更新時(shí)間：2017-07-13 11:10:49 原始文章鏈接：http://www.lovebxm.com/2017/07/13/mongodb_primer/ Mon...
-
MongoDB權(quán)限設(shè)置
本文閱讀對象： MongoDB權(quán)限設(shè)置不熟悉者 MongoDB開發(fā)者 其他對MongoDB感興趣的開發(fā)者 對技術(shù)感興趣的吃瓜群眾 MongoDB是一個(gè)基于分布式文件存儲(chǔ)的數(shù)據(jù)...
-
基于AWS S3協(xié)議搭建個(gè)人云存儲(chǔ)服務(wù)
相信風(fēng)靡全球的亞馬遜 AWS S3 的存儲(chǔ)云服務(wù)大家已經(jīng)耳熟能詳了，如何自己搭建一個(gè)私有的S3存儲(chǔ)云服務(wù)呢？ Minio 提供對象存儲(chǔ)服務(wù)，兼容了 AWS S3 存儲(chǔ)協(xié)議，用...