前言 在安裝后hadoop之后，接下來需要安裝的就是Spark。 scala-2.11.7下載與安裝 具體步驟參見上一篇博文 Spark下載 為了方便，我直接是進入到了/us...
發(fā)簡信
IP屬地：加州
-
spark-2.2.0安裝和部署——集群學習日記 -
Ubuntu分區(qū)方案(菜鳥方案、常用方案和進階方案)
菜鳥方案 “/”與swap兩個分區(qū)就可以應付絕大多數(shù)的應用 常用方案 分為3個區(qū) 1. 掛載點/；主分區(qū)；安裝系統(tǒng)和軟件；大小為30G；分區(qū)格式為ext4； 2. 掛載點/h...
-
psql基礎語句及數(shù)據(jù)庫導出
連接數(shù)據(jù)庫 # psql [數(shù)據(jù)庫名] 查看表 # \dt 查看表的所有字段 # \dt [表名] 列出所有數(shù)據(jù)庫 # \l 退出psql # \q 查詢 # select ...
-
十步完全理解 SQL
摘自【十步完全理解 SQL】 很多程序員視 SQL 為洪水猛獸。SQL 是一種為數(shù)不多的聲明性語言，它的運行方式完全不同于我們所熟知的命令行語言、面向?qū)ο蟮某绦蛘Z言、甚至是函...
-
Nginx從聽說到學會
第一章 Nginx簡介 Nginx是什么 沒有聽過Nginx？那么一定聽過它的“同行”Apache吧！Nginx同Apache一樣都是一種WEB服務器?；赗EST架構...
-
Kafka入門經(jīng)典教程Kafka入門經(jīng)典教程-Kafka-about云開發(fā) http://www.aboutyun.com/thread-12882-1-1.html 1.Kafka獨特設計在什...
-
列存儲格式Parquet淺析Parquet調(diào)研報告 1. 概述 1.1 簡介 Apache Parquet是Hadoop生態(tài)圈中一種新型列式存儲格式，它可以兼容Hadoop生態(tài)圈中大多數(shù)計算框架(Had...
-
Spark與Apache Parquet七十年代時，有一長輩連練鐵砂掌，功夫成了之后，可以掌斷五磚，凌空碎磚，威風得不得了。時至八十年代，只能掌斷三磚。到九十年代只能一磚一磚的斷了。他說，一直以為功力退步了，后來才...
-
筆記：新手的Spark指南macOS Sierra 10.12.4 Spark 1.6.2 Python 2.7 轉載請注明出處：http://blog.csdn.net/MrLevo520/arti...
-
spark 學習筆記
Spark學習筆記 Data Source->Kafka->Spark Streaming->Parquet->Spark SQL(SparkSQL可以結合ML、GraphX...
-
Superset搭建及其簡單使用背景 老板一直反饋說我們給不了他想要的, 關鍵每次他想要的都不一樣, 每實現(xiàn)一個新功能, 他就想要一堆相關的信息, 我要將這些信息都給他做成網(wǎng)頁, 用圖表展示出來, 各種維度...
-
Spark基本概念快速入門Spark集群 一組計算機的集合，每個計算機節(jié)點作為獨立的計算資源，又可以虛擬出多個具備計算能力的虛擬機，這些虛擬機是集群中的計算單元。Spark的核心模塊專注于調(diào)度和管理虛...
-
如何對MongoDB 3.2.7進行用戶權限管理配置
上次寫了一篇在CentOS7上源碼安裝MongoDB 3.2.7，完成了MongoDB 3.2.7的安裝，但需要應用到實際生產(chǎn)環(huán)境中，安全問題是必須要處理的。本篇主要介紹如何...
-
mongodb分片初探為什么要分片 增加單臺服務器可用的磁盤空間 減輕單臺服務器的負載 處理單個mongod無法承受的吞吐量 分片原理 mongos路由 配置服務器 shard分片 如何分片 機器...
-
啟動報錯：ERROR: child process failed, exited with error number 1
啟動報錯：ERROR: child process failed, exited with error number 1 原因：上次mongodb未正常關閉 解決方法： 重新...
-
mongoDB 學習筆記純干貨（mongoose、增刪改查、聚合、索引、連接、備份與恢復、監(jiān)控等等）最后更新時間：2017-07-13 11:10:49 原始文章鏈接：http://www.lovebxm.com/2017/07/13/mongodb_primer/ Mon...
-
MongoDB權限設置
本文閱讀對象： MongoDB權限設置不熟悉者 MongoDB開發(fā)者 其他對MongoDB感興趣的開發(fā)者 對技術感興趣的吃瓜群眾 MongoDB是一個基于分布式文件存儲的數(shù)據(jù)...
-
基于AWS S3協(xié)議搭建個人云存儲服務
相信風靡全球的亞馬遜 AWS S3 的存儲云服務大家已經(jīng)耳熟能詳了，如何自己搭建一個私有的S3存儲云服務呢？ Minio 提供對象存儲服務，兼容了 AWS S3 存儲協(xié)議，用...