前兩篇我們講了spark的基礎(chǔ)知識(shí)，包括spark的體系結(jié)構(gòu)、執(zhí)行框架、spark的基本數(shù)據(jù)類型以及spark中stage的劃分等等。本篇要介紹spark運(yùn)行的原理。包括sp...
IP屬地：湖南
-
Spark運(yùn)行原理
-
入門HBase，看這一篇就夠了團(tuán)隊(duì)內(nèi)部要分享HBase的知識(shí)，之前研究了一段時(shí)間，知識(shí)比較零散，這一次就系統(tǒng)化的整理一番，之后在想到Hbase的時(shí)候，看著一篇就夠了。 阿里陶系技術(shù)部招人，目前大把機(jī)會(huì)，H...
-
Python實(shí)現(xiàn)十大經(jīng)典排序算法話不多數(shù)，先上兩張圖： 名詞解釋： n：數(shù)據(jù)規(guī)模k：“桶”的個(gè)數(shù)In-place：占用常數(shù)內(nèi)存，不占用額外內(nèi)存Out-place：占用額外內(nèi)存穩(wěn)定性：排序后2個(gè)相等鍵值的順序...
-
Zookeeper 在 Kafka 中的作用leader 選舉 和 follower 信息同步 如上圖所示，kafaka集群的 broker，和 Consumer 都需要連接 Zookeeper。Producer 直接...
-
最大堆（創(chuàng)建、刪除、插入和堆排序）關(guān)于最大堆 什么是最大堆和最小堆？最大（小）堆是指在樹中，存在一個(gè)結(jié)點(diǎn)而且該結(jié)點(diǎn)有兒子結(jié)點(diǎn)，該結(jié)點(diǎn)的data域值都不小于（大于）其兒子結(jié)點(diǎn)的data域值，并且它是一個(gè)完全二叉...
-
30個(gè)Linux Shell腳本經(jīng)典案例（下）
1、從FTP服務(wù)器下載文件 2、連續(xù)輸入5個(gè)100以內(nèi)的數(shù)字，統(tǒng)計(jì)和、最小和最大 3、將結(jié)果分別賦值給變量 應(yīng)用場(chǎng)景：希望將執(zhí)行結(jié)果或者位置參數(shù)賦值給變量，以便后續(xù)使用。 4...
-
LInux上清空或刪除文件的5中方法偶爾,在Linux終端在處理文件，你可能想要清空的內(nèi)容文件而不打開使用任何Linux命令行編輯器。這該如何實(shí)現(xiàn)呢?在本文中,我們將在一些有用的命令幫助下通過幾個(gè)不同的方法清空...
-
15個(gè)非常實(shí)用的 Shell 腳本實(shí)例，拿來(lái)就用！
shell腳本是幫助程序員和系統(tǒng)管理員完成費(fèi)時(shí)費(fèi)力的枯燥工作的利器，是與計(jì)算機(jī)交互并管理文件和系統(tǒng)操作的有效方式。區(qū)區(qū)幾行代碼，就可以讓計(jì)算機(jī)接近按照你的意圖行事。 為大家整...
-
30個(gè)Linux Shell腳本經(jīng)典案例（上）
編寫Shell過程中注意事項(xiàng)：開頭加解釋器：#!/bin/bash語(yǔ)法縮進(jìn)，使用四個(gè)空格；多加注釋說(shuō)明。命名建議規(guī)則：變量名大寫、局部變量小寫，函數(shù)名小寫，名字體現(xiàn)出實(shí)際作用...
-
-
IDEA創(chuàng)建Maven項(xiàng)目??使用IDEA創(chuàng)建的Maven項(xiàng)目可分為Maven的Java項(xiàng)目和Maven的Web項(xiàng)目。 一、創(chuàng)建Maven的Java項(xiàng)目 （一）、通過骨架創(chuàng)建Maven的Java項(xiàng)目 ...
-
Git自學(xué)成才——新建遠(yuǎn)程分支和刪除
現(xiàn)在我在master分支上，工作目標(biāo)是干凈的，也沒有需要commit的： 新建遠(yuǎn)程分支 新建一個(gè)本地分支： 查看一下現(xiàn)在的分支狀態(tài): 星號(hào)(*)表示當(dāng)前所在分支?，F(xiàn)在的狀態(tài)是...
-
Linux 打包 壓縮 解壓 命令詳解tar 命令是 Linux 環(huán)境下最基本的打包工具，注意打包并不等同于壓縮。打包只是負(fù)責(zé)將多個(gè)文件整理后合成為一個(gè)文件包（即歸檔，方便傳輸分享），一般后綴為 .tar。而文件...
-
linux服務(wù)器手動(dòng)安裝Anaconda3教程一、linux服務(wù)器手動(dòng)安裝Anaconda3教程 1.首先清華鏡像站 下載anaconda3。 此次下載的版本如下： 2.下載好后，使用WinSCP將下載好的文件上傳到服務(wù)...
-
equals 和 == 的區(qū)別
在編寫代碼的時(shí)候我們經(jīng)常會(huì)使用 equals 和 == 來(lái)判斷兩個(gè)對(duì)象是否相等，那么兩者有什么區(qū)別呢，主要有以下幾點(diǎn)區(qū)別： 首先的區(qū)別是，equals 是方法，而 == 是操...
