一、開始使用多線程 Thread類由threading模塊提供，通過實例化Thread類可以創(chuàng)建線程，其構(gòu)造函數(shù)如下： 其中關(guān)于參數(shù)的解釋如下： group，保留參數(shù)，暫時沒...
發(fā)簡信
IP屬地：海南
-
Python多線程與協(xié)程的介紹使用
-
Python中裝飾器的介紹與使用
一、裝飾器的定義 裝飾器，顧名思義，就是起到裝飾的作用，即在不改變已有函數(shù)代碼及其調(diào)用方式的前提下，對已有函數(shù)進行功能擴展，實現(xiàn)了低侵入性、高內(nèi)聚低耦合的目標。 二、裝飾器使...
-
Spark RDD及其常用算子介紹
一、RDD介紹 1.1 什么是RDD RDD（Resilient Distributed DataSet），稱作彈性分布式數(shù)據(jù)集，是Spark中最基本的數(shù)據(jù)抽象，表示一個不可...
-
PySpark介紹及其安裝教程一、PySpark是什么 Python PySpark是Spark官方提供的一個Python類庫，其中內(nèi)置了完全的Spark API，使得Python用戶在導入這個類庫后，可...
-
Marp：MarkDown生成PPT的好用利器一、Marp是什么 Marp是一個輕量的框架，可以將MarkDown編寫的文檔轉(zhuǎn)換為PPT，從而解放開發(fā)者制作PPT的繁瑣過程，只要專注于內(nèi)容的編寫即可。 當然，Marp制作...
-
Jira小白入門介紹因公司需要，簡單了解下Jira，然后給部了解的同事們科普一下。雖然目前國內(nèi)有很多的替代者，但是Jira作為老牌和全球使用最為廣泛的項目管理工具，還是有其自身的特點的。 一、J...
-
Spark入門及環(huán)境搭建一、Spark是什么 Spark[https://spark.apache.org/]是Apache下的一個用于大規(guī)模數(shù)據(jù)處理的統(tǒng)一分析引擎，Unified engine f...
-
Hadoop3.x單機安裝教程
為什么要搭建單機環(huán)境的Hadoop？ 以最小化的成本學習和測試Hadoop； 搭建基于Hadoop的上層應用，比如單機Spark環(huán)境需要先擁有單機的Hadoop； 如果需要搭...
-
分布式協(xié)調(diào)服務ZooKeeper使用入門
一、ZK簡介 在大數(shù)據(jù)技術(shù)體系內(nèi)，很多技術(shù)框架都是用動物的名字命名的，比如Hadoop（大象）、Hive（蜜蜂）、Pig（小豬）。大數(shù)據(jù)服務通常都是分布式的，多個節(jié)點之間角色...
-
DataX Web使用體驗入門一、DataX Web是什么 DataX web是在DataX的基礎上開發(fā)的分布式的數(shù)據(jù)同步工具，方便DataX的用戶在網(wǎng)頁上通過點擊和配置就能完成DataX任務的配置和執(zhí)行...
-
xxl-job分布式任務調(diào)度框架體驗一、xxl-job是什么 xxl-job是一個分布式的任務調(diào)度平臺，其核心特點就是簡單、能快速上手、輕量級、易擴展。在如今的分布式場景中，已經(jīng)成為主流的任務調(diào)度框架。 二、x...
-
數(shù)據(jù)遷移工具DataX入門一、DataX是什么 DataX[https://github.com/alibaba/DataX]是阿里巴巴開源的離線數(shù)據(jù)同步工具，實現(xiàn)了包括主流RDBMS數(shù)據(jù)庫、NoSQ...
-
數(shù)據(jù)導入導出工具Sqoop入門
一、Sqoop是什么 Apache Sqoop是Hadoop生態(tài)體系和RDBMS體系之間相互傳輸數(shù)據(jù)的一種工具，其工作機制是將導入、導出命令翻譯為MapReduce程序運行，...
-
數(shù)據(jù)倉庫Hive入門一、什么是數(shù)據(jù)倉庫 數(shù)據(jù)倉庫（Data Warehouse，DW），是一種用于存儲、分析和報告的數(shù)據(jù)系統(tǒng)，其目的是構(gòu)建面向分析的集成化數(shù)據(jù)環(huán)境，其本身不產(chǎn)生數(shù)據(jù)，也不消費數(shù)據(jù)...
-
Hadoop3.x組件YARN入門一、什么是YARN Hadoop YARN是一種新的Hadoop資源管理器，雖然是Hadoop的組件，但是它被設計成一個通用的資源管理系統(tǒng)和調(diào)度平臺，可為上層應用提供統(tǒng)一的資...
-
Hadoop3.x組件MapReduce入門一、什么是MapReduce Hadoop MapReduce，以下簡稱MR，是一個分布式計算框架，可以用于輕松編寫分布式應用程序，使得這些程序能以可靠的、容錯的、并行的方式...
-
Hadoop3.x組件HDFS入門一、HDFS是什么？ HDFS，全稱Hadoop Distributed File System，即Hadoop分布式文件存儲系統(tǒng)，是Hadoop核心組件之一，是大數(shù)據(jù)生態(tài)最...
-
Hadoop3.x集群安裝教程一、Hadoop3.x介紹 Hadoop是用Java語言實現(xiàn)的，允許用戶使用簡單的編程模型實現(xiàn)跨機器集群對海量數(shù)據(jù)進行分布式計算處理的框架。Hadoop3.x主要包含如下三個...
-
Hadoop3.x源碼編譯打包實驗記錄
學會編譯Hadoop非常有必要，Hadoop是使用Java語言開發(fā)的，但是有一些需求和操作并不適合使用java，所以就引入了本地庫(Native Libraries) 的概念...
-
可以在dockerhub上搜索sonarqube，默認拉取的是latest，對應的版本應該是8.9.10社區(qū)版。
Sonarqube的搭建和使用入門
一、SonarQube的安裝 Sonarqube的運行離不開數(shù)據(jù)庫，按照官方建議，本文使用postgresql來作為其數(shù)據(jù)庫。 由于Sonarqube依賴ELK的運行，默認情...