發(fā)簡信
IP屬地：山西
-
scrapy+scrapy_splash + docker爬取JS動態(tài)頁面最近一段時間做了一個特別惡心的項目，先來吐槽一下，項目需求大致就是給網(wǎng)址分類，鑒別出它是屬于什么類型的網(wǎng)站，比如娛樂游戲、音樂影視、新聞咨詢等。...
-
Redis的使用Redis是一個用ANSI C語言編寫的，基于內(nèi)存并且可以持久化的日志型、高性能key_value數(shù)據(jù)庫。它通常被稱為數(shù)據(jù)結(jié)構(gòu)服務(wù)器，因為其存儲...
-
HBase的使用
HBase是一個在HDFS上開發(fā)的面向列的分布式數(shù)據(jù)庫。如果需要實時地隨機訪問超大規(guī)模數(shù)據(jù)集，就可以使用HBase。本篇介紹HBase的基礎(chǔ)知識...
-
Hive的使用Hive是一個構(gòu)建在Hadoop上的數(shù)據(jù)倉庫框架，是一個通用的、可伸縮的數(shù)據(jù)處理平臺，它設(shè)計的目的是讓精通SQL技能的分析師能夠?qū)Υ娣旁贖DFS...
-
HDFS中API的使用
在項目開發(fā)中，有時我們需要通過HDFS的api來對文件進行操作，比如將數(shù)據(jù)上傳到HDFS或者從HDFS獲取數(shù)據(jù)等。本篇來介紹一下HDFS中API...
-
HDFS常用命令操作
HDFS（Hadoop Distributed File System）是一種分布式文件系統(tǒng)，它具有高容錯的特點，并且可以部署在廉價的通用硬件上...
-
Zookeeper的使用對于Zookeeper的介紹和安裝教程這里不再贅述，網(wǎng)上很多資料都介紹得很專業(yè)，上一篇文章在搭建Hadoop集群的時候也簡單介紹了下。本篇主要內(nèi)...
-
實際環(huán)境中Hadoop集群的搭建
對于Hadoop的背景介紹，這里就不敘述了，本篇只介紹生產(chǎn)環(huán)境中Hadoop集群的搭建。本集群采用HA模式，一共4臺服務(wù)器,一個名字節(jié)點，一個第...
-
OKHttp3源碼解析
上一篇通過分析Retrofit2的源碼，我們了解了整個請求流程的底層實現(xiàn)，其最終是通過OKHttp3中的OkHttpClient對象創(chuàng)建一個Re...