相關(guān)源碼 搭建scrapy的開發(fā)環(huán)境，本文介紹scrapy的常用命令以及工程目錄結(jié)構(gòu)分析，本文中也會(huì)詳細(xì)的講解xpath和css選擇器的使用。然后通過scrapy提供的spi...
發(fā)簡(jiǎn)信
IP屬地：北京
-
手把手教你用Python實(shí)現(xiàn)分布式爬蟲(四) - scrapy爬取技術(shù)文章網(wǎng)站 -
MapReduce過程詳解及其性能優(yōu)化MapReduce過程詳解及其性能優(yōu)化 [toc] 轉(zhuǎn)載：MapReduce過程詳解及其性能優(yōu)化 總結(jié) 詳情 從JVM的角度看Map和Reduce： 1. Map階段包括 ...
-
數(shù)據(jù)同步利器 - canal
前言 大約兩年以前，筆者在一個(gè)項(xiàng)目中遇到了數(shù)據(jù)同步的難題。 當(dāng)時(shí)，系統(tǒng)部署了幾十個(gè)實(shí)例，分為1個(gè)中心平臺(tái)和N個(gè)分中心平臺(tái)，而每一個(gè)系統(tǒng)都對(duì)應(yīng)一個(gè)單獨(dú)的數(shù)據(jù)庫(kù)實(shí)例。 在數(shù)據(jù)庫(kù)層...
-
HIVE：小文件合并
HDFS非常容易存儲(chǔ)大數(shù)據(jù)文件，如果Hive中存在過多的小文件會(huì)給namecode帶來巨大的性能壓力。同時(shí)小文件過多會(huì)影響JOB的執(zhí)行，hadoop會(huì)將一個(gè)job轉(zhuǎn)換成多個(gè)t...
-
kafka監(jiān)聽mysql實(shí)時(shí)數(shù)據(jù)變更在做報(bào)表數(shù)據(jù)統(tǒng)計(jì)時(shí)，我們用的是mysql + kafka + Spark Streaming方案，kafka監(jiān)聽mysql訂單表中訂單狀態(tài)，然后發(fā)送到spark stream...
-
Hive 企業(yè)級(jí)調(diào)優(yōu)總結(jié)(一)1.開啟Fetch抓取 Fetch抓取是指，Hive中對(duì)某些情況的查詢可以不必使用MapReduce計(jì)算。例如：SELECT * FROM employees;在這種情況下，...
