發(fā)簡信
IP屬地：河南
-
樹莓派3安裝centos7以及wifi配置、根目錄磁盤分區(qū)擴展系統(tǒng)文件下載 打開centos的官方網(wǎng)站https://www.centos.org/download/，點擊下圖中的紅色標(biāo)記區(qū)域的鏈接地址ht...
-
大數(shù)據(jù)筆記之系統(tǒng)環(huán)境搭建(一)1、新建虛擬機 菜單>文件>新建虛擬機，快捷鍵Ctrl+N 選擇自定義，單擊下一步 單擊下一步 選擇稍后安裝操作系統(tǒng) 選擇 CentOS6 64...
-
windows10系統(tǒng)U盤制作指南1、 準(zhǔn)備工作 a) 請準(zhǔn)備一個大于4G的U盤且U盤中無重要數(shù)據(jù)(U盤會被格式化) b) 請下載windows安裝鏡像，建議在windows官網(wǎng)...
-
scrapy中spider、Middleware、Downloader Middleware、pipline等各組件之間的關(guān)系分析先借一張圖 該圖詳細(xì)的的描述了各組件間數(shù)據(jù)處理經(jīng)過的方法，非常全面，通過該圖可以很好對scrapy各部分進行擴展處理。
-
scrapy中間件實現(xiàn)增量爬蟲前言 scrapy爬取網(wǎng)站數(shù)據(jù)的時候，一般第一次爬取為全量爬取，以后需要的都是增量爬取，或者爬取中斷之后需要繼續(xù)爬取，那么這都需要爬取剩余未爬取...
-
mapreduce 本地開發(fā)環(huán)境本地環(huán)境配置 1、解壓縮hadoop.*.tar.gz2、解壓縮hadoop.dll、winutils.exe等安裝文件，并拷貝到hadopp解...
-
數(shù)據(jù)庫 范式各范式關(guān)系圖 在設(shè)計與操作維護數(shù)據(jù)庫時，最關(guān)鍵的問題就是要確保數(shù)據(jù)能夠正確地分布到數(shù)據(jù)庫的表中。使用正確的數(shù)據(jù)結(jié)構(gòu)，不僅有助于對數(shù)據(jù)庫進行相應(yīng)的...
-
數(shù)據(jù)倉庫DW、ODS、DM概念及其區(qū)別整體結(jié)構(gòu) 在具體分析數(shù)據(jù)倉庫之前先看下一下數(shù)據(jù)中心的整體架構(gòu)以及數(shù)據(jù)流向 DB 是現(xiàn)有的數(shù)據(jù)來源，可以為mysql、SQLserver、文件日志...
-
scrapyd 使用遠(yuǎn)程訪問設(shè)置 查找配置文件 配置文件路徑如下圖： 編輯配置文件內(nèi)容，由于默認(rèn)bind_address = 127.0.0.1 現(xiàn)需要遠(yuǎn)程訪問需要...