任何可以產(chǎn)生對(duì)象的方法或類(lèi)，都可以稱(chēng)之為工廠單例也是一種工廠 getInstance（靜態(tài)工廠） 不要咬文嚼字，死扣概念 為什么有了new之后，還要有工廠？靈活控制生產(chǎn)過(guò)程權(quán)...
發(fā)簡(jiǎn)信
IP屬地：北京
-
設(shè)計(jì)模式之 工廠系列
-
設(shè)計(jì)模式之 策略模式
strategy 策略模式 現(xiàn)有一個(gè)List<Cat>，要對(duì)它進(jìn)行排序。 用Comparator加泛型新增一個(gè)策略 針對(duì)不同的設(shè)計(jì)有不同的排序策略，對(duì)它的排序規(guī)則進(jìn)行設(shè)計(jì)；
-
設(shè)計(jì)模式之單例設(shè)計(jì)模式
餓漢式 在靜態(tài)代碼塊中直接加載進(jìn)jvm；缺點(diǎn)：一開(kāi)始就會(huì)被加載進(jìn)來(lái)。 懶漢式 在初始化時(shí)判斷是否已經(jīng)被初始化缺陷：若多線程初始化則會(huì)被重復(fù)初始化 雙重判斷加同步鎖 在INST...
-
RDD2DataFrame
RDD2DataFrame pom.xml RDD2DataFrameRelection.java Scala版本 RDD2DataFrameDynamic.java RDD...
-
Hive函數(shù)
自定義函數(shù) 自定義函數(shù)包括三種：UDF、UDAF、UDTF。 UDF(User-Defined-Function) 一進(jìn)一出 UDAF(User-Defined Aggreg...
-
Hive-beeline、jdbc、regex
服務(wù)端啟動(dòng) 配置文件是Hive的配置文件 服務(wù)端啟動(dòng) 客戶端啟動(dòng) 進(jìn)入后連接 默認(rèn)端口號(hào)為10000，用戶名使用root，無(wú)密碼 直接連接 JDBC pom.xml文件 Ja...
-
HiveSQL分區(qū)-DML
分區(qū) 創(chuàng)建分區(qū)表 以性別分區(qū)；分區(qū)字段不可與表列名重復(fù)！ 載入分區(qū)表數(shù)據(jù) 介紹load-data:Hive-DML 重新填充假數(shù)據(jù) cp data data1并將id改為4,...
-
Hive-DDL
創(chuàng)建表 ROW FORMAT 目標(biāo)文本格式 第三列與第四列都是短線-分隔 第三列為數(shù)組；第四列為Map [LINE TERMINATED by char] 行間分隔，默認(rèn)換行...
-
安裝Hive
對(duì)應(yīng)HADOOP版本是2.5.2 安裝MySQL 啟動(dòng)MySQL 進(jìn)入MySQL 修改用戶權(quán)限 下載hive apache-hive-1.2.1-bin.tar.gz 修改環(huán)...
-
Docker容器跨主機(jī)通信之：直接路由方式概述 就目前Docker自身默認(rèn)的網(wǎng)絡(luò)來(lái)說(shuō)，單臺(tái)主機(jī)上的不同Docker容器可以借助docker0網(wǎng)橋直接通信，這沒(méi)毛病，而不同主機(jī)上的Docker容器之間只能通過(guò)在主機(jī)上用...
-
Elasticsearch技術(shù)解析與實(shí)戰(zhàn)-第3章
第3章 映射 映射是定義存儲(chǔ)和索引的文檔類(lèi)型以及字段的過(guò)程。索引中的每一個(gè)文檔都有一個(gè)類(lèi)型，每種類(lèi)型都有它自己的映射。一個(gè)映射定義了文檔結(jié)構(gòu)內(nèi)每個(gè)字段的數(shù)據(jù)類(lèi)型。映射通過(guò)配置...
-
搭建分布式Hadoop
1. 安裝虛擬機(jī) virtualbox和centos6.9Centos6.9_x64百度網(wǎng)盤(pán)地址:https://pan.baidu.com/s/11RDISh4yB36lV...
-
Scrapy中將item字段轉(zhuǎn)為簡(jiǎn)體or繁體
作者：黃成 時(shí)間:2018年04月09日 1. 安裝hanziconv 安裝一個(gè)簡(jiǎn)繁體轉(zhuǎn)換的包: 2. 自定義一個(gè)itempiples 找到項(xiàng)目中的pipelines.py文...
-
Scrapy配置代理
采集免費(fèi)代理信息 運(yùn)行寫(xiě)入json文件 使用代理進(jìn)行采集 在middlewares.py中添加以下代碼： 在settings.py中添加： 新建一個(gè)test_random_p...
-
Scrapy用Pipeline寫(xiě)入MySQL
編輯pipelines.py，添加自定義pipelines類(lèi)： 接著在settings.py中寫(xiě)入相關(guān)配置參數(shù)，添加至item_pipelines中：
-
爬取京東商城中的書(shū)籍信息項(xiàng)目需求 ? 爬取京東商城中所有Python書(shū)籍的名字和價(jià)格信息。 編碼實(shí)現(xiàn) ? 首先，在splash_examples項(xiàng)目目錄下使用scrapy genspider...
-
Splash渲染引擎Splash渲染引擎 ? Splash是Scrapy官方推薦的JavaScript渲染，它是使用WebKit開(kāi)發(fā)的輕量級(jí)無(wú)界面瀏覽器，提供基于HTTP接口的JavaScr...
-
Scrapy使用Pipeline寫(xiě)入MongoDB
在pipelines.py中寫(xiě)入MongoDBPipeline,代碼如下: 增加類(lèi)方法from_crawler(cls, crawler)，替代在類(lèi)屬性中定義DB_URL和D...