爬蟲(chóng) 網(wǎng)絡(luò)爬蟲(chóng)是一種按照一定的規(guī)則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本。 法律責(zé)任 爬蟲(chóng)禁止爬取個(gè)人隱私數(shù)據(jù)和明確禁止他人訪問(wèn)的數(shù)據(jù)，甚至涉及版權(quán)保護(hù)的內(nèi)容都不允許爬取后隨意...
發(fā)簡(jiǎn)信
IP屬地：吉林
-
用PyQuery寫爬蟲(chóng)爬取新聞 -
如何處理高并發(fā)任務(wù)背景 在用戶量比較高的情況下，會(huì)有很多請(qǐng)求過(guò)來(lái)，此時(shí)線程池處理能力已經(jīng)無(wú)法滿足需求，如何解決？ 方案：可以將當(dāng)前的計(jì)算線程先保存起來(lái)，放入高并發(fā)消息隊(duì)列中，等線程池中的任務(wù)較...
-
數(shù)據(jù)采集的幾種方法數(shù)據(jù)采集的背景 用戶每天通過(guò)不同的終端設(shè)備在系統(tǒng)A上做出一系列的操作，比如在新聞系統(tǒng)上的看一些文章，進(jìn)行收藏或者點(diǎn)贊、評(píng)論等等，會(huì)觸發(fā)A系統(tǒng)下不同的微服務(wù)，如abc等，如何記...
-
裝飾模式裝飾模式 裝飾模式是動(dòng)態(tài)的擴(kuò)展一個(gè)類的功能，而不需要改變?cè)碱惖拇a。 結(jié)構(gòu) 主要包含四個(gè)角色： 抽象組建：抽象組建是一個(gè)抽象類，定義了被裝飾者需要裝飾的方法 具體組建：是抽...
-
什么是RPC？1. 基本的RPC模型 主要介紹RPC是什么，基本的RPC代碼，RPC與REST的區(qū)別，gRPC的使用 1.1 基本概念 RPC（Remote Procedure Call）...
-
工廠模式1. 工廠模式分類 工廠模式主要負(fù)責(zé)將大量有共同接口的類實(shí)例化，可以動(dòng)態(tài)的決定創(chuàng)建哪一個(gè)類，而不事先知道要實(shí)例化具體哪一個(gè)類。 簡(jiǎn)單工廠模式：靜態(tài)工廠模式 工廠模式：多態(tài)工廠...
-
5分鐘上手Mac效率神器Alfred以及Alfred常用操作前言 Alfred，想必大家就算沒(méi)用過(guò)也耳聞過(guò)。Alfred是一個(gè)讓你可以丟掉鼠標(biāo)的神器。很多讀者可能之前認(rèn)為Alfred的學(xué)習(xí)成本高，或者感覺(jué)它太復(fù)雜，而望之卻步。其實(shí)Al...
-
微服務(wù)動(dòng)態(tài)屬性配置1 需求介紹 使用Spring Boot開(kāi)發(fā)微服務(wù)的過(guò)程中難免會(huì)遇到配置問(wèn)題，常見(jiàn)的配置方式為：配置文件設(shè)置、數(shù)據(jù)庫(kù)動(dòng)態(tài)配置以及數(shù)據(jù)庫(kù)加緩存進(jìn)行配置等。 1.1 不同配置方式...
-
Java實(shí)現(xiàn)JSON與Object之間的轉(zhuǎn)換
1. 什么是JSON？ JSON(JavaScript Object Notation) 是一種輕量級(jí)的數(shù)據(jù)交換格式。 易于人閱讀和編寫。同時(shí)也易于機(jī)器解析和生成。JSON建...
