高級爬蟲工程師?

工作職責(zé):

1.負(fù)責(zé)設(shè)計和開發(fā)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，進(jìn)行多平臺信息的抓取和分析；

2.設(shè)計爬蟲策略和防屏蔽規(guī)則，提升效率和質(zhì)量；

3.抓取數(shù)據(jù)進(jìn)行去重、分類、垃圾過濾、質(zhì)量分析；

工作要求:

1. 計算機(jī)科學(xué)或其他相關(guān)專業(yè)（統(tǒng)招）211本科及以上學(xué)歷 扎實(shí)的算法和編程能力;

2. 熟悉linux開發(fā)環(huán)境，精通java和python中的一種。

3. 具有三年以上網(wǎng)絡(luò)爬蟲開發(fā)經(jīng)驗(yàn)，熟悉網(wǎng)絡(luò)數(shù)據(jù)抓取的工作原理及工作流程

4. 對常見的反爬蟲策略有一定的研究，能夠分析總結(jié)不同網(wǎng)站的數(shù)據(jù)特點(diǎn)及規(guī)律

5. 具有海量數(shù)據(jù)處理和分布式計算開發(fā)經(jīng)驗(yàn)者優(yōu)先"