簡介
用node.js寫了一個簡單的小爬蟲，用來爬取拉勾網(wǎng)上的招聘信息，共爬取了北京、上海、廣州、深圳、杭州、西安、成都7個城市的數(shù)據(jù)，分別以前端、PHP、java、c++、python、Android、ios作為關鍵詞進行爬取，爬到的數(shù)據(jù)以json格式儲存到本地，為了方便觀察，我將數(shù)據(jù)整理了一下供大家參考
數(shù)據(jù)結果
數(shù)據(jù)匯總
一線城市各職位對比
北京各職位數(shù)量對比
上海各職位數(shù)量對比
廣州各職位數(shù)量對比
深圳各職位數(shù)量對比
杭州各職位數(shù)量對比
爬取過程展示
控制并發(fā)進行爬取
爬取到的數(shù)據(jù)文件
json數(shù)據(jù)文件
爬蟲程序
由于這個爬蟲程序比較簡單，所以并沒有貼代碼，只是將大體思路分享一下，想看代碼的朋友可以去我的github上查看
實現(xiàn)思路
請求拉鉤網(wǎng)的https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&city=城市&kd=關鍵詞&pn=頁數(shù)地址，拉鉤會返回一個包含所要請求職位信息的數(shù)據(jù)，返回的數(shù)據(jù)為json格式，所以省去了使用cheerio去解析網(wǎng)頁，直接用superagent來請求上述地址，其中參數(shù)city是為城市，kd為所要搜索的關鍵詞，pn為要請求的頁數(shù)，成功返回數(shù)據(jù)后，將數(shù)據(jù)儲存在本地即可。其中使用了async來控制并發(fā)數(shù)量，使得并發(fā)數(shù)不超過3，防止被封ip
代碼地址及使用
- github：https://github.com/zsqosos/positionAnalysis
- 代碼請在github上查看，使用該程序需要安裝node環(huán)境，如果覺得還不錯的話煩請給個star
