上一篇寫(xiě)了一個(gè)簡(jiǎn)單的新浪新聞爬蟲(chóng)作為上手主要是用jsoup包來(lái)對(duì)url頁(yè)面進(jìn)行抓取到本地，并在本地進(jìn)行數(shù)據(jù)的解析提取。這里就不重復(fù)敘述jsoup的用法了，百度一下基本一大片。看了網(wǎng)上大神們都有對(duì)知乎進(jìn)行爬取，今天我也拿它來(lái)試試手。寫(xiě)這篇文章的目的主要是想將自己在爬取中遇到的一些坑，以及怎么解決的做一下記錄。也算是一次加深理解的過(guò)程。
爬取的目標(biāo)頁(yè)面
2017-12-31_172919.png
目標(biāo)是爬取問(wèn)題推薦頁(yè)面的所有問(wèn)題。但是隨后我就發(fā)現(xiàn)一個(gè)問(wèn)題，第一次我是通過(guò)抓取這個(gè)https://www.zhihu.com/explore/recommendations鏈接來(lái)獲取問(wèn)題列表，但是當(dāng)代碼敲完測(cè)試的時(shí)候發(fā)現(xiàn)數(shù)據(jù)只有20條。。。這顯然不是我所期望的，看了一遍代碼 發(fā)現(xiàn)代碼是沒(méi)有毛病，那么問(wèn)題出在哪里？排查了一片以及debug模式。最終發(fā)現(xiàn)是頁(yè)面的問(wèn)題。因?yàn)槲液雎粤艘粋€(gè)重要的地方。頁(yè)面是動(dòng)態(tài)加載的，而且每次只加載20條。
頁(yè)面加載.png
問(wèn)題就出在這個(gè)地方，這里其實(shí)還包含了一個(gè)地址（https://www.zhihu.com/node/ExploreRecommendListV2）。通過(guò)抓包可以發(fā)現(xiàn)（google的F12真的好用，推薦多去看看）
ajax請(qǐng)求頭.png
請(qǐng)求參數(shù).png
返回json結(jié)果.png
知道問(wèn)題出在哪里其實(shí)就已經(jīng)完成了一半了。說(shuō)一下接下來(lái)我的思路：
- 因?yàn)橛谜?qǐng)求的參數(shù)可以看出其實(shí)這就是一個(gè)類似于一個(gè)分頁(yè)信息一樣。那么我只要在java代碼中每次模仿頁(yè)面的請(qǐng)求給知乎發(fā)送ajax請(qǐng)求，然后解析返回的json結(jié)果是不是就可以獲取其中的問(wèn)題信息了。
- 上面其實(shí)就已經(jīng)有兩個(gè)需求需要解決。
- 在java代碼中模仿ajax發(fā)送請(qǐng)求。采用的是Httpclient。
- 解析返回的json，Gson jar包可以完美解決。
封裝了httpclient post請(qǐng)求
public class HttpClientUtil {
/**
*
* @Title: doPost
* @Description: 模仿提交post請(qǐng)求
* @param @param url
* @param @param map 請(qǐng)求的參數(shù) 采用map集合封裝參數(shù)
* @param @param charset 編碼格式
* @param @return 參數(shù)
* @return String 返回類型
* @author liangchu
* @date 2017-12-31 下午7:09:14
* @throws
*/
public static String doPost(String url,Map<String,Object> map,String charset){
HttpClient httpClient = null;
HttpPost httpPost = null;
String result = null;
try{
httpClient = new SSLClient();
httpPost = new HttpPost(url);
//設(shè)置參數(shù)
List<NameValuePair> list = new ArrayList<NameValuePair>();
Iterator iterator = map.entrySet().iterator();
while(iterator.hasNext()){
Entry<String,Object> elem = (Entry<String, Object>) iterator.next();
list.add(new BasicNameValuePair(elem.getKey(),(String) elem.getValue()));
}
if(list.size() > 0){
UrlEncodedFormEntity entity = new UrlEncodedFormEntity(list,charset);
httpPost.setEntity(entity);
}
HttpResponse response = httpClient.execute(httpPost);
if(response != null){
HttpEntity resEntity = response.getEntity();
if(resEntity != null){
result = EntityUtils.toString(resEntity,charset);
}
}
}catch(Exception ex){
ex.printStackTrace();
}
return result;
}
}
根據(jù)url鏈接地址獲取對(duì)應(yīng)的信息列表
/**
*
* @Title: spiderZH2
* @Description: 這里是采用httpclient包發(fā)送請(qǐng)求 獲取需要加載的列表
* @param @param url 參數(shù)url地址 offset 根據(jù)offset顯示問(wèn)題信息列表
* @return void 返回類型
* @author liangchu
* @date 2017-12-31 下午2:11:23
* @throws
*/
public static void spiderZH2(String url,int offset){
try {
//String curl ="https://www.zhihu.com/node/ExploreRecommendListV2";
Map<String,Object> createMap = new HashMap<String,Object>();
String charset = "utf-8";
// method 提交的參數(shù)
createMap.put("method", "next");
Map<String,Object> map = new HashMap<String, Object>();
// 分頁(yè)顯示的數(shù)據(jù)
map.put("limit", 20);
map.put("offset", offset);
createMap.put("method", "next");
Gson gson = new Gson();
String mapStr = gson.toJson(map);
// 請(qǐng)求的參數(shù)
createMap.put("params", mapStr);
// 根據(jù)httpclient模仿post請(qǐng)求
String httpOrgCreateTestRtn = HttpClientUtil.doPost(url,createMap,charset);
Map maps = gson.fromJson(httpOrgCreateTestRtn, Map.class);
String html = maps.get("msg").toString();
Document doc = Jsoup.parse(html);
Elements elements =
doc.select("div[class=zm-item]").select("h2").
select("a[class=question_link]");
File file = new File("F:/replite/zhifuwenda.txt");
// 遍歷每個(gè)問(wèn)題節(jié)點(diǎn)
for (Element question : elements) {
// 獲取連接地址
String qUrl = question.attr("href");
// 這里需要判斷urlhttp格式
if(!qUrl.contains("https://")){
qUrl = "https://www.zhihu.com"+qUrl;
}
Document document2=Jsoup.connect(qUrl)
.userAgent("Mozilla/5.0 "
+ "(iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) "
+ "AppleWebKit/533.17.9"
+ " (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5")
.get();
// 問(wèn)題標(biāo)題
Elements title = document2.select("#root").select("div").select("main").
select("div").select("div:nth-child(10)").select("div.QuestionHeader").
select("div.QuestionHeader-content").select("div.QuestionHeader-main").
select("h1");
// 回答問(wèn)題的內(nèi)容
Elements content = document2.select("#root").select("div").select("main").
select("div").select("div.Question-main").select("div.Question-mainColumn").
select("div.Card.AnswerCard").select("div").select("div").
select("div.RichContent.RichContent--unescapable").
select("div.RichContent-inner");
if (!file.getParentFile().exists()) {//判斷路徑是否存在，如果不存在，則創(chuàng)建上一級(jí)目錄文件夾
file.getParentFile().mkdirs();
}
FileWriter fileWriter=new FileWriter(file, true);
fileWriter.write("=============鏈接:"+qUrl+"\r\n");
fileWriter.write("=============標(biāo)題:"+title.get(0).text()+"\r\n");
fileWriter.write("=============回答:"+content.get(0).text()+"\r\n");
fileWriter.close();
}
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
調(diào)用
public static void main(String [] args){
// 這里采用循環(huán)的方式去除列表
String url = "https://www.zhihu.com/node/ExploreRecommendListV2";
for(int i=1;i<1000;i++){
spiderZH2(url,59+i*20);
}
}
數(shù)據(jù)采集截圖
2017-12-31_191857.png
改進(jìn)的地方還有很多，比如說(shuō)可以采用多線程采集，應(yīng)該效率會(huì)比較高，在實(shí)際的應(yīng)用應(yīng)該是采集的數(shù)據(jù)可以存入redis中，然后在由redis insert進(jìn)數(shù)據(jù)庫(kù)。要改進(jìn)的地方還有很多，時(shí)間的問(wèn)題也就沒(méi)有去考慮的。這也算是上一個(gè)版本一個(gè)小小的提升吧。O(∩_∩)O
