寫一個爬蟲有多簡單？答案是：不到30行代碼
我用了不到30行代碼，爬了知乎好多妹子圖?。。?/p>
跟著我一步一步來，你也可以簡簡單單創(chuàng)建一個爬蟲。
目標(biāo)
爬蟲的第一步就是決定要爬些什么。作為一個屌的不能再屌的屌絲，當(dāng)然要爬妹子?。?！
每當(dāng)這個時候，就要拿出我的儲備了。 欲罷不能的大美妞 ，要說妹子圖的質(zhì)量，還是得知乎啊。
分析
目標(biāo)有了，我們就要先分析一下。頁面結(jié)構(gòu)。在頁面中找任一個爬取目標(biāo)，點擊鼠標(biāo)右鍵，選擇【檢查】選項。便會打開瀏覽器的控制臺，并定位到我們的目標(biāo)圖片的節(jié)點上。如下圖：
圖中的img標(biāo)簽就是我們的爬取目標(biāo)，我們可以明確的看到 data-original 元素的內(nèi)容與 src 元素的內(nèi)容都是圖片的地址。經(jīng)過驗證， src 元素的內(nèi)容可能會是縮略圖地址，所以我們放棄 src 選擇 data-original。
以上就是我們要分析的部分，接下來就是代碼。
編碼
新建項目
這里我們使用 maven 作為項目的依賴管理工具。
新建一個 maven 項目，并在 pom.xml 中引入依賴。
<dependencies>
<dependency>
<groupId>com.github.zhangyingwei</groupId>
<artifactId>cockroach</artifactId>
<version>1.0-Alpha</version>
</dependency>
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.17</version>
</dependency>
<dependency>
<groupId>com.squareup.okhttp3</groupId>
<artifactId>okhttp</artifactId>
<version>3.8.1</version>
</dependency>
<!--json-lib-->
<dependency>
<groupId>net.sf.json-lib</groupId>
<artifactId>json-lib</artifactId>
<version>2.4</version>
<classifier>jdk15</classifier>
</dependency>
<!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.8.3</version>
</dependency>
</dependencies>
這里我們使用了爬蟲框架 cockroach 。并引入了 log4j 作為日志框架，okhttp3 作為 http 客戶端，json-lib 作為 json 解析工具，以及 jsoup 作為 html 解析工具。
建立包結(jié)構(gòu)如下
- store 主要存放頁面解析以及結(jié)果存儲相關(guān)類
- utils 主要存放項目中用到的相關(guān)工具類
- App.java 項目入口
編碼
程序主入口 App.java
public class App {
public static void main(String[] args) throws InstantiationException, IllegalAccessException, InterruptedException {
CockroachConfig config = new CockroachConfig().setAppName("知乎上的妹子們").setThread(10).setStore(ZhihuGirlsStore.class);
TaskQueue queue = TaskQueue.of();
getPageFrom(queue);
CockroachContext context = new CockroachContext(config);
context.start(queue);
}
private static void getPageFrom(TaskQueue queue) throws InterruptedException {
String basePath = "https://www.zhihu.com/collection/72114548?page=";
for (int i = 1; i <= 68; i++) {
queue.push(new Task(basePath + i));
}
}
}
在上邊的代碼中，我們一共分為5步。
- 我們創(chuàng)建了一個名稱為
知乎上的妹子們的爬蟲，使用了 10 個線程來爬取內(nèi)容，并指定了頁面解析以及結(jié)果存儲的處理類為ZhihuGirlsStore.class - 創(chuàng)建了一個默認(rèn)長度的任務(wù)隊列
- 初始化任務(wù)到任務(wù)隊列中
- 創(chuàng)建了一個 Cockroach 爬蟲上下文對象
- 啟動爬蟲
頁面解析以及存儲 ZhihuGirlsStore.java
public class ZhihuGirlsStore implements IStore {
public void store(TaskResponse taskResponse) throws Exception {
if (taskResponse.getTask().getGroup().equals("img")) {
byte[] bytes = taskResponse.getResponse().body().bytes();
ImageUtils.save(bytes);
} else {
Elements imgs = taskResponse.select(".zm-item-answer").select("img");
imgs.stream().map(element -> element.attr("data-original")).forEach(url -> {
try {
taskResponse.getQueue().push(new Task(url, "img"));
} catch (Exception e) {
e.printStackTrace();
}
});
}
}
}
Cockroach 的 task 中為我們提供了 group 字段來標(biāo)識每一個 任務(wù)，如果不設(shè)置，任務(wù)默認(rèn)的 group 為 default 。
在本爬蟲程序中，我們的 task 一共可分為兩種，一種是解析頁面得到頁面中的圖片地址，另外一種就是爬取圖片內(nèi)容。
這里我們通過 group 字段來區(qū)分兩種任務(wù)，具體操作就是在解析到圖片地址并添加到隊列中的時候，給 task 設(shè)置 group 為 img，這樣我們在收到一個結(jié)果的時候，就可以通過 task 中的 group 字段來區(qū)分我們要做何種操作（解析頁面 / 保存圖片）。
圖片存儲 ImageUtils.java
public class ImageUtils {
public static void save(byte[] bytes) throws IOException {
String fileName = UUID.randomUUID().toString();
String dirpath = "meizhi2";
File dir = new File(dirpath);
if(!dir.exists()){
dir.mkdirs();
}
FileOutputStream outputStream = new FileOutputStream(dirpath + "/" + fileName + ".jpg");
outputStream.write(bytes);
outputStream.close();
System.out.println("save image:" + fileName);
}
}
以上代碼就是把接收到的二進(jìn)制圖片內(nèi)容保存為圖片。圖片的名稱使用一個隨機的 UUID 值。
沒錯老鐵們，以上就是我們的全部的代碼。包括方法聲明在內(nèi)的有效代碼不到30行！?。?/p>
