一不小心一個月又過去了，其實最近還是小忙小忙的，廢話不多說，直接進入今天的主題吧。

Jsoup -- Java HTML Parser, with best of DOM, CSS, and jquery.，看這個介紹就知道，這個就是方便咱們 Java 和Android 來解析 HTML 的。

HTML 標(biāo)簽

要去爬別人的 HTML 標(biāo)簽的話，首先你肯定得有一定的 HTML 的基礎(chǔ)知識吧。比如說常用的標(biāo)簽，標(biāo)簽的相關(guān)屬性，這個就不多說了，有相關(guān)問題都可以在 www.w3school.com.cn 的網(wǎng)站解決一下。

加載網(wǎng)頁

最簡單的，直接加載一個網(wǎng)頁：

  Document document = Jsoup.connect("https://www.google.com").get();

那看到最后的 get() 方法聰明滴你一定就猜到還有一個對應(yīng)的 post() 方法了吧。另外，http 請求的相關(guān)操作都是可以設(shè)置的，包括 header 請求參數(shù)，請求超時等等。除此之外，本地的文件（IO流）等都是可以直接解析的哈。

Document document = Jsoup.connect("https://android-arsenal.com")
        .timeout(5000)
        .cookie("cookie", "cxxx")
        .header("xx", "xx")
        .userAgent("")
        .get();

基本標(biāo)簽解析

之后咱們就得到了一個 Document 的對象了。這個對象就是對整個請求網(wǎng)頁的封裝，相關(guān)內(nèi)容都可以在里面獲取。

來吧，加入我們有下面一段html標(biāo)簽需要解析：

<div class="project-info clearfix">
    <div class="header">
        <div class="title">
            <a href="/details/1/5442">RendererRecyclerViewAdapter</a>
            <a class="tags" href="/tag/199">Recycler Views</a>
        </div>
        <a class="badge free" href="/free">Free</a>
        <a class="badge new" href="/recent">New</a>
    </div>
    <div class="desc">
        <p>A single adapter for the whole project.</p>
        <ul>
        <li>Now you do not need to implement adapters for RecyclerView.</li>
        <li>You can easily use several types of cells in a single list.</li>
        <li>Using this library will protect you from the appearance of any business logic in an adapter.</li>
        </ul>
    </div>
    <div class="ftr l"><i class="fa fa-calendar"></i> Mar 17, 2017</div>
</div>

Jsoup 里面對于標(biāo)簽的尋找使用的方法是 select() 方法，這個方法不要太強大了。咱們一步一步的來。

比如我們要在茫茫標(biāo)簽中找到 <div class="project-info clearfix"> 的話，拿這里就是應(yīng)該 findElementByClass() ，那么在 Jsoup 中是怎么定義這一塊的呢？

Jsoup-selector.png

哈哈，很easy嘛，那就是 document.select("div.project-info clearfix") 咯，當(dāng)然不是這樣子的，等等 class 屬性里面這個空格是什么意思啊？是不是一臉懵逼？這里最終的寫法是 document.select("div.project-info.clearfix") 空格需要用 . 來處理。

      Elements select = document.select("div.project-info.clearfix");

這里得到是一個集合。我們接下來就需要遍歷這個集合，然后把里面的每一個標(biāo)簽都拔出來。

title 部分的解析，這里是一個 <div> 里面嵌套了一個 <a> 的標(biāo)簽。這里就涉及到了解析 <a> 標(biāo)簽了。這里我們需要對應(yīng)的 href，也需要對應(yīng)的 text ， Jsoup 提供了對應(yīng)的兩個方法 attr() 和 text() 。

Elements elements = e.select("div.title");
if (!elements.isEmpty()) {
    for (Element tittle : elements) {
        Element first = tittle.select("a[href]").first();
        if (first != null) {
            title = first.text();
            titleUrl = first.attr("href");
            System.out.println("名稱：" + title);
            System.out.println("具體地址：" + titleUrl);
        }

        Elements select1 = tittle.select("a.tags");
        if (!select1.isEmpty()) {
            tag = select1.text();
            tagUrl = select1.attr("href");
            System.out.println("tags:" + tag);
            System.out.println("tagUrl:" + tagUrl);
        }
    }
}   

嵌套解析

到這里， <div> 和 <a> 標(biāo)簽的介紹基本搞定，接下來就是 <div class="desc"> 的解析了。

<div class="desc">
    <p>A single adapter for the whole project.</p>
    <ul>
    <li>Now you do not need to implement adapters for RecyclerView.</li>
    <li>You can easily use several types of cells in a single list.</li>
    <li>Using this library will protect you from the appearance of any business logic in an adapter.</li>
    </ul>
</div>

這里又多了 <ul> 和 <li> 了，其實道理是差不多的，但是這里它們既沒有 class 也沒有 id ，那這個我們應(yīng)該這么去解析呢？

這里還是要回到 select() 方法，這里就需要使用到指定層級的方法了。

嵌套解析.png

        Elements select1 = e.select("div.desc > p");
        String s = select1.toString();

對于 <dt> <dd> 相關(guān)的標(biāo)簽，就可以使用 + 相關(guān)的連接符了。例如我想要只解析 Tag 下面的對應(yīng)的 Tag 名稱和相關(guān)的 url，這個應(yīng)該怎么寫呢？

<dt>Tag</dt>
<dd><a href="/tag/9">Background Processing</a></dd>
<dt>License</dt>
<dd><a  rel="nofollow" target="_blank">Apache License, Version 2.0</a>
</dd>

代碼就是這樣的，這里一不小心就又引出了 select() 方法的嵌套高級寫法。

 Elements select4 = element.select("dt:contains(Tag) + dd");

select-高級.png

其實不用太多解釋啦，截圖里面描述的很清楚了。最后一個是可以支持正則的匹配。

同級相鄰解析

還有一種情況就是我們需要的標(biāo)簽沒有具體的 id 或者 class，并且它沒有直接對應(yīng)的父標(biāo)簽或者某種固定的嵌套關(guān)系，例如下面這種情況：

<a id="favoriteButton" href="#" class="fa fa-star-o favorite tshadow" title="Add to favorites"></a> 
<a href="/details/1/5244">ImmediateLooperScheduler</a> <div id="githubInfoValue">

這里我們只需要解析到第二個 <a> 標(biāo)簽，那么需要怎么處理呢？這里就需要使用到 nextElementSibling() 的方法了。

Element ssa = h1.select("a#favoriteButton").first();
Element element = ssa.nextElementSibling();
String title = element.text();

模糊解析

屬性限制.png

有時候我們只知道這個 <div> 是以 什么開頭或者是以什么結(jié)尾或者又是里面包含了某個單詞的，那么這個時候就需要使用模糊查找了。

在 Jsoup 中定義了這些情況的相關(guān) select() 寫法，其中，以什么開頭，是使用 a[href^=http] ,以什么結(jié)尾使用 a[href$=.jpg] ，包含什么就是使用 a[href*=/search/]。

javascript 解析

剛剛說的都是普通標(biāo)簽及其內(nèi)容，如果我要獲取js相關(guān)的標(biāo)簽以及內(nèi)容呢？其實也不難，只是最后不是使用text()的方法，而是使用data()的方法了。

就是 Jsoup 最主要的就是寫好這個 select() 方法，

final Elements script = document.select("script");

String js = script.first().data();

相關(guān)實戰(zhàn)

Android-Arsenal 這個網(wǎng)站不造大家伙兒有聽說過沒？這里給我們Android開發(fā)者提供了了一個信息交流展示平臺，實時更新一些Android相關(guān)的App,開發(fā)庫、以及Demo。然后，我看到它也有自己的客戶端，所以一時好奇也打算下載下來看看，結(jié)果，客戶端就是直接加載的網(wǎng)頁，關(guān)鍵是廣告滿天飛。這個就讓人不好受了（話說回來，人家不打廣告賺點兒錢做這個平臺干嘛呢。）

所以靈機一動，為什么我不自己搞一個 Android-Arsenal 的客戶端呢？這樣方便在手機上看到最新的東西嘛。所以就做了一個客戶端，而使用的就是Jsoup 來爬去的對應(yīng)的網(wǎng)頁。然后就把對應(yīng) ads 的標(biāo)簽都過濾了，所以是很清爽的啦。當(dāng)然功能也只是先實現(xiàn)了一部分。喜歡的朋友可以點個星星或者下載使用喲！

最后來一波效果圖：

項目地址：https://github.com/lovejjfg/Android-Arsenal

1.jpg

2.jpg

3.jpg

4.jpg

5.jpg

6.jpg

---- Edit By Joe At 2017 03 18 ----