Golang 爬蟲快速入門 | 獲取B站全站的視頻數(shù)據(jù)

提到爬蟲，總會聯(lián)想到Python。似乎Python是爬蟲的唯一選擇。爬蟲只是完成一個訪問頁面然后收集數(shù)據(jù)的任務(wù)，用任何語言來寫都能實現(xiàn)。相比較Python快速實現(xiàn)但是龐大的體型，Golang來寫爬蟲似乎是更好的又一選擇。

HTTP請求

Golang語言的HTTP請求庫不需要使用第三方的庫，標(biāo)準(zhǔn)庫就內(nèi)置了足夠好的支持：

package main

import (
    "fmt"
    "net/http"
    "io/ioutil"
)

func fetch (url string) string {
    fmt.Println("Fetch Url", url)
    
    // 創(chuàng)建請求
    req, _ := http.NewRequest("GET", url, nil)
    // 創(chuàng)建HTTP客戶端
    client := &http.Client{}
    // 發(fā)出請求
    resp, err := client.Do(req)
    if err != nil {
        fmt.Println("Http get err:", err)
        return ""
    }
    if resp.StatusCode != 200 {
        fmt.Println("Http status code:", resp.StatusCode)
        return ""
    }
    // 讀取HTTP響應(yīng)正文
    defer resp.Body.Close()
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        fmt.Println("Read error", err)
        return ""
    }
    return string(body)
}

func main(){
    fmt.Println(fetch("https://github.com"))
}

使用官方的HTTP包可以快速的請求頁面并得到返回數(shù)據(jù)。

就像Python有Scrapy庫，爬蟲框架可以很大程度上簡化HTTP請求、數(shù)據(jù)抽取、收集的流程，同時還能提供更多的工具來幫助我們實現(xiàn)更復(fù)雜的功能。

Golang爬蟲框架——Goribot

github.com/zhshch2002/gospider是一個用Golang寫成的爬蟲輕量框架，有不錯的擴(kuò)展性和分布式支持能力，文檔在https://wiki.xzhsh.ch/gospider/。

獲取Goribot：

go get -u github.com/zhshch2002/gospider

使用Goribot實現(xiàn)上文的代碼的功能要看起來簡潔不少。

package main

import (
    "fmt"
    "github.com/zhshch2002/goribot"
)

func main() {
    s := goribot.NewSpider()
    s.AddTask(
        goribot.GetReq("https://github.com"),
        func(ctx *goribot.Context) {
            fmt.Println(ctx.Resp.Text)
        },
    )
    s.Run()
}

如此之實現(xiàn)了一個單一的功能，即訪問“https://github.com”并打印出結(jié)果。如此的應(yīng)用還不足以使用框架。那我們來入手一個更復(fù)雜點的爬蟲應(yīng)用。

用Goribot爬取B站信息

我們來建立一個復(fù)雜點的爬蟲應(yīng)用，預(yù)期實現(xiàn)兩個功能：

  1. 沿著鏈接自動發(fā)現(xiàn)新的視頻鏈接
  2. 提取標(biāo)題、封面圖、作者和視頻數(shù)據(jù)（播放量、投幣、收藏等）

研究B站頁面

首先我們來研究一下B站的視頻頁面，以https://www.bilibili.com/video/BV1JE411P7hK?spm_id_from=333.851.b_62696c695f7265706f72745f6469676974616c.21為例，按F12打開調(diào)試界面，切換到Network（網(wǎng)絡(luò)）選項卡。

image

我們能看到這一頁面所涉及的所有請求、資源。在調(diào)試界面里選在XHR選項，來查看Ajax請求。

你可以通過點選不同的請求，在右側(cè)彈出的面板里查看具體內(nèi)容。在新面板里點擊Preview（預(yù)覽）可以查看服務(wù)器響應(yīng)的內(nèi)容。

那么，交給你一個任務(wù)，依次查看XHR下的所有請求，找到最像是服務(wù)器返回的點贊、收藏、播放量數(shù)據(jù)的哪一個。

很好，那來看看你找到是這個嗎？

image

你已經(jīng)成功達(dá)成了一個爬蟲工程師的成就——從Ajax請求里尋找目標(biāo)數(shù)據(jù)。

那我們切換到Header（標(biāo)頭）選項，來看看這個請求對應(yīng)的參數(shù)，最好能找到這個響應(yīng)和視頻Id的關(guān)系。

image

發(fā)現(xiàn)了視頻Id——BV號。

我們以及解決了核心問題，獲取B站的視頻數(shù)據(jù)，對于自動搜尋視頻，我們可以設(shè)定一個起始鏈接，然后搜尋<a>標(biāo)簽來延伸爬取。

搭建爬蟲

完整代碼在后文。

創(chuàng)建爬蟲

s := goribot.NewSpider( // 創(chuàng)建一個爬蟲并注冊擴(kuò)展
    goribot.Limiter(true, &goribot.LimitRule{ // 添加一個限制器，限制白名單域名和請求速錄限制
        Glob: "*.bilibili.com",               // 以防對服務(wù)器造成過大壓力以及被B站服務(wù)器封禁
        Rate: 2,
    }),
    goribot.RefererFiller(), // 自動填寫Referer，參見Goribot(https://imagician.net/goribot/)關(guān)于擴(kuò)展的部分
    goribot.RandomUserAgent(), // 隨機UA
    goribot.SetDepthFirst(true), // 使用深度優(yōu)先策略，就是沿著一個頁面，然后去子頁面而非同級頁面
)

獲取視頻數(shù)據(jù)

var getVideoInfo = func(ctx *goribot.Context) {
    res := map[string]interface{}{
        "bvid":  ctx.Resp.Json("data.bvid").String(),
        "title": ctx.Resp.Json("data.title").String(),
        "des":   ctx.Resp.Json("data.des").String(),
        "pic":   ctx.Resp.Json("data.pic").String(),   // 封面圖
        "tname": ctx.Resp.Json("data.tname").String(), // 分類名
        "owner": map[string]interface{}{ //視頻作者
            "name": ctx.Resp.Json("data.owner.name").String(),
            "mid":  ctx.Resp.Json("data.owner.mid").String(),
            "face": ctx.Resp.Json("data.owner.face").String(), // 頭像
        },
        "ctime":   ctx.Resp.Json("data.ctime").String(), // 創(chuàng)建時間
        "pubdate": ctx.Resp.Json("data.pubdate").String(), // 發(fā)布時間
        "stat": map[string]interface{}{ // 視頻數(shù)據(jù)
            "view":     ctx.Resp.Json("data.stat.view").Int(),
            "danmaku":  ctx.Resp.Json("data.stat.danmaku").Int(),
            "reply":    ctx.Resp.Json("data.stat.reply").Int(),
            "favorite": ctx.Resp.Json("data.stat.favorite").Int(),
            "coin":     ctx.Resp.Json("data.stat.coin").Int(),
            "share":    ctx.Resp.Json("data.stat.share").Int(),
            "like":     ctx.Resp.Json("data.stat.like").Int(),
            "dislike":  ctx.Resp.Json("data.stat.dislike").Int(),
        },
    }
    ctx.AddItem(res) // 保存到蜘蛛的Item處理隊列
}

這是一個函數(shù)，自動解析響應(yīng)里的Json數(shù)據(jù)，也就是剛才看的Ajax結(jié)果。解析完數(shù)據(jù)后保存到蜘蛛的Item處理隊列。

發(fā)現(xiàn)新視頻

var findVideo goribot.CtxHandlerFun
findVideo = func(ctx *goribot.Context) {
    u := ctx.Req.URL.String()
    fmt.Println(u)
    if strings.HasPrefix(u, "https://www.bilibili.com/video/") { // 判斷是否為視頻頁面
        if strings.Contains(u, "?") {
            u = u[:strings.Index(u, "?")]
        }
        u = u[31:] // 截取視頻中的BV號
        fmt.Println(u)
        
        // 創(chuàng)建一個從BV號獲取具體數(shù)據(jù)的任務(wù)，使用上一個策略
        ctx.AddTask(goribot.GetReq("https://api.bilibili.com/x/web-interface/view?bvid="+u), getVideoInfo)
    }
    ctx.Resp.Dom.Find("a[href]").Each(func(i int, sel *goquery.Selection) {
        if h, ok := sel.Attr("href"); ok {
            ctx.AddTask(goribot.GetReq(h), findVideo) // 用同樣的策略處理子頁面
        }
    })
}

收集Item

我們在獲取視頻數(shù)據(jù)里獲取了Ajax數(shù)據(jù)，并保存到Item隊列。我們在這里處理這些Item以避免讀寫文件和數(shù)據(jù)庫對爬取主線程的阻塞。

s.OnItem(func(i interface{}) interface{} {
    fmt.Println(i) // 我們暫時不做處理，就先打印出來
    return i
})

OnItem的具體使用要參考Goribot文檔的相關(guān)內(nèi)容。

最后 Run 吧

// 種子任務(wù)
s.AddTask(goribot.GetReq("https://www.bilibili.com/video/BV1at411a7RS"), findVideo)
s.Run()

完整代碼如下

package main

import (
    "fmt"
    "github.com/PuerkitoBio/goquery"
    "github.com/zhshch2002/gospider"
    "strings"
)

func main() {
    s := goribot.NewSpider(
        goribot.Limiter(true, &goribot.LimitRule{
            Glob: "*.bilibili.com",
            Rate: 2,
        }),
        goribot.RefererFiller(),
        goribot.RandomUserAgent(),
        goribot.SetDepthFirst(true),
    )
    var getVideoInfo = func(ctx *goribot.Context) {
        res := map[string]interface{}{
            "bvid":  ctx.Resp.Json("data.bvid").String(),
            "title": ctx.Resp.Json("data.title").String(),
            "des":   ctx.Resp.Json("data.des").String(),
            "pic":   ctx.Resp.Json("data.pic").String(),   // 封面圖
            "tname": ctx.Resp.Json("data.tname").String(), // 分類名
            "owner": map[string]interface{}{ //視頻作者
                "name": ctx.Resp.Json("data.owner.name").String(),
                "mid":  ctx.Resp.Json("data.owner.mid").String(),
                "face": ctx.Resp.Json("data.owner.face").String(), // 頭像
            },
            "ctime":   ctx.Resp.Json("data.ctime").String(), // 創(chuàng)建時間
            "pubdate": ctx.Resp.Json("data.pubdate").String(), // 發(fā)布時間
            "stat": map[string]interface{}{ // 視頻數(shù)據(jù)
                "view":     ctx.Resp.Json("data.stat.view").Int(),
                "danmaku":  ctx.Resp.Json("data.stat.danmaku").Int(),
                "reply":    ctx.Resp.Json("data.stat.reply").Int(),
                "favorite": ctx.Resp.Json("data.stat.favorite").Int(),
                "coin":     ctx.Resp.Json("data.stat.coin").Int(),
                "share":    ctx.Resp.Json("data.stat.share").Int(),
                "like":     ctx.Resp.Json("data.stat.like").Int(),
                "dislike":  ctx.Resp.Json("data.stat.dislike").Int(),
            },
        }
        ctx.AddItem(res)
    }
    var findVideo goribot.CtxHandlerFun
    findVideo = func(ctx *goribot.Context) {
        u := ctx.Req.URL.String()
        fmt.Println(u)
        if strings.HasPrefix(u, "https://www.bilibili.com/video/") {
            if strings.Contains(u, "?") {
                u = u[:strings.Index(u, "?")]
            }
            u = u[31:]
            fmt.Println(u)
            ctx.AddTask(goribot.GetReq("https://api.bilibili.com/x/web-interface/view?bvid="+u), getVideoInfo)
        }
        ctx.Resp.Dom.Find("a[href]").Each(func(i int, sel *goquery.Selection) {
            if h, ok := sel.Attr("href"); ok {
                ctx.AddTask(goribot.GetReq(h), findVideo)
            }
        })
    }
    s.OnItem(func(i interface{}) interface{} {
        fmt.Println(i)
        return i
    })
    s.AddTask(goribot.GetReq("https://www.bilibili.com/video/BV1at411a7RS").SetHeader("cookie", "_uuid=1B9F036F-8652-DCDD-D67E-54603D58A9B904750infoc; buvid3=5D62519D-8AB5-449B-A4CF-72D17C3DFB87155806infoc; sid=9h5nzg2a; LIVE_BUVID=AUTO7815811574205505; CURRENT_FNVAL=16; im_notify_type_403928979=0; rpdid=|(k|~uu|lu||0J'ul)ukk)~kY; _ga=GA1.2.533428114.1584175871; PVID=1; DedeUserID=403928979; DedeUserID__ckMd5=08363945687b3545; SESSDATA=b4f022fe%2C1601298276%2C1cf0c*41; bili_jct=2f00b7d205a97aa2ec1475f93bfcb1a3; bp_t_offset_403928979=375484225910036050"), findVideo)
    s.Run()
}

最后

爬蟲框架只是工具，重要的是人怎么使用它。了解工具可以看項目_examples和文檔。

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容