如果你想要從網(wǎng)上下載一些視頻資源，你可能會遇到一些難題：有些網(wǎng)站需要動態(tài)渲染或者用戶交互才能顯示視頻鏈接，有些網(wǎng)站需要處理復(fù)雜的編碼和數(shù)據(jù)格式。那么，在這些情況下，你應(yīng)該選擇哪種瀏覽器自動化工具呢？本文將對比兩種常用的工具：puppeteer和python requests，并分析它們在采集視頻鏈接方面的優(yōu)缺點(diǎn)。
什么是puppeteer？
puppeteer是一個Node.js庫，它提供了一個高級API來通過DevTools協(xié)議控制Chrome或者Chromium瀏覽器34。利用puppeteer，你可以模擬大多數(shù)人類在瀏覽器中的交互行為，例如點(diǎn)擊、輸入、滾動等。這樣，你就可以訪問一些需要動態(tài)渲染或者用戶操作才能顯示的視頻鏈接34。
除此之外，puppeteer還可以利用Chrome DevTools協(xié)議來控制瀏覽器的各種功能，例如截圖、錄屏、網(wǎng)絡(luò)攔截等34。這些功能可以幫助你調(diào)試和展示你的爬蟲結(jié)果。
什么是python requests？
python requests是一個Python庫，它提供了一個簡單易用的HTTP客戶端5。利用python requests， 你可以發(fā)送各種類型的HTTP請求，并且支持cookies、重定向、代理等功能5。這樣， 你就可以訪問一些不需要動態(tài)渲染或者用戶操作就能顯示的視頻鏈接5。
puppeteer和python requests的優(yōu)缺點(diǎn)
puppeteer和python requests都是有用的瀏覽器自動化工具，它們在采集視頻鏈接方面有各自的優(yōu)勢和局限性。下面是一個簡單的對比表：
工具優(yōu)點(diǎn)缺點(diǎn)
puppeteer可以訪問動態(tài)渲染或者用戶交互的內(nèi)容；可以利用DevTools協(xié)議控制瀏覽器功能；可以運(yùn)行在無頭模式下提高性能；只需要使用一種語言（JavaScript）和一種瀏覽器（Chrome）只能控制Chrome或者Chromium瀏覽器，不能兼容其他瀏覽器；可能比其他工具更難以在不同平臺和環(huán)境下運(yùn)行；可能遇到反爬蟲機(jī)制
python requests可以訪問不需要動態(tài)渲染或者用戶交互的內(nèi)容；可以發(fā)送各種類型的HTTP請求并支持多種功能；可以處理各種編碼和數(shù)據(jù)格式并與其他Python庫兼容不能訪問動態(tài)渲染或者用戶交互的內(nèi)容；不能利用DevTools協(xié)議控制瀏覽器功能；需要使用兩種語言（Python和JavaScript）和多種瀏覽器
下面提供一段代碼，使用puppeteer對視頻網(wǎng)站進(jìn)行采集
// 引入process和puppeteer模塊
const process = require("process");
const puppeteer = require("puppeteer");
// 定義代理地址、延時時間和延時函數(shù)
const PROXY = "http://www.16yun.cn:80"; // 代理服務(wù)器(產(chǎn)品 www.16yun.cn)可以修改這個代理地址
const SLEEP = 5000; // 你可以修改這個延時時間（毫秒）
const sleep = (ms) => new Promise((resolve) => setTimeout(resolve, ms));
// 定義一個異步函數(shù)view，接受一個URL和一個代理地址作為參數(shù)
async function view(url, proxy) {
? // 在view函數(shù)中，使用puppeteer.launch方法啟動一個瀏覽器實(shí)例，并設(shè)置一些參數(shù)，如headless、ignoreHTTPSErrors、defaultViewport和args
? const browser = await puppeteer.launch({
? ? headless: true, // 設(shè)置為無頭模式（不顯示瀏覽器窗口）
? ? ignoreHTTPSErrors: true, // 忽略HTTPS錯誤
? ? defaultViewport: { width: 1280, height: 800 }, // 設(shè)置默認(rèn)視口大小
? ? args: [`--proxy-server=${proxy}`], // 設(shè)置代理服務(wù)器地址
? });
? // 使用browser.newPage方法創(chuàng)建一個新的頁面實(shí)例，并設(shè)置視口大小
? const page = await browser.newPage();
? await page.setViewport({ width: 1280, height: 800 });
? // 使用page.on方法監(jiān)聽request事件，如果請求的資源類型是media，并且請求的URL以https://video.twimg.com/開頭，則打印出請求的URL
? page.on("request", (request) => {
? ? if (
? ? ? request.resourceType() === "media" &&
? ? ? request.url().startsWith("https://video.iqiyi.com/")
? ? ) {
? ? ? console.log(request.url());
? ? }
? });
? // 使用page.goto方法訪問傳入的URL
? await page.goto(url);
? // 使用page.click方法點(diǎn)擊頁面上選擇器為.r-1ndi9ce > div:nth-child(1) > div:nth-child(1) > span:nth-child(1) > span:nth-child(1) 的元素
? await page.click(
? ? ".r-1ndi9ce > div:nth-child(1) > div:nth-child(1) > span:nth-child(1) > span:nth-child(1)"
? );
? // 使用sleep函數(shù)等待一段時間（SLEEP）
? await sleep(SLEEP);
? // 使用page.screenshot方法截取頁面圖片并保存為debug.png文件
? await page.screenshot({ path: "debug.png" });
? // 使用browser.close方法關(guān)閉瀏覽器實(shí)例
? await browser.close();
}
// 最后，在主程序中，獲取命令行參數(shù)中的第一個參數(shù)作為URL，并調(diào)用view函數(shù)。
const url = process.argv[2]; // 獲取命令行參數(shù)中的第一個參數(shù)作為URL
if (url) {
? view(url, PROXY);
} else {
? console.log("請輸入一個有效的URL");
}
總之，puppeteer和python requests都是有用的瀏覽器自動化工具，它們適合訪問不同類型的網(wǎng)站。選擇哪種工具取決于你要爬取的網(wǎng)站類型、數(shù)據(jù)量、目標(biāo)瀏覽器等因素。如果你想要訪問一些復(fù)雜和動態(tài)的網(wǎng)站，你可以考慮使用uppeteer。
