拉勾教育專欄文章轉(zhuǎn)markdown、拉勾教育專欄文章轉(zhuǎn)pdf

請自行關(guān)注公眾號(hào): 小張睡不飽 ，發(fā)送：拉勾教育專欄，獲取github代碼地址，
需要相關(guān)下載好的專欄內(nèi)容，后臺(tái)發(fā)送你需要的專欄名稱，我看到后會(huì)下載下來發(fā)給你

• 支持批量下載。速度取決于你的網(wǎng)速
• 支持多進(jìn)程抓取
• 支持下載markdown、pdf版本。視頻資源抓取待完成，進(jìn)度60%
• 點(diǎn)個(gè)star 留著以后用呀

結(jié)果展示

iShot2021-08-07 10.47.48.png

爬取文章

啟動(dòng)入口 main.py 的 main 方法

# 創(chuàng)建parser實(shí)例
lg = LaGouParser()
# 待抓取的課程ids
lg.course_ids = '3,9,64,59'
# 是否抓取文章
lg.download_article = True
# 是否將文章保存為markdown
lg.article2md = True
# 是否將文章保存為pdf
lg.article2pdf = True
# 是否抓取視頻
lg.download_video = False
# 是否使用多進(jìn)程抓取(16)
lg.use_parallel = True
lg.run()