人妻欧美亚洲,日韩精品色呦呦,亚洲熟妇久久久久久

這是什么?

是一個(gè)入門級python小爬蟲.爬取testhome最新一頁招聘的簡單信息.

直接上代碼:

from requests_html import HTMLSession

def save(data):
    title = data.get('title')
    href =  data['href']
    with open('jobs.md', 'a+') as f:
        f.write("\n[{title}]({href})\n".format(title=title, href=href))

def start():
    session = HTMLSession()
    response = session.get('https://testerhome.com/jobs')
    jobs = response.html.find(selector='.panel-body', first=True)
    for job in jobs.find('.title a'):
        data = job.attrs
        data['href'] = job.absolute_links.pop()
        save(data)


if __name__ == '__main__':
    start()

解釋

from requests_html import HTMLSession

引入庫,庫的Doc在這.隨后,實(shí)例化一個(gè)HTMLSession對象.

response = session.get('https://testerhome.com/jobs')
jobs = response.html.find(selector='.panel-body', first=True)
for job in jobs.find('.title a'):
    data = job.attrs
    #  獲取絕對地址,返回的是set數(shù)據(jù),將之賦值到data中的href即可
    data['href'] = job.absolute_links.pop()     
    save(data)

接著,get方法打開目標(biāo)網(wǎng)頁,得到一個(gè)response.通過閱讀上面提到的Doc官方文檔,可以學(xué)習(xí)到response實(shí)現(xiàn)的接口.

每一個(gè)網(wǎng)頁鏈接,請求返回回來的數(shù)據(jù),可以理解為一大串看得眼花繚亂的字符串.在瀏覽器中加載css文件,提供樣式.加載JavaScript文件,提供交互,最后渲染出賞心悅目的頁面.而數(shù)據(jù),在頁面中展示出來.

當(dāng)前這個(gè)爬蟲,則通過response.html.find()與css選擇器,去獲取類名為panel-body的元素,以及此元素內(nèi)部的數(shù)據(jù).

什么是css和JavaScript?

如果你想要了解什么是css和JavaScript,W3C歡迎你.

first設(shè)置為True,應(yīng)該是讓css選擇器只選中第一個(gè)類名為panel-body的元素及其內(nèi)部數(shù)據(jù).

for job in jobs.find('.title a'):
    data = job.attrs
    data['href'] = job.absolute_links.pop()
    save(data)

通過遍歷獲取到的類名為panel-body的元素?cái)?shù)據(jù),再查找內(nèi)部類名為title下的a元素,得到結(jié)果列表中每一個(gè)item.再通過attrs屬性得到dict類型的數(shù)據(jù).

為什么是dict類型的數(shù)據(jù)?

print(type(job.attrs)) 即可知道type.再此調(diào)用save函數(shù),save函數(shù)對dict數(shù)據(jù)進(jìn)行解析.

def save(data):
    title = data.get('title')
    href = data('href')
    with open('jobs.md', 'a+') as f:
        f.write("\n[{title}]({href})\n".format(title=title, href=href))

最后解析到title和招聘詳細(xì)信息的鏈接.