Python爬蟲(chóng)-拉勾網(wǎng)職位爬取

感覺(jué)好久沒(méi)寫(xiě)python了哈哈，最近都在忙工作，所以也是沒(méi)有學(xué)習(xí)python。
剛好湊巧朋友正在找工作，也是java的，所以我也就順便聯(lián)系下爬蟲(chóng)，爬下拉勾網(wǎng)的java職位。
以前都是用的bs4，今天來(lái)用一下xpath～

找出請(qǐng)求地址

首先打開(kāi)拉勾網(wǎng)選擇一個(gè)城市，然后直接點(diǎn)它的java分類(lèi)
觀察地址欄可以看到一個(gè)地址

image.png

其實(shí)這個(gè)地址沒(méi)什么用，別被它忽悠了，接下來(lái)我們到頁(yè)面最下方選擇第二頁(yè)會(huì)發(fā)現(xiàn)地址欄地址變了

image.png

再選擇第三頁(yè)第四頁(yè)會(huì)發(fā)現(xiàn)，好像也就只是Java后面那個(gè)數(shù)字變了，那這個(gè)地址是不是就是我們需要的呢，其實(shí)不是，代碼里請(qǐng)求這個(gè)地址是拿不到我們想要的東西的，所以我們打開(kāi)開(kāi)發(fā)者工具，輸入java點(diǎn)擊搜索

image.png

這個(gè)請(qǐng)求返回了一個(gè)html，但是往下拉卻會(huì)發(fā)現(xiàn)公司列表是空的，還是沒(méi)有數(shù)據(jù)。那么繼續(xù)往下找

image.png

下面那個(gè)companyAjax這個(gè)看起來(lái)是最像的了，但是不是它，是上面這個(gè)position，一開(kāi)始我以為是下面那個(gè)，然后用來(lái)請(qǐng)求發(fā)現(xiàn)一直提示你訪問(wèn)過(guò)于頻繁。讓我錯(cuò)以為是真的訪問(wèn)過(guò)于頻繁，然后我用手機(jī)4G網(wǎng)訪問(wèn)了下發(fā)現(xiàn)也是同樣的結(jié)果。后來(lái)點(diǎn)了下上面這個(gè)，發(fā)現(xiàn)它就是我們要找的請(qǐng)求地址，它會(huì)返回給我們json數(shù)據(jù)。可以說(shuō)是相當(dāng)?shù)凝R全了。

image.png

爬取數(shù)據(jù)

  • url ：https://www.lagou.com/jobs/positionAjax.json?city=%E6%B7%B1%E5%9C%B3&needAddtionalResult=false&isSchoolJob=0
  • 請(qǐng)求方式： post
  • 請(qǐng)求數(shù)據(jù)：
data = {
    'first': False,
    'pn':1,
    'kd': 'java',
}

pn就是頁(yè)碼了，kd應(yīng)該就是關(guān)鍵字了
注意要設(shè)置header

data = {
    'first': False,
    'pn':1,
    'kd': 'java',
}
def get_job(data):
    url = 'https://www.lagou.com/jobs/positionAjax.json?city=%E6%B7%B1%E5%9C%B3&needAddtionalResult=false&isSchoolJob=0'
        page = requests.post(url=url, cookies=cookie, headers=headers, data=data)
    page.encoding = 'utf-8'
    result = page.json()
    jobs = result['content']['positionResult']['result']
    for job in jobs:
        companyShortName = job['companyShortName']
        positionId = job['positionId']  # 主頁(yè)ID
        companyFullName = job['companyFullName']  # 公司全名

這個(gè)返回的信息是挺全面了，當(dāng)然如果要獲取更詳細(xì)的信息，那就需要到詳情頁(yè)了，隨便點(diǎn)一個(gè)

image.png

可以看到這串?dāng)?shù)字，它就是公司的id了吧，也就是上面的json中返回的positionId，我們只要拼一下url就可以請(qǐng)求了

detail_url = 'https://www.lagou.com/jobs/{}.html'.format(positionId)
        response = requests.get(url=detail_url, headers=headers, cookies=cookies)
        response.encoding = 'utf-8'
        tree = etree.HTML(response.text)
        desc = tree.xpath('//*[@id="job_detail"]/dd[2]/div/p/text()')

不知道為什么，有的公司明明是有職位描述的，但是卻拿不到，也是有點(diǎn)費(fèi)勁，原諒我是個(gè)菜鳥(niǎo)。誰(shuí)知道的話煩請(qǐng)告知小弟一下

image.png

完整代碼：

# /usr/bin/env python3
# -*- coding:utf-8 -*-

import requests
from lxml import etree


cookie = {
    'Cookie':'JSESSIONID=ABAAABAAAGGABCBF0273ED764F089FC46DF6B525A6828FC; '
             'user_trace_token=20170901085741-8ea70518-8eb0-11e7-902f-5254005c3644; '
             'LGUID=20170901085741-8ea7093b-8eb0-11e7-902f-5254005c3644; '
             'index_location_city=%E6%B7%B1%E5%9C%B3; '
             'TG-TRACK-CODE=index_navigation; _gat=1; '
             '_gid=GA1.2.807135798.1504227456; _ga=GA1.2.1721572155.1504227456; '
             'LGSID=20170901085741-8ea70793-8eb0-11e7-902f-5254005c3644; '
             'LGRID=20170901095027-ed9ebf87-8eb7-11e7-902f-5254005c3644; '
             'Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1504227456; '
             'Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1504230623;'
             'SEARCH_ID=a274b85f40b54d4da62d5e5740427a0a'
}

headers = {
    'User-Agent': 'User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                  'AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/60.0.3112.90 Safari/537.36',
    'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'Host':'www.lagou.com',
    'Origin':'https://www.lagou.com',
    'Referer':'https://www.lagou.com/jobs/list_java?city=%E6%B7%B1%E5%9C%B3&cl=false&fromSearch=true&labelWords=&suginput=',
}
cookies = {
    'Cookie': 'user_trace_token=20170901085741-8ea70518-8eb0-11e7-902f-5254005c3644;'
              'LGUID=20170901085741-8ea7093b-8eb0-11e7-902f-5254005c3644; '
              'index_location_city=%E6%B7%B1%E5%9C%B3; SEARCH_ID=7277bc08d137413dac2590cea0465e39; '
              'TG-TRACK-CODE=search_code; JSESSIONID=ABAAABAAAGGABCBF0273ED764F089FC46DF6B525A6828FC; '
              'PRE_UTM=; PRE_HOST=; '
              'PRE_SITE=https%3A%2F%2Fwww.lagou.com%2Fjobs%2Flist_java%3Fcity%3D%25E6%25B7%25B1%25E5%259C%25B3%26cl%3Dfalse%26fromSearch%3Dtrue%26labelWords%3D%26suginput%3D; '
              'PRE_LAND=https%3A%2F%2Fwww.lagou.com%2Fjobs%2F3413383.html; _gat=1; _'
              'gid=GA1.2.807135798.1504227456; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1504227456; '
              'Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1504252636; _ga=GA1.2.1721572155.1504227456; '
              'LGSID=20170901153335-dd437749-8ee7-11e7-903c-5254005c3644; '
              'LGRID=20170901155728-336ca29d-8eeb-11e7-9043-5254005c3644',
}
data = {
    'first': False,
    'pn':1,
    'kd': 'java',
}

def get_job(data):
    url = 'https://www.lagou.com/jobs/positionAjax.json?city=%E6%B7%B1%E5%9C%B3&needAddtionalResult=false&isSchoolJob=0'
        page = requests.post(url=url, cookies=cookie, headers=headers, data=data)
    page.encoding = 'utf-8'
    result = page.json()
    jobs = result['content']['positionResult']['result']
    for job in jobs:
        companyShortName = job['companyShortName']
        positionId = job['positionId']  # 主頁(yè)ID
        companyFullName = job['companyFullName']  # 公司全名
        companyLabelList = job['companyLabelList']  # 福利待遇
        companySize = job['companySize']  # 公司規(guī)模
        industryField = job['industryField']
        createTime = job['createTime']  # 發(fā)布時(shí)間
        district = job['district']  # 地區(qū)
        education = job['education']  # 學(xué)歷要求
        financeStage = job['financeStage']  # 上市否
        firstType = job['firstType']  # 類(lèi)型
        secondType = job['secondType']  # 類(lèi)型
        formatCreateTime = job['formatCreateTime']  # 發(fā)布時(shí)間
        publisherId = job['publisherId']  # 發(fā)布人ID
        salary = job['salary']  # 薪資
        workYear = job['workYear']  # 工作年限
        positionName = job['positionName']  #
        jobNature = job['jobNature']  # 全職
        positionAdvantage = job['positionAdvantage']  # 工作福利
        positionLables = job['positionLables']  # 工種

        detail_url = 'https://www.lagou.com/jobs/{}.html'.format(positionId)
        response = requests.get(url=detail_url, headers=headers, cookies=cookies)
        response.encoding = 'utf-8'
        tree = etree.HTML(response.text)
        desc = tree.xpath('//*[@id="job_detail"]/dd[2]/div/p/text()')

        print(companyFullName)
        print('%s 拉勾網(wǎng)鏈接:-> %s' % (companyShortName, detail_url))

        print('職位：%s' % positionName)
        print('職位類(lèi)型：%s' % firstType)
        print('薪資待遇：%s' % salary)
        print('職位誘惑：%s' % positionAdvantage)
        print('地區(qū)：%s' % district)
        print('類(lèi)型：%s' % jobNature)
        print('工作經(jīng)驗(yàn)：%s' % workYear)
        print('學(xué)歷要求：%s' % education)
        print('發(fā)布時(shí)間：%s' % createTime)
        x = ''
        for label in positionLables:
            x += label + ','
        print('技能標(biāo)簽：%s' % x)
        print('公司類(lèi)型：%s' % industryField)
        for des in desc:
            print(des)


def url(data):
    for x in range(1,50):
        data['pn'] = x
        get_job(data)

if __name__ == '__main__':
    url(data)

最后的最后，說(shuō)來(lái)我陸陸續(xù)續(xù)學(xué)習(xí)python 的時(shí)間也有兩個(gè)月了差不多，但是學(xué)的很皮毛，接下來(lái)有時(shí)間還是準(zhǔn)備好好看看cookbook ，加油

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • Android 自定義View的各種姿勢(shì)1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 178,781評(píng)論 25贊 709
  • Spring Cloud為開(kāi)發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見(jiàn)模式的工具（例如配置管理，服務(wù)發(fā)現(xiàn)，斷路器，智...
    卡卡羅2017閱讀 136,506評(píng)論 19贊 139
  • 1. Java基礎(chǔ)部分 基礎(chǔ)部分的順序：基本語(yǔ)法，類(lèi)相關(guān)的語(yǔ)法，內(nèi)部類(lèi)的語(yǔ)法，繼承相關(guān)的語(yǔ)法，異常的語(yǔ)法，線程的語(yǔ)...
    子非魚(yú)_t_閱讀 34,626評(píng)論 18贊 399
  • 郭相麟 思念是風(fēng) 期待是帆 離別時(shí)青春少年 君住長(zhǎng)江口 我住黔之山 歲月如梭五十多年 相聚時(shí)古稀老人 兒孫滿堂享天...
    郭相麟閱讀 363評(píng)論 0贊 0
  • RetryAndFollowUpInterceptor攔截器分析 源碼地址：https://github.com/...
    逗哥筆記閱讀 1,708評(píng)論 0贊 4

友情鏈接更多精彩內(nèi)容