從招聘網(wǎng)站爬取職位信息小窺IT發(fā)展

想知道你的工作值多少錢?如果想小范圍內(nèi)轉行,轉哪個比較好呢?

IT人恐怕逃脫不了加班這個魔咒,有的人想轉行,最好是錢多事少離家近。 Snake 從拉勾網(wǎng)爬取職位信息,通過分析城市,職位和薪水的分布的情況,來探討IT的發(fā)展趨勢。
雖然數(shù)據(jù)可能有些不準,“窺一斑而知全豹”。

首先挑幾個維度做樣本,如下:

cities = np.array(['北京', '上海', '廣州', '深圳', '杭州'])
salaries = np.array(['2k-5k', '5k-10k', '10k-15k', '15k-25k', '25k-50k'])
keywords = np.array(["測試", "Android", "IOS", "前端", "人工智能", "后端", "運維"])

翠花,上爬蟲!

def get_page(url, page_num, keyword): 
    headers = {
        "User-Agent": "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
        "Accept": "application/json, text/javascript, */*; q=0.01",
        "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
        "Accept-Encoding": "gzip, deflate, br",
        "Accept-Language": "zh-CN,zh;q=0.8"
    }
    if page_num == 1:
        boo = 'true'
    else:
        boo = 'false'

    page_data = {
        'first': boo,
        'pn': page_num,
        'kd': keyword
    }
    page = requests.post(url=url, headers=headers, data=page_data)
    return page.json()


def get_detail(keyword):
    final_result = []

    for city in cities:
        total_count = []
        for salary in salaries:
            result = get_page(url.format(city, salary), 1, keyword)['content']['positionResult']['totalCount']
            total_count.append(result)

        final_result.append(total_count)
    detail[keyword] = final_result

爬到的數(shù)據(jù)如下:

屏幕快照 2017-08-14 下午10.23.18.png

圖形化,更直觀點:

  1. 測試


    測試_detail.png
  2. Android開發(fā)


    Android_detail.png
  3. IOS開發(fā)


    IOS_detail.png
  4. 前端開發(fā)


    前端_detail.png
  5. 人工智能


    人工智能_detail.png
  6. 后端開發(fā)


    后端_detail.png
  7. 運維


    運維_detail.png

PS,原諒我還沒完全解決Mac繪圖中文字體問題,將就看把。

從數(shù)據(jù)可以看到,無論哪個崗位,職位最多的非帝都莫屬。

杭州超過了廣州。(馬云功不可沒)

各個職位對中級需求相對多些,帝都對15--25K的需求比較大。(帝都的房價,難道是IT人員撐起來的?我知道一個華為的,帝都好幾套)

測試和運維的分布很接近。

開發(fā)的薪資和測試的薪資,距離沒有那么大了。(經(jīng)過這么多年的發(fā)展,開發(fā)的薪資已經(jīng)很理性了。)

人工智能已經(jīng)起來了,高薪機會很多。(難道是下一個風口,希望不是泡沫)

以上是個人愚見,如有不準,請找招聘網(wǎng)站。我頂多就放了個??。

更多精彩,請關注: python愛好部落

最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容