眾所周知B站是一個學習的地方。首先為大家推薦幾個B站學習的Up主，視頻主要是關(guān)于python、數(shù)據(jù)分析、MYSQL數(shù)據(jù)庫方面的，

視頻推薦

python篇

1、8天搞定Python爬蟲開發(fā) http://www.bilibili.com/video/av840116028
2、Python最好的IDE：VS Code http://www.bilibili.com/video/av370093054
3、【老男孩教育】Python全棧高級 就業(yè)班（3月最新開班）持續(xù)更新... http://www.bilibili.com/video/av795202093
4、Python高級核心技術(shù)講解 http://www.bilibili.com/video/av967503510
5、【LeeCode】Contest 183 http://www.bilibili.com/video/av497594624
6、為什么推薦你學python，而不是java、php、c++，堅持完30秒你就懂了 http://www.bilibili.com/video/av625086082
7、復旦大學公開課：商務數(shù)據(jù)分析（機器學習篇） http://www.bilibili.com/video/av840238451
8、2020 黑馬Python全棧就業(yè)班全套 更新中... http://www.bilibili.com/video/av97113524
9、小迷糊的Python入門教程 （1）安裝開發(fā)環(huán)境 http://www.bilibili.com/video/av540280042
10、十分鐘！徹底弄懂Python深拷貝與淺拷貝機制 http://www.bilibili.com/video/av925198200

數(shù)據(jù)分析篇

1、第十八節(jié) 協(xié)方差分析ANCOVA，重復測量方差分析ANOVA，非參數(shù)方差分析 http://www.bilibili.com/video/av967560346
2、什么是統(tǒng)計學 http://www.bilibili.com/video/av882726219
3、以新冠疫情分析為例，談談數(shù)學思維 http://www.bilibili.com/video/av967592795
4、第十九節(jié) R語言ggplot2繪圖系列教程之基本認識 http://www.bilibili.com/video/av882717944
5、跟著公司高管買他家股票能賺錢嗎(3):增持后股價怎么走【邢不行】80000條大數(shù)據(jù)、原始數(shù)據(jù)整理、python數(shù)據(jù)分析 http://www.bilibili.com/video/av100643102
6、樂學偶得|零基礎Python玩Fintech金融量化交易入門篇 http://www.bilibili.com/video/av200318507
7、國家精品公開課：商務數(shù)據(jù)分析與應用 http://www.bilibili.com/video/av582635858
8、數(shù)據(jù)挖掘與python實踐 http://www.bilibili.com/video/av455210116
9、十五、尚硅谷 2019-2020 最新大數(shù)據(jù)課程 - Elasticsearch、Logstash、Kibana，ELK 技術(shù)棧 http://www.bilibili.com/video/av710017519
10、白月黑羽小班學員作品展示 http://www.bilibili.com/video/av667816828

mysql數(shù)據(jù)庫篇

1、MySQL優(yōu)化 http://www.bilibili.com/video/av795215852
2、數(shù)據(jù)庫建模 http://www.bilibili.com/video/av667696736
3、Java項目-互聯(lián)網(wǎng)大型電商項目實戰(zhàn)教程 http://www.bilibili.com/video/av710281771
4、馬士兵教育連老師：如果你能掌握這節(jié)mysql優(yōu)化，保你月薪漲5000 http://www.bilibili.com/video/av882530830
5、「MySQL」從零到刪庫精品課程 （2020） http://www.bilibili.com/video/av540222718
6、【MySQL】MySQL數(shù)據(jù)庫快速入門到實戰(zhàn) | 2020年 http://www.bilibili.com/video/av200009677
7、Redis從入門到精通 http://www.bilibili.com/video/av497625352
8、SQL注入基礎入門 - 黑馬程序員 http://www.bilibili.com/video/av667676123
9、阿里P8級Java面試題（首發(fā)，60道面試秘訣） http://www.bilibili.com/video/av795164178
10、兩小時拿下MySQL優(yōu)化 http://www.bilibili.com/video/av752581784

爬蟲解析

但是如何找到比較好的學習資源呢，現(xiàn)學現(xiàn)賣，本節(jié)將使用python爬蟲幫你找到好的學習資源。首先打開B站，依次找到學習標簽下的視頻熱度排序。

image

image

找到的熱度學習視頻之后，接下來就是要解析網(wǎng)站，打開開發(fā)者工具，找到數(shù)據(jù)鏈接

image

通過點擊下一頁，對比數(shù)據(jù)發(fā)現(xiàn)，page參數(shù)是變化的。keyword是學習標簽參數(shù)

https://s.search.bilibili.com/cate/search?main_ver=v3&search_type=video&view_type=hot_rank&order=click&copy_right=-1&cate_id=39&page=1&pagesize=20&jsonp=jsonp&keyword={}
https://s.search.bilibili.com/cate/search?main_ver=v3&search_type=video&view_type=hot_rank&order=click&copy_right=-1&cate_id=39&page=1&pagesize=20&jsonp=jsonp&keyword={}
https://s.search.bilibili.com/cate/search?main_ver=v3&search_type=video&view_type=hot_rank&order=click&copy_right=-1&cate_id=39&page=1&pagesize=20&jsonp=jsonp&keyword={}

構(gòu)造完成URL參數(shù)之后，我們將要爬取視頻的以下數(shù)據(jù)

'id', '排名', '標簽', 'up主', '標題','播放url','播放次數(shù)','收藏數(shù)','投幣數(shù)','更新時間'

找到URL和需要爬取的數(shù)據(jù)之后，B站本身也沒有什么太難的反爬，現(xiàn)在直接提供完整代碼以供參考。

完整代碼

import requests
import csv
from urllib import parse
import json
import string

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36'
}


def get_parse(result):
    content=[]
    items=result['result']
    for item in items:
        id=item['id']
        rank=item['rank_offset']
        print(rank)
        tag=item['tag']
        author=item['author']
        title=item['title']
        url=item['arcurl']
        play=item['play']
        favorites=item['favorites']
        video_review=item['video_review']
        pubdate=item['pubdate']
        con=[id,rank,tag,author,title,url,play,favorites,video_review,pubdate]
        content.append(con)
    save(content)


def save(content):
    with open('./編程學習視頻.csv', 'a', encoding='gb18030',newline='')as file:
        write = csv.writer(file)
        write.writerows(content)


def main():
    header = ['id', '排名', '標簽', 'up主', '標題','播放url','播放次數(shù)','收藏數(shù)','投幣數(shù)','更新時間']
    with open('./編程學習視頻.csv', 'a',encoding='gb18030',newline='')as f:
        write=csv.writer(f)
        write.writerow(header)
    type=['編程']
    types=['公開課','演講','TED','哲學','課程','可汗學院','哈佛大學','北京大學','耶魯大學','斯坦福大學','麻省理工','人工智能','百家講壇','高數(shù)','萬門大學','教育','學習','考試','英語','視頻教程','講座','線上課堂','編程','數(shù)學','語言','高考','高中','英語學習','物理','速成課','平面設計','設計','考研英語','PS教程','文化','歷史','機器學習']
    for j in type:
        cate = parse.quote(j, safe=string.printable)
        for i in range(100):
            url='https://s.search.bilibili.com/cate/search?main_ver=v3&search_type=video&view_type=hot_rank&order=click&copy_right=-1&cate_id=39&page={}&pagesize=20&jsonp=jsonp&keyword={}'.format(i,cate)
            response = requests.get(url, headers=headers)
            result = json.loads(response.text)
            # print(result)
            get_parse(result)


if __name__=='__main__':
    main()

爬取數(shù)據(jù)展示

image

到此數(shù)據(jù)爬取完成，從這里就可以找到播放最多的視頻，收藏數(shù)和投幣數(shù)最多的視頻，從而找到比較好一點的視頻。

如何想要獲取其他類型的熱度視頻，其他視頻獲取URL地址

演講.公開課
https://www.bilibili.com/v/technology/speech_course/?spm_id_from=333.6.b_7375626e6176.4#/
趣味科普中文
https://www.bilibili.com/v/technology/fun/?spm_id_from=333.6.b_7375626e6176.2#/
野生技術(shù)協(xié)會
https://www.bilibili.com/v/technology/wild/?spm_id_from=333.6.b_7375626e6176.3#/

image

然后這個視頻熱度是可以按照播放數(shù)、評論數(shù)、投幣數(shù)、收藏數(shù)、彈幕數(shù)來排序的，也可以按照月份來排序

有了數(shù)據(jù)之后，你也可以查看一下那些類型的視頻最受歡迎，各類型的視頻TOP UP主都是誰，也可以給各類型視頻做個詞云圖，看看各類型視頻下的熱度標簽都是那些，有了數(shù)據(jù)之后對于數(shù)據(jù)分析師來說可以做的東西特別多，這里就不一一介紹，隨后也會出一版這方面的文化文章。

隨著大數(shù)據(jù)的時代的到來，數(shù)據(jù)變得越來越重要，數(shù)據(jù)可以幫助我們來看清行業(yè)的本質(zhì)，也可以幫助我們更加快速的了解一個行業(yè)，關(guān)注公眾號——有趣的數(shù)據(jù)，走進數(shù)據(jù)的時代。

image