python爬蟲之貓眼電影,近日正在熱映的電影

很久沒有看電影了,近日國產(chǎn)科幻大片《流浪地球》正在火速登上榮耀榜,而在不久前拿下奧斯卡最佳影片獎的《綠皮書》在國內(nèi)上映后迅速贏得口碑票房雙豐收。
不如看看最近正在熱映的電影有哪些吧,順便看看評分和電影內(nèi)容,有時間的話就去電影院欣賞一下。

開發(fā)環(huán)境

  • python3.7
  • requests模塊
  • re模塊
  • pymongo

獲取分析

通過查看源代碼發(fā)現(xiàn)貓眼電影近日正在熱映的電影能直接請求源代碼來解析,這減少了很大的難度。
這里用正則表達(dá)式來解析近日正在熱映電影頁面。

#獲取貓眼電影正在熱映頁面信息
    response = requests.get(url,headers = headers).text
    category = re.findall(r'<li >.*?<a .*?href="\?catId.*?>(.*?)</a>.*?</li>',response,re.DOTALL) #匹配href為catid開頭的
    titlename = re.findall(r'<div class="channel-detail movie-item-title".*?"(.*?)">.*?<a.*?>',response,re.DOTALL)   
    grades = re.findall(r'<div class="channel-detail movie-item-title".*?>.*?<div class="channel-detail channel-detail-orange">(.*?)</div>',response,re.DOTALL)    

最后存入MongoDB數(shù)據(jù)庫。

#入庫操作
    client = pymongo.MongoClient('127.0.0.1',port=27017)
    dbaa = client.maoyan0
    coll = dbaa.movie
    coll.insert({'name':movie,'score':score,'content0':content0})

結(jié)果展示:

部分電影數(shù)據(jù)
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 一.產(chǎn)品信息 產(chǎn)品名稱:貓眼電影 版本號:V 8.2.2 體驗環(huán)境:IOS 11.1.2 二.市場分析 2017年...
    小暖暖君閱讀 5,158評論 0 8
  • 不可變字典一 創(chuàng)建字典對象1) NSDictionary *dic1 = [[NSDictionary alloc...
    037e3257fa3b閱讀 262評論 0 0
  • 你有沒有很想寫一篇文章,但卻不知道該怎么開始?又或者是我沒有東西可以寫了,到底要上什么地方找素材的經(jīng)歷呢? 首先我...
    f72248ce4552閱讀 281評論 0 3
  • 不念前塵,卻牽新夢,那年枝上梨花。 袤原纖陌,同難話心痂。 猶記微風(fēng)乍起,斜陽下、肩落紅霞。 惆然斷,靈犀契語,惜...
    霞子_閱讀 777評論 14 26
  • 說起第一次太湖靈山之行,給我的感覺是一切皆由因緣,似乎有些事情冥冥之中都有上天的安排,時機(jī)成熟了,一切都是那么...
    kerry鄧閱讀 135評論 0 0

友情鏈接更多精彩內(nèi)容