04-18的新聞地圖.png

引

應(yīng)用語(yǔ)言學(xué)的期末Pre花了差不多一個(gè)月零零碎碎的時(shí)間完成了。最初的打算爬取網(wǎng)易、新浪、騰訊的國(guó)內(nèi)新聞，再通過(guò)提取關(guān)鍵詞，比較這三個(gè)網(wǎng)站社會(huì)新聞報(bào)道的內(nèi)容的傾向性。不過(guò)手頭只有寒假做好的新浪網(wǎng)站的爬蟲(chóng)新浪爬蟲(chóng)的一些日記可以看這里遂改為爬取新浪，使用結(jié)巴分詞進(jìn)行切分，再統(tǒng)計(jì)地名詞頻，進(jìn)而數(shù)據(jù)可視化得出到底哪些地方大新聞比較多。
本來(lái)作為一個(gè)語(yǔ)言學(xué)學(xué)生，非常希望從專(zhuān)業(yè)的角度分析一下結(jié)巴分詞的錯(cuò)誤案例，于是我爬取了300個(gè)新聞標(biāo)題，并且進(jìn)行了分類(lèi)，但是發(fā)現(xiàn)……看不懂源碼的話(huà)，最多說(shuō)這個(gè)是什么成分什么成分的錯(cuò)，但是顯然有語(yǔ)感的人都看得出這些分詞是錯(cuò)的（攤手）。
但是不管怎么說(shuō)，也算是一次較為完整的代碼實(shí)踐，打算依次記錄下來(lái)。

爬蟲(chóng)爬取新浪新聞

由于寒假的爬蟲(chóng)筆記中已經(jīng)有記錄，不再贅述。再次感謝指路的MG，諸位想要自學(xué)的可以去這里→天善智能。

#encoding = utf-8
import  requests
import  json
def getnews(pages):
    global newsbag
    newsbag = []
    for page in range(1, pages + 1):
        raw_url = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_' \
                  '2==gdxw1||=gatxw||=zs-pl||=mtjj&level==1||=2&show_ext=1&show_all=10&show_num=100' \
                  '&tag=1&format=json&page={}&callback=newsloadercallback&_=1487824946231'
        url = raw_url.format(page)
        res = requests.get(url)
        jd = json.loads(res.text.lstrip(' newsloadercallback(').rstrip(');'))
        diclist = jd['result']['data']
        for ent in diclist:
            newsbag.append(ent['title'])
        continue
    return newsbag
    
pages = int(input("你想查詢(xún)（返回輸入值的100倍）："))
#因?yàn)槭褂玫氖强刂葡吕?yè)加載的鏈接，所以每次都是抓取固定值，我設(shè)置的是100，可以通過(guò)調(diào)節(jié) show_num 自己調(diào)整。使用一個(gè)數(shù)值較大的效率會(huì)高點(diǎn)。
getnews(pages)

后來(lái)想能夠查指定日期的新聞標(biāo)題，于是把時(shí)間戳也爬取了下來(lái)，并且做成了時(shí)間-標(biāo)題的元組放到了列表里方便以后使用。修改的邏輯是首先抓取一定量的標(biāo)題，然后再在這個(gè)標(biāo)題里抓指定日期的新聞。這樣就會(huì)有兩個(gè)不便：

• 抓的數(shù)量要盡可能大才能滿(mǎn)足調(diào)用需求
• 每次抓取都是定量的，可能最后抓的一部分并沒(méi)有把最后一天的新聞抓全

我當(dāng)時(shí)是先去查詢(xún)爬取到的最后一條新聞的時(shí)間，然后再擴(kuò)大爬取的總量，確保能把我要的日期的新聞都框在里面。

改進(jìn)后的可以按日期查詢(xún)新聞的代碼如下

#encoding = utf-8
import  requests
import  json

def getnews(pages):
    global newsbag
    newsbag = []
    titlelist = []
    timelist=[]
    for page in range(1,pages+1):
        raw_url = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_2==gdxw1||=gatxw||=zs-pl||=mtjj&level==1||=2&show_ext=1&show_all=1&show_num=100&tag=1&format=json&page={}&callback=newsloadercallback&_=1487824946231'
        url=raw_url.format(page)
        res = requests.get(url)
        jd = json.loads(res.text.lstrip(' newsloadercallback(').rstrip(');'))
        diclist = jd['result']['data']
        for ent in diclist:
            timestamp =float(ent['createtime'])
            newstime = datetime.fromtimestamp(timestamp).strftime('%Y-%m-%d')
            timelist.append(newstime)
            titlelist.append(ent['title'])
        newsbag = zip(timelist,titlelist)
    return newsbag

print('新浪國(guó)內(nèi)新聞查詢(xún)器v2.0，在定量數(shù)據(jù)范圍內(nèi)查詢(xún)特定日期的新聞。')
pages=int(input('請(qǐng)輸入一共想要查詢(xún)的頁(yè)數(shù)，僅支持輸入正整數(shù)，1頁(yè)顯示100條：'))
date = str(input('請(qǐng)輸入想查詢(xún)的日期，格式以2017-04-25為例：'))
getnews(pages)
for i in newsbag:
    if i[0] == date:
        print(i)

使用結(jié)巴分詞進(jìn)行標(biāo)題的切分

在結(jié)巴分詞的安裝上遇到了一些坑，一開(kāi)始解壓安裝包，使用cmd安裝一直安裝失敗，顯示的信息是什么也忘記了。后來(lái)使用最簡(jiǎn)單的pip的方法安裝好了。

結(jié)巴分詞是一個(gè)優(yōu)秀的開(kāi)源項(xiàng)目，雖然后來(lái)我得知玻森分詞也提供給開(kāi)發(fā)者少量（但處理我的作業(yè)綽綽有余）的調(diào)用次數(shù)時(shí)已經(jīng)完成了數(shù)據(jù)采集部分的工作了，不然我一定會(huì)使用玻森分詞的。所以如果調(diào)用數(shù)量不大，從準(zhǔn)確度的角度考慮，還是選用玻森分詞比較好。

結(jié)巴分詞的使用文檔寫(xiě)的也很簡(jiǎn)單，但是簡(jiǎn)單的另一面是對(duì)Python新手不大友好，一開(kāi)始以為結(jié)巴只能輸出迭代對(duì)象，后來(lái)才發(fā)現(xiàn)原來(lái)也可以輸出列表。

使用結(jié)巴分詞切分新聞標(biāo)題

# encoding = utf-8
import jieba
def cutseg():
    seg_list = []
    for i in newsbag:
        seg_list = jieba.lcut(i,cut_all=True)+seg_list
    return "/".join(seg_list)
print(cutseg())

結(jié)巴分詞切分出來(lái)的錯(cuò)誤類(lèi)型我將在另一篇文章中講

使用結(jié)巴分詞后對(duì)指定日期的新聞進(jìn)行切分

結(jié)合一下改進(jìn)過(guò)的查詢(xún)代碼后，我們直接使用結(jié)巴分詞切分日期的標(biāo)題，這樣提高了切分的效率。這樣，我們就能得到我們所需要的原始語(yǔ)料了。

#encoding = utf-8
import  requests
import  json
import  jieba
from datetime import datetime
print ('haha')


def getnews(pages):
    global newsbag
    newsbag = []
    titlelist = []
    timelist=[]
    for page in range(1,pages+1):
        raw_url = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_2==gdxw1||=gatxw||=zs-pl||=mtjj&level==1||=2&show_ext=1&show_all=1&show_num=100&tag=1&format=json&page={}&callback=newsloadercallback&_=1487824946231'
        url=raw_url.format(page)
        res = requests.get(url)
        jd = json.loads(res.text.lstrip(' newsloadercallback(').rstrip(');'))
        diclist = jd['result']['data']
        for ent in diclist:
            timestamp =float(ent['createtime'])
            newstime = datetime.fromtimestamp(timestamp).strftime('%Y-%m-%d')
            timelist.append(newstime)
            titlelist.append(ent['title'])
        newsbag = zip(timelist,titlelist)
    return newsbag

def cutseg():
    title_list = []
    for i in timetitle:
        title_list = title_list+jieba.lcut(i)
    return title_list

print('新浪國(guó)內(nèi)新聞查詢(xún)器v2.0，在定量數(shù)據(jù)范圍內(nèi)查詢(xún)特定日期的新聞。')
pages=int(input('請(qǐng)輸入一共想要查詢(xún)的頁(yè)數(shù)，僅支持輸入正整數(shù)，1頁(yè)顯示100條：'))
date = str(input('請(qǐng)輸入想查詢(xún)的日期，格式以2017-04-25為例：'))
getnews(pages)
global timetitle
timetitle = []
for i in newsbag:
    if i[0] == date:
        timetitle.append(i[1])
        
print(cutseg())

下一篇，我們將使用搜狗細(xì)胞詞庫(kù)將新聞標(biāo)題中的地名挑選出來(lái)并且使用pandas進(jìn)行數(shù)據(jù)整理！

新手牛刀小試，歡迎交流！