2017/1/2 22:21:40

京東商品評(píng)論爬蟲

針對(duì)京東不同的商品的評(píng)價(jià)進(jìn)行爬蟲然后再分析

實(shí)例：魅族手機(jī)魅族Pro6 Plus###

抓包地址:

    https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv266&productId=3681471&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0

分析：

    請(qǐng)求方式：GET
    請(qǐng)求參數(shù)：

    callback:fetchJSON_comment98vv266
    productId:3681471
    score:0
    sortType:5
    page:0
    pageSize:10
    isShadowSku:0

關(guān)鍵詞

    callback：測(cè)試發(fā)現(xiàn)可以取消
    productId：對(duì)應(yīng)具體商品
    ...
    其余參數(shù)測(cè)試可以發(fā)現(xiàn)都一樣

返回?cái)?shù)據(jù)類型：

JSON

請(qǐng)求：

    data={
    'productId':'3742076',
    'score':'0',
    'sortType':'5',
    'page':'0',
    'pageSize':'10',
    'isShadowSku':'0'
    }

    url='https://club.jd.com/comment/productPageComments.action'

    reponse=requests.get(url,data)
    print(reponse.text)

返回?cái)?shù)據(jù)如下：

    JSON 太長(zhǎng)    

下面只需要獲取商品id：productId 就可以在京東上獲取需要的商品的評(píng)論了~

    一抬頭：可以看見地址欄如下：此處為京東小米5s
    https://item.jd.com/3742076.html

    這里就有我們需要的productId

就是這么簡(jiǎn)單！~