Python作業(yè)3:對(duì)京東商城格力空調(diào)爬取數(shù)據(jù),存入MySQL數(shù)據(jù)庫(kù)

import requests

import json

import pymysql

import time

conn = pymysql.connect(host='localhost', user='root', passwd='123456', db='mydb', port=3306, charset='utf8')

cursor = conn.cursor()

headers ={

? ? ? ? 'referer':'https://item.jd.com/4856816.html'

? ? ? ? 'User-Agent:''Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'

? ? }

urls = ['https://sclub.jd.com/comment/productPageComments.action?productId=4856816&score=0&sortType=5&page={}&pageSize=10'.format(str(i))for iin range(0,3)]

for urlin urls:

? ? ? res = requests.get(url,headers=headers)

? ? ? json_data = json.loads(res.text)

? ? ? comments = json_data['comments']

? ? ? for commentin comments:

? ? ? ? ? ? ? content = comment['content']

? ? ? ? ? ? ? creationTime = comment['creationTime']

? ? ? ? ? ? ? nickname = comment['nickname']

? ? ? ? ? ? ? referenceName = comment['referenceName']

? ? ? ? ? ? ? # print(content,creationTime,nickname,referenceName)

? ? ? ? ? ? ? cursor.execute("insert into aircondioner_info (content,creationTime,nickname,referenceName) values(%s,%s,%s,%s)",

? ? ? ? ? ? ? ? ? ? ? ? (content,creationTime,nickname,referenceName))

? ? ? ? ? ? ?? conn.commit()

? ? ? time.sleep(4)

conn.close()


?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容