之前用過(guò)SQL，在使用Mongo的查詢時(shí)，很不適應(yīng)，需要一 個(gè)過(guò)渡的過(guò)程，代碼直接在week1-3的作業(yè)中進(jìn)行修改的

我的代碼

from bs4 import BeautifulSoup
import requests,pymongo
import time

client = pymongo.MongoClient('localhost',27017)
xz_db = client['xz_db']
houseinfo = xz_db['houseinfo']


#獲取詳情頁(yè)鏈接
def get_url_xz(n=1):  #通過(guò)參數(shù)n來(lái)控制爬取的頁(yè)數(shù)，默認(rèn)為一頁(yè)
    urls_list = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(str(i)) for i in range(1, n+1)]  # 列表頁(yè)鏈接列表
    urls_attr = []  # 詳情頁(yè)鏈接列表
    #通過(guò)for循環(huán)，把列表頁(yè)的詳情頁(yè)鏈接加入urls_attr
    for url_single in urls_list:
        wb_data = requests.get(url_single)
        soup = BeautifulSoup(wb_data.text, 'lxml')
        urls = soup.select('div#page_list > ul > li > a[target="_blank"]')
        for url in urls:
            urls_attr.append(url.get('href'))
    return urls_attr

#爬取詳情頁(yè)數(shù)據(jù)
def get_attractions_xz(url,data=None):
    for each_url in url:
        wb_data = requests.get(each_url)  # 獲取頁(yè)面內(nèi)容
        soup = BeautifulSoup(wb_data.text, 'lxml')
        # print(soup)
        # 獲取目標(biāo)信息
        title = soup.select('div.pho_info > h4 > em')              # 標(biāo)題
        address = soup.select('div.pho_info > p > span')           # 地址
        price = soup.select('div.day_l > span')                    # 價(jià)格
        pic_fd = soup.select('div.member_pic > a > img')           # 房東照片
        name = soup.select('div.w_240 > h6 > a')                   # 房東姓名
        sex = soup.select('div.w_240 > h6')                        # 房東性別
        img = soup.select('div.pho_show_big > div > img')          # 第一張圖片鏈接
        # print(titls,address,price,pic_fangdong,name,sex,img)

        # 據(jù)分析，若房東為男性，則用的CSS為'member_boy_ico'，否則為女性，通過(guò)條件判斷為sex賦值
        if len(sex[0].find_all("span", class_="member_boy_ico")):
            sex = 'Male'  # 男性
        else:
            sex = 'Female'  # 女性
        data = {
            'title': title[0].get_text(),
            'addres': address[0].get_text().split('\n')[0],  # 地址中包含換行符及一行空格，通過(guò)分割，只保留地址部分
            'price': int(price[0].get_text()),
            'pic_fd': pic_fd[0].get('src'),
            'name': name[0].get("title"),  # 房東姓名在title屬性中，用get方法獲取
            'sex': sex,
            'img': img[0].get('src')
        }
        print(data)
        houseinfo.insert_one(data)
        print('Done')

#將數(shù)據(jù)保存至Mongo數(shù)據(jù)庫(kù)
url=get_url_xz(n=3) #獲取3頁(yè)的所有詳情頁(yè)鏈接,頁(yè)數(shù)可自由選擇
get_attractions_xz(url)

#讀取所需的數(shù)據(jù)
#房?jī)r(jià)大于500的房子信息
for item in houseinfo.find({'price': {'$gt':500}}):
    print(item)
# 分割線
print('\n' + '-'*200 +'\n')
#房?jī)r(jià)小于500的房子信息
for item in houseinfo.find({'price': {'$lt':500}}):
    print(item)
# 分割線
print('\n' + '-'*200 +'\n')
#房東為女性，房?jī)r(jià)大于300
for item in houseinfo.find({'price': {'$gt':300}} and {'sex': 'Female'} ):
    print(item)

總結(jié)

1.還得去認(rèn)真學(xué)習(xí)Mongo的操作語(yǔ)言；
2.想在python中實(shí)現(xiàn)Mongo的like 查詢，在mongo shell中可以這樣db.test.find({'name':/hucuibai/}),但在python中會(huì)報(bào)錯(cuò)，請(qǐng)問(wèn)老師，在python中應(yīng)該怎么寫。