哈嘍，我是小張，大家好久不見啊~
最近呢，對鏈家平臺上的北京二手房數(shù)據(jù)做了個可視化分析，對目前北京的二手房交易情況有了個大致了解，最終得到一個很實(shí)在的結(jié)論：奮斗一輩子也買不到一個廁所這句話不是騙人的，是真的；關(guān)于具體分析內(nèi)容客官請看下文
1，工具說明
本文用到的 Python 庫有
pandas
re
requests
json
pyecharts
folium
random
stylecloud
jieba
pyquery
fake_useragent
time
外加 百度地圖 API
2，數(shù)據(jù)采集
所有數(shù)據(jù)來源于鏈家二手房交易平臺，上面每頁排列 30 條二手房數(shù)據(jù)，本文采集了前 100 頁 數(shù)據(jù)，每條二手房交易數(shù)據(jù)中提取 標(biāo)題、單價、價格、地址、年份、房間樣式 等字段作為可視化分析的數(shù)據(jù)來源
網(wǎng)站沒有設(shè)置很強(qiáng)的反爬機(jī)制， 爬取時用的是 requests + Cookies+ PyQuery 組合即可，最好在爬取時加條 time.sleep() 命令，隔幾秒休眠一次，代碼如下：
import requests
from pyquery import PyQuery as pq
from fake_useragent import UserAgent
import time
import random
import pandas as pd
UA = UserAgent()
headers = {
'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
'Cookie': '你的Cookie',
'Host': 'bj.lianjia.com',
'Referer': 'https://bj.lianjia.com/ershoufang/',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36',
}
num_page = 2
class Lianjia_Crawer:
def __init__(self,txt_path):
super(Lianjia_Crawer,self).__init__()
self.file = str(txt_path)
self.df = pd.DataFrame(columns = ['title','community','citydirct','houseinfo','dateinfo','taglist','totalprice','unitprice'])
def run(self):
'''啟動腳本'''
for i in range(100):
url = "https://bj.lianjia.com/ershoufang/pg{}/".format(str(i))
self.parse_url(url)
time.sleep(random.randint(2,5))
print('正在爬取的 url 為 {}'.format(url))
print('爬取完畢?。。。。。。。。。。。。。?)
self.df.to_csv(self.file,encoding='utf-8')
def parse_url(self,url):
headers['User-Agent'] = UA.chrome
res = requests.get(url, headers=headers)
doc = pq(res.text)
for i in doc('.clear.LOGCLICKDATA .info.clear'):
try:
pq_i = pq(i)
title = pq_i('.title').text().replace('必看好房', '')
Community = pq_i('.flood .positionInfo a').text()
HouseInfo = pq_i('.address .houseInfo').text()
DateInfo = pq_i('.followInfo').text()
TagList = pq_i('.tag').text()
TotalPrice = pq_i('.priceInfo .totalPrice').text()
UnitPrice = pq_i('.priceInfo .unitPrice').text()
CityDirct = str(Community).split(' ')[-1]
Community = str(Community).split(' ')[0]
data_dict ={
'title':title,
'community':Community,
'citydirct':CityDirct,
'houseinfo':HouseInfo,
'dateinfo':DateInfo,
'taglist':TagList,
'totalprice':TotalPrice,
'unitprice':UnitPrice
}
print(Community,CityDirct)
self.df = self.df.append(data_dict,ignore_index=True)
#self.file.write(','.join([title, Community, CityDirct, HouseInfo, DateInfo, TagList, TotalPrice, UnitPrice]))
print([title, Community, CityDirct, HouseInfo, DateInfo, TagList, TotalPrice, UnitPrice])
except Exception as e:
print(e)
print("索引提取失敗，請重試?。。。。。。。。。。。。?)
if __name__ =="__main__":
txt_path = "ershoufang_lianjia.csv"
Crawer = Lianjia_Crawer(txt_path)
Crawer.run() # 啟動爬蟲腳本</pre>
最終一共采集到 3000 條數(shù)據(jù)：
3，地址經(jīng)緯度坐標(biāo)轉(zhuǎn)換
獲取到的數(shù)據(jù)是地址是字符串形式(例如梵谷水郡*酒仙橋)，后面地圖位置標(biāo)記時需要經(jīng)緯度數(shù)據(jù)，需要把所有地址轉(zhuǎn)化為經(jīng)緯度坐標(biāo)，這里借助了百度地圖 API 完成這步操作
3.1 百度地圖 AK 申請
API 的使用需要在 百度地圖開放平臺 申請一個 AK 效驗(yàn)碼，網(wǎng)址：https://lbsyun.baidu.com/apiconsole/center#/home，登錄自己的百度賬號，在控制臺創(chuàng)建一個應(yīng)用，
控制臺面板-> 我的應(yīng)用-> 創(chuàng)建應(yīng)用
其他參數(shù)默認(rèn)，應(yīng)用名稱自定義命名即可，IP 白名單填入 0.0.0.0/0，點(diǎn)擊提交
以上步驟操作完之后，控制臺面板會多出一個應(yīng)用，就是剛剛我們建立的，
3.2 地址經(jīng)緯度坐標(biāo)轉(zhuǎn)換
獲取到你的 AK 參數(shù)之后，把 AK 和 address(中文地址) 作為參數(shù)傳入下面函數(shù)中，就能獲取到對應(yīng)的經(jīng)緯度坐標(biāo)
def get_location(address,AK):
#根據(jù)地址轉(zhuǎn)化為經(jīng)緯度
try:
url = 'http://api.map.baidu.com/geocoding/v3/?address={}&output=json&ak={}&callback=showLocation'.format(address,AK)
res_test = requests.get(url).text
res = re.search('\((.*?)\)', res_test).group(0).strip('(').strip(')')
lng = json.loads(res)['result']['location']['lng']
lat = json.loads(res)['result']['location']['lat']
print(lng, lat)
return lng, lat
except Exception as e:
print('error ---------\n')
return None
百度地圖 API 的 地址經(jīng)緯度轉(zhuǎn)換 功能 定位不僅僅局限于省、市，還能定位到門牌號，只要你提供的地址越詳細(xì)，獲取的經(jīng)緯度信息越準(zhǔn)確
4，可視化分析
這一部分進(jìn)入可視化分析內(nèi)容，城市畢竟是北京么所以首要的就是關(guān)注房價問題，在抓取的數(shù)據(jù)中，最高的將近19萬+/每平方，最低的僅有 1.5 萬/每平方
我看到 1.5 萬每平方就不淡定了，這數(shù)據(jù)肯定有貓膩(北京房價按常理不可能這么低)；為了驗(yàn)證想法，首先做了房產(chǎn)地段標(biāo)記(經(jīng)緯度地圖標(biāo)記借助百度地圖地址 相關(guān) Demo )
先看一下排名前十的：
上面是房價最高 Top10 的地段位置，看起來地理位置還行，都是在三環(huán)四環(huán)之內(nèi)、分布在市中心附件，如果單看這張圖的地圖的話得不到有用的信息，可以對比一下 房價最低 Top10
下面是排名倒數(shù)前十的
上面是北京二手房房價排名后十 地段分布，房價在 1.5萬-3萬 不等，沒看到這個分布圖之前僅僅認(rèn)為上面價格是賣家標(biāo)錯了，看完這個圖后才發(fā)現(xiàn)賣家是 掛著羊頭賣狗肉，掛著北京的名號，賣著北京以外的房子(有的房子已經(jīng)位于河北境內(nèi))，這可能就是賣房的套路之一吧
事出反常必有妖，無論買房還是買其他商品也好，賣家不會平白無故地給我們優(yōu)惠，當(dāng)價格遠(yuǎn)低于市場價之前交易需慎重、慎重、再慎重！
房價我分為 5 個區(qū)間，分別為 0-3萬、3-8萬、8-12萬、12-15萬，15萬+ 五段，看一下各自的占比分布
其中房價位于 3-8萬 占比最大達(dá) 76 %占比，次之就是8-12萬、12-15萬，依次占比為16.38%、3.46%，而房價位于 15 萬 + 占比最少，僅有1.12% 左右；
接下來我們再看一下，不同價位二手房在北京的分布
15萬+的
12-15萬
8-12萬
3-8萬
從地段分布來看北京房價以8萬作為分水嶺，8萬+和8萬以內(nèi)房產(chǎn)分布明顯變化，價格越高，越靠市中心以外；從地圖信息來看，想在北京買一套地段不錯的房子，預(yù)期房價最低也要在8萬+，8 萬是什么概念，也就說如果你想在北京買一套50平米的房子，最低也要 400萬！
關(guān)于15萬+ 的房產(chǎn)，大致都分布兩個區(qū)域，一個是高校區(qū)(周圍是人大、北航、清華等高校)，另一個位于右下角，也就是北京朝陽區(qū)
北京賣的二手房不一定都是裝修之后的，有可能也是毛坯(剛建造交付之后，未進(jìn)行任何裝修)；參考下圖，北京二手房中毛坯占比約1.39%共41套，戶主買來這些房子大概率用于資產(chǎn)增值而不是作為剛需；
借助 Treemap 圖再看一下北京二手房建筑時間分布，大部分都集中于2002-2010 這 9 年，北京房產(chǎn)也是在這段期間迅速發(fā)展， 到 2015 年之后明顯收緩，源于可建筑地段已經(jīng)達(dá)到飽和再加上國家相關(guān)政策的施壓
最后貼張?jiān)~云圖作為本文的結(jié)束，選取的文本信息為3000條房產(chǎn)信息的標(biāo)題，從圖中來看，標(biāo)題中高頻詞匯有 南北通透、高樓層、精裝修、采光好 等，也可以說這幾個特點(diǎn)也是大多數(shù)房源的最大賣點(diǎn)(拋去價格、地段等因素)
5，小總結(jié)
本文針對北京二手房的分析角度并不全面，僅僅圍繞著房價、地段、修建年份等幾個維度做了簡單分析，分析結(jié)果僅供學(xué)習(xí)，其數(shù)據(jù)真實(shí)性有考察
好了以上就是本文的全部內(nèi)容，最后感謝大家的閱讀，我們下期見~
6，源碼獲取
關(guān)于本文中涉及的全部源碼和數(shù)據(jù) 獲取方式，在微信公號：小張Python ，后臺回復(fù)關(guān)鍵字 210303 即可~
