前言
現(xiàn)在發(fā)文章拖得很慢,加上簡書這個月禁止發(fā)文,過了半個月才寫了第二篇《打造數(shù)據(jù)蛙電商數(shù)據(jù)分析平臺》小結(jié)。無奈自己是一個業(yè)務(wù)猿,每天被公司的產(chǎn)品大人虐的死去活來,上周又病了一下休息了一周,請大家見諒。
最近看到數(shù)據(jù)蛙公眾號后臺留言,有朋友留言說道近兩年,傳統(tǒng)電商流量紅利已經(jīng)越來越少,短視頻和直播成為新的帶貨模式。在今年618期間,李佳琦在淘寶直播再度刷新戰(zhàn)績:一場直播賣出15萬支唇釉;3分鐘內(nèi)賣出了5000單資生堂紅腰子;1分鐘售罄柳宗理鑄鐵鍋4萬口。只要在社交媒體上隨便一搜,就能搜到李佳琦帶貨能力有多強,只要李佳琦他說出‘買它’兩個字,有的網(wǎng)友就像被附體一樣,看啥想買啥。

還看到有的朋友留言說剛?cè)胄须娚虜?shù)據(jù)分析不會處理數(shù)據(jù),首先,我們要知道什么叫數(shù)據(jù)分析。其實從數(shù)據(jù)到信息的這個過程,就是數(shù)據(jù)分析。因為數(shù)據(jù)本身并沒有什么價值,有價值的是從數(shù)據(jù)中提取出來的信息。
為了讓數(shù)據(jù)蛙社區(qū)同學(xué)更好的學(xué)習(xí)數(shù)據(jù)分析,目前正在做一個電商數(shù)據(jù)分析平臺,只作學(xué)習(xí)用。
一 規(guī)劃 平臺介紹
在電商平臺購物時
會不會有以下的情況:
現(xiàn)在通常消費者會花大量的時間在商品之間、電商平臺之間的來回比價,消費者都希望能買到價格劃算的筍貨,和自己的親朋好友攀比誰買的東西更優(yōu)惠劃算。因為在這個時代沒有人會拒絕最劃算的價格。
比如雙11這類的電商重大節(jié)日時,即便價格跟對手僅僅相差幾元錢,也有可能損失一筆訂單。
電商平臺各種各樣的折扣信息,經(jīng)常性不能選擇關(guān)注指定商品。
想知道整個某寶上食品/衣服類目實時折扣力度最大的商品。
這是一個基于python爬蟲的實時價格監(jiān)控網(wǎng)站
我們打造一個類似這樣的價格監(jiān)控網(wǎng)站



二 規(guī)劃 網(wǎng)站功能介紹(后續(xù)還會添加)
- 實時采集電商商品價格
- 建立和管理比價關(guān)系
- 進行比價運算
- 用戶通過瀏覽器登錄該網(wǎng)站
- 用戶可設(shè)定email郵件通知
- EXCEL報表輸出
三 規(guī)劃 網(wǎng)站架構(gòu)
爬蟲作為監(jiān)控手段,監(jiān)控商品的實時價格
Flask+ Scrapy爬蟲框架+代理池 + 數(shù)據(jù)庫

- 采用Scrapy分布式爬蟲框架爬取整個品類的商品
- 采用代理池提高整體采集效率
- Web端:后臺會選擇網(wǎng)上推薦的Flask。
- Flask中,涉及到使用Flask-Admin,F(xiàn)lask-Login等組件,搭建用戶注冊登錄系統(tǒng)。
四 規(guī)劃 電商公開數(shù)據(jù)
持續(xù)地自動化地從(看圖片)某寶、某貓、某京東、某品會、某易購、某當?shù)染W(wǎng)站上采集商品信息,將下述信息從網(wǎng)頁上提取出來:

五 規(guī)劃 數(shù)據(jù)呈現(xiàn)

六 規(guī)劃 未來
這個項目正在和團隊的小伙伴努力開發(fā)中,我也會一邊開發(fā)一邊總結(jié)。
環(huán)境搭建篇 2019-08-29 在此省略
(有興趣的童鞋可以點擊鏈接http://www.itdecent.cn/p/6ab0c0196a55
看看上一期的文章,有環(huán)境搭建篇看)
雛形篇
大家好,今天對于這個項目搭建進行一個小結(jié),最近在刷vue的官方文檔了。在刷過文檔之后,我就想著,真實的項目是怎么樣子的呢,那么現(xiàn)在電商數(shù)據(jù)分析平臺已經(jīng)做出了簡單的一個雛形
什么是Vue?
漸進式JavaScript框架優(yōu)點:
1 體積小 壓縮后 33K
2 更高的運行效率
3 雙向數(shù)據(jù)綁定
4 生態(tài)豐富、學(xué)習(xí)成本低
5 對初學(xué)者友好,入門容易,資料多?
大家可以看下方圖片:

這個空白頁面畫上兩個input的框,一個是登錄賬號,一個是登錄密碼。一個記住密碼的框框,再放置一個登錄按鈕。我們將登錄按鈕上綁上click事件,點擊登錄之后向服務(wù)端提交賬號和密碼進行驗證。 這就是一個簡單的登錄頁面。


這兩個頁面是用于展示每個電商平臺的數(shù)據(jù)和可視化,因為數(shù)據(jù)那邊還在準備,現(xiàn)在暫時還沒數(shù)據(jù)看到,我們爭取本月讓這個項目上線
雛形篇的東西也差不多講完了,這里小編只是做一個簡單的小結(jié),朋友們?nèi)绻惺裁聪敕ɑ蛘呓ㄗh歡迎去微信社群找群主凱旋聊聊說說,或者在公眾號留言
謝謝大家觀看!
