先看下數(shù)據(jù)分析的結(jié)果大概長什么樣!

這個項(xiàng)目主要是對簡書所有用戶的動態(tài)做分析。
0.分析什么
說是對動態(tài)做分析,啥是動態(tài)?就像你微信朋友圈的發(fā)表、點(diǎn)贊、評論、被評論一樣。你在簡書的操作也被記錄下來啦,像這樣:

簡叔CEO簡叔的動態(tài)
在簡書的可見動態(tài)分為八種類型:發(fā)表評論,喜歡文章,贊賞文章,發(fā)表文章,關(guān)注用戶,關(guān)注專題,點(diǎn)贊評論,關(guān)注文集 。
1.數(shù)據(jù)從哪里來
當(dāng)然還是用jsoup寫爬蟲代碼來簡書抓了,一個個復(fù)制粘貼是不可能的,要又要不到,只能寫爬蟲來抓啊,這樣子才能維持?jǐn)?shù)據(jù)來源……

看,蠻快的!數(shù)據(jù)嗖嗖的就來了,還不是美滋滋~

爬數(shù)據(jù)保存到Mysql數(shù)據(jù)庫
2.分析過程
采用Spark Sql定期對數(shù)據(jù)庫中的最新數(shù)據(jù)進(jìn)行分析,將分析結(jié)果再次保存回?cái)?shù)據(jù)庫(存放在一些新的表中)。
3.分析結(jié)果
使用SSM框架搭建一個搜索頁面,用戶輸入任意一個簡書用戶的ID,可以查詢出該用戶的各類動態(tài)分析結(jié)果(結(jié)果采用ECharts展示)。
======
先以簡叔為例吧,記得剛注冊簡書,就收到一個私信,我還以為哪妹子看上我了!
嗯,扯遠(yuǎn)了。咱還是來認(rèn)(hu)真(luan)分析一下數(shù)據(jù)吧。
3.1基本信息

截止至2017-08-20 18:32:11,也就是我現(xiàn)在碼這段字的前幾秒。簡叔關(guān)注了2346個用戶(說好的上限1000呢~)。粉絲87137個,粉絲排行榜前幾名啦。
發(fā)表文章122篇,收獲喜歡30137,喜歡文章11292,嗯?點(diǎn)了那么多喜歡?
發(fā)表評論8454次,打賞文章2128次。
3.2 第一次
隨著動態(tài)越來越多,因?yàn)閯討B(tài)按時(shí)間倒排,你可能翻了跟多頁還是不知道你在簡書第一個關(guān)注的用戶,喜歡的文章,發(fā)表的評論。沒關(guān)系,我記得(能快速找出來……)!
咱們看看簡叔的第一次!
2012-09-05 11:26:57
注冊,加入簡書。
(我以為是第一個注冊用戶,去抓下來的用戶中查了下,larryzhao是2012-09-05 11:08:37注冊的,早十幾分鐘。看了介紹,這個也是簡書聯(lián)合創(chuàng)始人。應(yīng)該沒有比這早了的吧)
2012-12-20 15:31:53
第一次發(fā)表文章:價(jià)值主張的工作表
2012-12-13 17:19:31
第一次喜歡文章:簡書發(fā)表的獻(xiàn)給寫作者的 Markdown 新手指南
2013-05-23 05:36:28
第一次關(guān)注用戶:趙云波
2013-12-08 11:40:56
第一次對文章 為什么你應(yīng)該每天寫作 評論:
“我覺得哪怕真是有興趣,要堅(jiān)持每天寫作也是非常困難的事情。一周寫上一篇,或者一個月寫上一篇,這種才是休閑活動?!该刻鞂懽鳌惯@個行為絕不可能成為一項(xiàng)「休閑活動」??梢宰龅健该刻鞂懽鳌沟娜?,要么他是一個真正從事文字工作的人,要么他對「每天寫作」這件事情有一種強(qiáng)迫癥。”
嗯,同意簡叔3.6年前的觀點(diǎn)。天天喊著「每天寫作」大都是文字工作者。上班族們,不要一聽別人的鼓動就給自己立個誓,到時(shí)候打臉的可是自己??!一天記流水賬似的一篇,干嘛,感動自己???
2014-03-27 12:37:08
第一次關(guān)注文集:社區(qū)的藝術(shù)
文集這個概念在別的用戶瀏覽的時(shí)候好像不是那么重要,所以一般關(guān)注文集較少或沒有。
2014-07-30 06:13:35
第一次關(guān)注專題:毒眼尋珠
2015-03-30 11:47:11
第一次打賞文章 :劉淼 發(fā)表的20150318村上問答之「我的生活正發(fā)生怪事」
2015-07-27 17:01:30
第一次贊了評論: 我的比較波折,第一次發(fā)被快遞的臨時(shí)工搞丟了,簡書服務(wù)不錯,幫我和中通交涉,中通賠了錢,后來補(bǔ)發(fā)了一份。書看完一本了,還不錯誒,好評!
這個文章已經(jīng)不在了,文章應(yīng)該是關(guān)于簡書出版的書。
3.3 各種動態(tài)占比

動態(tài)類型占比.gif
喜歡文章、發(fā)表評論、關(guān)注用戶、贊賞文章,這四種占比較高,說明簡叔還是很關(guān)注和支持簡書的用戶創(chuàng)作。
3.4月度動態(tài)趨勢

月度動態(tài).gif
總體呈波段上升趨勢,簡叔在簡書平臺還是很活躍的。
3.5 日動態(tài)趨勢
自注冊以來,每天的動態(tài)次數(shù)。像這樣,密密麻麻

峰值是 2016-01-04,這天動態(tài)次數(shù)212次。因?yàn)閳D較大,降低了幀率,所以看起來有些卡頓。
3.6 時(shí)動態(tài)趨勢

如果按11點(diǎn)以后算熬夜的話,可以看出簡叔還是有不少熬夜情況的。大叔,注意身體!

白天各個時(shí)間段瀏覽簡書較均衡,畢竟是老板,沒有確切的工作時(shí)間段。有事沒事刷下簡書!
3.7 周內(nèi)發(fā)表文章頻次

發(fā)表文章.gif
圓形氣泡越大,代表發(fā)文章頻率越高。簡叔非工作時(shí)段發(fā)文還是蠻多的。
其他用戶分析的,文字工作者一般都是集中在周一到周五,上班族周六周日更集中一些。
要想詩和遠(yuǎn)方,還是要先解決眼前的茍且。
3.8 周內(nèi)喜歡文章頻次

喜歡文章.gif
?。∈裁垂??一個個連續(xù)的飽滿的小球。09:00-15:00,21:00-0:00。這兩個時(shí)間段內(nèi)簡叔喜歡文章很頻繁,下午少一些。
3.9 周內(nèi)關(guān)注用戶頻次

關(guān)注用戶.jpg
早上關(guān)注用戶多一些?
3.10 周內(nèi)打賞頻次

打賞.jpg
晚上打個賞?
3.11 發(fā)表的評論
對所有評論進(jìn)行分詞,詞頻統(tǒng)計(jì)后制作出詞云,然后……

評論詞云.gif
哈哈哈,簡叔天天好開心?。。?!
愿大家都有簡叔的心態(tài)!!
你還愣著干什么?笑??!

