接到一個(gè)有趣的作業(yè),就是分析豆瓣用戶關(guān)注的小組,通過小組標(biāo)簽給這個(gè)用戶畫像。任務(wù)主要有這幾部分:1.通過爬取的數(shù)據(jù),利用Spark Graphx對這些數(shù)據(jù)構(gòu)圖2.將這個(gè)圖進(jìn)行...
接到一個(gè)有趣的作業(yè),就是分析豆瓣用戶關(guān)注的小組,通過小組標(biāo)簽給這個(gè)用戶畫像。任務(wù)主要有這幾部分:1.通過爬取的數(shù)據(jù),利用Spark Graphx對這些數(shù)據(jù)構(gòu)圖2.將這個(gè)圖進(jìn)行...
寫在前面 態(tài)度決定高度!讓優(yōu)秀成為一種習(xí)慣! 世界上沒有什么事兒是加一次班解決不了的,如果有,就加兩次?。? - -茂強(qiáng)) 什么是一個(gè)圖 一個(gè)網(wǎng)絡(luò)Network 一個(gè)樹Tre...
前言 這個(gè)月做的事情還是蠻多的。上線了一個(gè)百臺(tái)規(guī)模的ES集群,還設(shè)計(jì)開發(fā)了一套實(shí)時(shí)推薦系統(tǒng)。 標(biāo)題有點(diǎn)長,其實(shí)是為了突出該推薦系統(tǒng)的三個(gè)亮點(diǎn),一個(gè)是實(shí)時(shí),一個(gè)是基于用戶畫像去...
之前有聽過Zero-Copy 技術(shù),而Kafka是典型的使用者。網(wǎng)上找了找,竟然沒有找到合適的介紹文章。正好這段時(shí)間正在閱讀Kafka的相關(guān)代碼,于是有了這篇內(nèi)容。這篇文章會(huì)...
前言: 上手kafka已有2年的時(shí)間,我們的數(shù)據(jù)處理量也從最初的300g/day發(fā)展到今天的T量級(jí)在這個(gè)過程中也踩了不少坑,在這里分享出來和大家共勉。 一、硬件考量 1.1、...
各種TimeoutException問題 會(huì)拋出org.apache.kafka.common.errors.TimeoutException:message可能為各種: B...
kerberos 介紹 閱讀本文之前建議先預(yù)讀下面這篇博客kerberos認(rèn)證原理---講的非常細(xì)致,易懂 Kerberos實(shí)際上一個(gè)基于Ticket的認(rèn)證方式。Client...
最近準(zhǔn)備搞一個(gè)小程序玩玩,到配置服務(wù)器域名的時(shí)候發(fā)現(xiàn)只支持https協(xié)議,迫于無奈,我不得不再次跳出自己的思維舒適區(qū),發(fā)起了一次http向https的沖擊在這方面我也了解的不...
kafka當(dāng)前的版本是0.10.1新增加的新特性還是很多的,使用0.8.×的同學(xué),可以多關(guān)注下了。原文地址:http://www.cnblogs.com/huxi2b/p/6...