話題發(fā)現(xiàn)和跟蹤是指新聞專線和廣播新聞等來源的新聞數(shù)據(jù)流中自動(dòng)地發(fā)現(xiàn)話題并把話題相關(guān)的內(nèi)容組織到一起的技術(shù)。通過增量的文檔聚類的方法，信息流被聚集到有限的話題類簇中，類內(nèi)高度相...
發(fā)簡信
IP屬地：江蘇
-
基于Single-Pass的話題發(fā)現(xiàn)算法（Python） -
Spark JDBC系列--取數(shù)的四種方式本文旨在介紹 Spark 通過JDBC讀取數(shù)據(jù)庫數(shù)據(jù)的四種API 調(diào)用前準(zhǔn)備 對于不同的數(shù)據(jù)庫，需要在spark的環(huán)境中添加對應(yīng)的driver包，如： Oracle： MyS...
-
Spark map-side-join 關(guān)聯(lián)優(yōu)化
將多份數(shù)據(jù)進(jìn)行關(guān)聯(lián)是數(shù)據(jù)處理過程中非常普遍的用法，不過在分布式計(jì)算系統(tǒng)中，這個(gè)問題往往會變的非常麻煩，因?yàn)榭蚣芴峁┑?join 操作一般會將所有數(shù)據(jù)根據(jù) key 發(fā)送到所有的...
-
Spark 之RDD為什么要設(shè)計(jì)RDD 網(wǎng)上資料很多，這里我給羅列出來，許多的迭代算法和交互式數(shù)據(jù)挖掘工具，這些應(yīng)用場景的共同點(diǎn)是：在不同的運(yùn)行階段或者說是計(jì)算階段，都會重用中間結(jié)果，即一個(gè)階...
-
Spark排錯(cuò)與優(yōu)化
一. 運(yùn)維 1. Master掛掉,standby重啟也失效 Master默認(rèn)使用512M內(nèi)存，當(dāng)集群中運(yùn)行的任務(wù)特別多時(shí)，就會掛掉，原因是master會讀取每個(gè)task的e...
-
Docker Swarm集群部署實(shí)踐本文為轉(zhuǎn)載，原文：Docker Swarm集群部署實(shí)踐 1. 介紹 Swarm 在 Docker 1.12 版本之前屬于一個(gè)獨(dú)立的項(xiàng)目，在 Docker 1.12 版本發(fā)布之...
