發(fā)簡(jiǎn)信
IP屬地：江蘇
-
基于Single-Pass的話題發(fā)現(xiàn)算法（Python）話題發(fā)現(xiàn)和跟蹤是指新聞專線和廣播新聞等來源的新聞數(shù)據(jù)流中自動(dòng)地發(fā)現(xiàn)話題并把話題相關(guān)的內(nèi)容組織到一起的技術(shù)。通過增量的文檔聚類的方法，信息流被聚集到有限的話題類簇中，類內(nèi)高度相...
-
Spark JDBC系列--取數(shù)的四種方式本文旨在介紹 Spark 通過JDBC讀取數(shù)據(jù)庫數(shù)據(jù)的四種API 調(diào)用前準(zhǔn)備 對(duì)于不同的數(shù)據(jù)庫，需要在spark的環(huán)境中添加對(duì)應(yīng)的driver包，如： Oracle： MyS...
-
阿里云官網(wǎng)內(nèi)容平臺(tái)！匯聚阿里云優(yōu)質(zhì)內(nèi)容（入門、文檔、案例、最佳實(shí)踐、直播等）！如需轉(zhuǎn)載或內(nèi)容類合作，郵件yqgroup@service.aliyun.com 秒級(jí)回復(fù)！<br>
-
Spark map-side-join 關(guān)聯(lián)優(yōu)化
將多份數(shù)據(jù)進(jìn)行關(guān)聯(lián)是數(shù)據(jù)處理過程中非常普遍的用法，不過在分布式計(jì)算系統(tǒng)中，這個(gè)問題往往會(huì)變的非常麻煩，因?yàn)榭蚣芴峁┑?join 操作一般會(huì)將所有數(shù)據(jù)根據(jù) key 發(fā)送到所有的...
-
-
勤學(xué)如春起之苗，不見其增，日有所長(zhǎng)！
-
Spark 之RDD為什么要設(shè)計(jì)RDD 網(wǎng)上資料很多，這里我給羅列出來，許多的迭代算法和交互式數(shù)據(jù)挖掘工具，這些應(yīng)用場(chǎng)景的共同點(diǎn)是：在不同的運(yùn)行階段或者說是計(jì)算階段，都會(huì)重用中間結(jié)果，即一個(gè)階...
-
-
Spark排錯(cuò)與優(yōu)化
一. 運(yùn)維 1. Master掛掉,standby重啟也失效 Master默認(rèn)使用512M內(nèi)存，當(dāng)集群中運(yùn)行的任務(wù)特別多時(shí)，就會(huì)掛掉，原因是master會(huì)讀取每個(gè)task的e...
-
進(jìn)無止境 <br><a href="http://www.chairis.cn/" rel="nofollow" target="_blank">http://www.chairis.cn/</a>
-
Docker Swarm集群部署實(shí)踐本文為轉(zhuǎn)載，原文：Docker Swarm集群部署實(shí)踐 1. 介紹 Swarm 在 Docker 1.12 版本之前屬于一個(gè)獨(dú)立的項(xiàng)目，在 Docker 1.12 版本發(fā)布之...
