光陰似箭，歲月如梭。機器學(xué)習(xí)時間也將近大半年了，一直在思考為什么要學(xué)習(xí)這玩意。高數(shù)和線代一直是多少人的噩夢，諱莫如深的算法，加上spark、scala等各種復(fù)雜框架折磨你，仔...
發(fā)簡信
IP屬地：廣東
-
機器學(xué)習(xí)的由來 -
@Life_0ecc 大數(shù)據(jù)平臺數(shù)據(jù)清洗以后來的呀
大數(shù)據(jù)之點聚合算法
聚合點算法實現(xiàn) 在地圖上查詢結(jié)果通常以標(biāo)記點的形式展現(xiàn)，但是如果標(biāo)記點較多，不僅會大大增加客戶端的渲染時間，讓客戶端變得很卡，而且會讓人產(chǎn)生密集恐懼癥（圖1）。為了解決這一問...
-
sourceData就是list的點集合
大數(shù)據(jù)之點聚合算法
聚合點算法實現(xiàn) 在地圖上查詢結(jié)果通常以標(biāo)記點的形式展現(xiàn)，但是如果標(biāo)記點較多，不僅會大大增加客戶端的渲染時間，讓客戶端變得很卡，而且會讓人產(chǎn)生密集恐懼癥（圖1）。為了解決這一問...
-
-
從數(shù)據(jù)中提取有用特征
幾乎所有的機器學(xué)習(xí)模型都是與用向量表示的數(shù)值特征打交道。因此，需要將原始數(shù)據(jù)轉(zhuǎn)換為數(shù)值。 數(shù)值特征：這些特征通常為實數(shù)或整數(shù)，比如年齡 類別特征：它們的取值只能是可能狀態(tài)集合...
-
ML Pipelines
pipelines中文意思是計算機流水線作業(yè)，通過pipelines的api可以很方便的實現(xiàn)數(shù)據(jù)工作流：數(shù)據(jù)源->特征轉(zhuǎn)換->數(shù)據(jù)建模->數(shù)據(jù)預(yù)言 pipeline常用組件 ...
-
從貝葉斯定理到最大似然估計
昨天看到這樣一道題，一機器在良好狀態(tài)生產(chǎn)合格產(chǎn)品幾率是 90%，在故障狀態(tài)生產(chǎn)合格產(chǎn)品幾率是 30%，機器良好的概率是 75%。若一日第一件產(chǎn)品是合格品，那么此日機器良好的概...
-
圖像數(shù)據(jù)源
spark2.4開始支持image圖片數(shù)據(jù)源操作 df的schema信息 如果是多層目錄，而且需要獲取目錄名，可以將目錄命為：cls=string，在image的同級目錄中會...
-
ml之相關(guān)關(guān)系皮爾森相關(guān)性 樣本相關(guān)與它代表的總體相關(guān)會存在一些誤差。即使總體之間不存在相關(guān)，任然可能會獲得一個非零相關(guān)，對于小樣本來說尤其如此 當(dāng)樣本只有兩個數(shù)據(jù)時，兩點之間會形成一條完...
-
Spark中進行聚合時的特殊場景
在對數(shù)據(jù)進行統(tǒng)計分析時，如果對指標(biāo)進行聚合運算，而待查詢的字段中還包含了維度，則原則上我們還需要按照維度字段進行分組。倘若這個聚合運算為sum函數(shù)，分組之后就相當(dāng)于分類匯總了...
-
spark sql快速入門
常用的sql查詢引擎 hive，impala，hive on spark，presto（京東），drill（支持hdfs，hive），phoenix（hbase） 存儲格式 ...
-
Hadoop分布式集群搭建
規(guī)劃 配機器名稱 配機器名稱和ip地址的映射 ssh免秘鑰 主節(jié)點要能ssh免秘鑰到其它機器，需要將主機的id_rsa.pub 拷貝到其它節(jié)點 jdk安裝 配置主從關(guān)系，并分發(fā)文件
-
數(shù)據(jù)倉庫Hive
背景 mapreduce編程的不便性 傳統(tǒng)rdbms人員的需要 體系架構(gòu) client：shell thrift：jdbc（server/jdbc） webui（hue）
-
資源調(diào)度YARN
1.x master/slave: jobTracker/taskTracker JobTrack: 單點、壓力大 僅僅只能夠支持mapreduce作業(yè)，資源利用率低、運維成...
