我是從負責運輸公司的財務(wù)轉(zhuǎn)行成為運輸?shù)臄?shù)據(jù)分析的。轉(zhuǎn)行大概準備了半年多,不知道能不能算迅速。 首先是數(shù)據(jù)處理能力,例如京東系統(tǒng)中發(fā)車數(shù)據(jù)、裝貨數(shù)據(jù)、客戶下單數(shù)據(jù),可以用海量形...
我是從負責運輸公司的財務(wù)轉(zhuǎn)行成為運輸?shù)臄?shù)據(jù)分析的。轉(zhuǎn)行大概準備了半年多,不知道能不能算迅速。 首先是數(shù)據(jù)處理能力,例如京東系統(tǒng)中發(fā)車數(shù)據(jù)、裝貨數(shù)據(jù)、客戶下單數(shù)據(jù),可以用海量形...
一、概念 人工神經(jīng)網(wǎng)絡(luò)是是一種應(yīng)用類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進行信息處理的數(shù)學模型。這種模型可以適用于分類與回歸。 神經(jīng)網(wǎng)絡(luò)的優(yōu)點:可以把非線性做的特別好,擬合能力特別強,...
特征處理包括:數(shù)據(jù)清洗和特征預處理。 一、數(shù)據(jù)清洗: 1.數(shù)據(jù)樣本抽樣 ①樣本要具備代表性 ②樣本比例要平衡以及樣本不平衡時如何處理 ③考慮全量數(shù)據(jù) 2.異常值處理 2.1...
一、概念 LDA:Linear Discriminant Analysis 線性判別式分析 (NOT:在文本分析領(lǐng)域,還有個LDA的概念,全稱為隱含狄利克雷分布(Latent...
特征選擇就是剔除與標注不相關(guān)或者冗余的特征,它是數(shù)據(jù)歸約的思路之一(另一個思路為抽樣) 特征選擇主要包括三種思想:過濾思想、包裹思想和嵌入思想。 編程實現(xiàn): 第一步,導入必要...
相關(guān)分析最常用的方法就是用相關(guān)系數(shù)直接衡量連續(xù)值的相關(guān)性,而離散屬性的相關(guān)性是用熵增益轉(zhuǎn)換成相關(guān)性的形式來衡量。 一、分析連續(xù)值的相關(guān)性: Pearson相關(guān)系數(shù)及Spear...
分析思路: 先導入pandas、numpy包; 定義一個myPCA,傳入data及n_components參數(shù),并設(shè)置components為1000000維; ①先求每個屬性...
分析思路: 1.導入必要的包(pandas,numpy,scipy.stats,matplotlib.pyplot,seaborn) 2.讀取文件,為df 3.按 depar...