剪枝是樹類算法防止過擬合的重要方法，而且其思想非常有啟發(fā)，可以在其他算法中參考使用。而且，（樹的）過擬合本身就是重要的內(nèi)容，所以單列出來。不過這里簡單一說思路即可。 剪枝 在...
發(fā)簡信
IP屬地：河北
-
決策樹防止過擬合方法
-
認(rèn)知偏差，你有嗎
冥思之時(shí)，總是想表達(dá)些什么東西；但當(dāng)提起筆來，卻覺得沒什么想要表達(dá)。 今天想聊一下自我的認(rèn)知。 古語有之：知人者智，自知者明。 八個(gè)字，很簡單，可是你真的能做到自知嗎？ 在生...
-
Kolmogorov-Smirnov test (K-S 檢驗(yàn)）一.簡介 Kolmogorov-Smirnov是比較一個(gè)累計(jì)分布（cumulative distribution function）函數(shù)與經(jīng)驗(yàn)分布函數(shù)（empirical d...
-
Mann-Kendall趨勢檢驗(yàn)算法
Mann-Kendall檢驗(yàn)是一種非參數(shù)檢驗(yàn)（無分布檢驗(yàn)），其優(yōu)點(diǎn)是不要求樣本遵從一定的分布，也不受少數(shù)異常值的干擾。常用于對降水、徑流、氣溫和水質(zhì)等要素時(shí)間序列變化趨勢和突...
-
異常檢測算法-LOF（Local Outlie Factor）一.背景 在 LOF 之前的異常檢測算法大多是基于統(tǒng)計(jì)方法的，或者是借用了一些聚類算法用于異常點(diǎn)的識別（比如 ，DBSCAN，OPTICS）。這些方法都有一些不完美的地方： ...
-
python中的魔法函數(shù)一.簡介 所謂魔法函數(shù)（Magic Methods），是Python的一種高級語法，允許你在類中自定義函數(shù)（函數(shù)名格式一般為__xx__），并綁定到類的特殊方法中。比如在類A...
-
時(shí)間序列分解算法：STLSTL (Seasonal-Trend decomposition procedure based on Loess) 為時(shí)序分解中一種常見的算法，基于LOESS[http:...
-
局部加權(quán)回歸（Lowess）
一.算法思想 局部加權(quán)回歸（Lowess）的大致思路是：以一個(gè)點(diǎn)為中心，向前后截取一段長度為的數(shù)據(jù)，對于該段數(shù)據(jù)用權(quán)值函數(shù)做一個(gè)加權(quán)的線性回歸，記為該回歸線的中心值，其中為擬...
-
梯度下降、優(yōu)化器、學(xué)習(xí)率一.梯度下降算法簡介 1. 批量梯度下降法 [BGD: Batch Gradient Descent] 批量梯度下降法，是梯度下降法最常用的形式，具體做法也就是在更新參數(shù)時(shí)使...
-
聚類-kmeans,kmeans++,ISODATA一.概述 在本篇文章中將對四種聚類算法(K-means,K-means++,ISODATA和Kernel K-means)進(jìn)行詳細(xì)介紹，并利用數(shù)據(jù)集來真實(shí)地反映這四種算法之...
-
-
-
自然語言處理-ELMo一.簡介 ELMo是Embeddings from Language Models的縮寫，意思就是語言模型得到的(句子)Embedding。另外Elmo是美國兒童教育電視節(jié)目...
-
自然語言處理-transformer一.背景 RNN的缺陷 在沒有Transformer以前，大家做神經(jīng)機(jī)器翻譯用的最多的是基于RNN的Encoder-Decoder模型： Encoder-Decoder模型當(dāng)...
-
自然語言處理-bert一.簡介 Bert是什么？ BERT，全稱是 Bidirectional Encoder Representation from Transformers，基于語義理解的深度...
-
自然語言處理-Seq2Seq和attention機(jī)制一.背景 RNN的多種結(jié)構(gòu) 首先從RNN的結(jié)構(gòu)說起，根據(jù)輸出和輸入序列不同數(shù)量RNN可以有多種不同的結(jié)構(gòu)，不同結(jié)構(gòu)自然就有不同的引用場合。 one to one結(jié)構(gòu)，僅僅只是...
-
自然語言處理-word2vec一.簡介 Word2Vec是google在2013年推出的一個(gè)NLP工具，它的特點(diǎn)是能夠?qū)卧~轉(zhuǎn)化為向量來表示，這樣詞與詞之間就可以定量的去度量他們之間的關(guān)系，挖掘詞之間的聯(lián)...
-
自然語言處理-N-Gram一.簡介 N-Gram是一種基于統(tǒng)計(jì)語言模型的算法。它的基本思想是將文本里面的內(nèi)容按照字節(jié)進(jìn)行大小為N的滑動窗口操作，形成了長度是N的字節(jié)片段序列。 每一個(gè)字節(jié)片段稱為gra...