當(dāng)我還是孩子的時(shí)候，我問(wèn)：“人為什么活著？人生的意義是什么？人終有一死，我該如何做才能對(duì)得起這唯一的一生？”大人們，只會(huì)覺(jué)得這是小孩子的天真發(fā)問(wèn)，“長(zhǎng)大你就知道了”。 當(dāng)我初...
發(fā)簡(jiǎn)信
IP屬地：黑龍江
-
《哲學(xué)家都干了些什么》讀書筆記
-
[論文筆記](méi)Short Text Classification in Twitter to Improve Information FilteringShort Text Classification in Twitter to Improve Information Filtering 2010年twitter的一篇短文...
-
機(jī)器學(xué)習(xí)（12）——隨機(jī)森林前言：前面已經(jīng)介紹了的幾種算法，應(yīng)該對(duì)算法有了一個(gè)基本的認(rèn)識(shí)了，本章主要是在前面已經(jīng)學(xué)到的基礎(chǔ)上，對(duì)前面的算法模型進(jìn)行整合操作，訓(xùn)練出效果更好的分類器模型。 集成學(xué)習(xí) 集成學(xué)...
-
Pandas實(shí)現(xiàn)Hive中的窗口函數(shù)
1、Hive窗口函數(shù) 我們先來(lái)介紹一下Hive中幾個(gè)常見(jiàn)的窗口函數(shù)，row_number(),lag()和lead()。 row_number() 該函數(shù)的格式如下： 簡(jiǎn)單的...
-
Intellij IDEA破解版Intellij IDEA是一個(gè)綜合性的Java編程環(huán)境，被許多開(kāi)發(fā)人員和行業(yè)專家譽(yù)為市場(chǎng)上最好的IDE。它提供了一系列最實(shí)用的的工具組合：智能編碼輔助和自動(dòng)控制，支持J2E...
-
IDEA開(kāi)發(fā)Spark應(yīng)用并提交本地Spark 2.1.0 standalone集群運(yùn)行本文主要參考了如下兩篇博文： Windows下IntelliJ IDEA中調(diào)試Spark Standalone 怎么解決java.lang.NoClassDefFoundEr...
-
-
Spark數(shù)據(jù)傾斜
常見(jiàn)的數(shù)據(jù)傾斜是怎么造成的？Shuffle的時(shí)候，將各個(gè)節(jié)點(diǎn)上相同的key拉取到某個(gè)節(jié)點(diǎn)的一個(gè)task進(jìn)行處理，比如按照key進(jìn)行聚合或join等操作，如果某個(gè)key對(duì)應(yīng)的數(shù)...
-
正則化過(guò)擬合問(wèn)題（The Problem of Overfitting） 如上圖所示，第一個(gè)采用單變量線性回歸模型來(lái)擬合數(shù)據(jù)集，但其效果并不好，因此我們將這種情況稱為欠擬合（Und...
