問題 本周工作中遇到一個問題,同事用Python和公司的db客戶端在團(tuán)隊的測試框架上實現(xiàn)連接池功能,db連接用的是pymysql。但在跑demo時,出現(xiàn)了詭異的現(xiàn)象: 多次s...
問題 本周工作中遇到一個問題,同事用Python和公司的db客戶端在團(tuán)隊的測試框架上實現(xiàn)連接池功能,db連接用的是pymysql。但在跑demo時,出現(xiàn)了詭異的現(xiàn)象: 多次s...
對于大數(shù)據(jù)集,在訓(xùn)練時會出現(xiàn)MemoryError 。sklearn提供了幾種辦法,一是從根本上節(jié)省空間,二是流式讀取,三是節(jié)省每次運(yùn)行時的數(shù)據(jù)量。 1. 流式數(shù)據(jù) 要給算法...
上次講過HIVE 的一個常用命令 MSCK REPAIR TABLE , 這次講講HIVE的ANALYZE TABLE命令,接下來還會講下Impala的 COMPUTE ST...
工作中發(fā)現(xiàn)很多同事連基礎(chǔ)的hive命令都不知道,所以準(zhǔn)備寫一個系列把hive一些常用的命令進(jìn)行一個總結(jié)。第一個講的命令是MSCK REPAIR TABLE。 MSCK REP...
要了解深度學(xué)習(xí),首先必須了解“深度學(xué)習(xí)”的前身:神經(jīng)網(wǎng)絡(luò)與神經(jīng)元的概念。 關(guān)于神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的概念和區(qū)別,我在“機(jī)器學(xué)習(xí)(一)”那篇文章已經(jīng)展現(xiàn)就不贅述了。 深度學(xué)習(xí)可以...
做大數(shù)據(jù)&&算法 其實最重要的三件事 ,就是 管理數(shù)據(jù) 和集群運(yùn)維 模型訓(xùn)練,一旦 遠(yuǎn)離這三個主題,大數(shù)據(jù)都無法發(fā)揮它應(yīng)用的作用。廢話不多說,這幾天主要是采坑了。我認(rèn)為現(xiàn)在...
傳統(tǒng)的游戲服務(wù)器要么是單線程要么是多線程,過去幾十年里CPU一直遵循摩爾定律發(fā)展,帶來的結(jié)果是單核頻率越來越高。而近幾年摩爾定義在CPU上已然失效,為什么呢? 大于在2003...
前言 編程是最重要也是最不重要的事 這是因為“編程是最重要也是最不重要的事”這是因為編程作為把思維變?yōu)閷崿F(xiàn)的這個循環(huán)的最后一步(然后寫好的程序會成為新的思考輸入和基礎(chǔ),開始新...