問題 本周工作中遇到一個(gè)問題,同事用Python和公司的db客戶端在團(tuán)隊(duì)的測(cè)試框架上實(shí)現(xiàn)連接池功能,db連接用的是pymysql。但在跑demo時(shí),出現(xiàn)了詭異的現(xiàn)象: 多次s...
問題 本周工作中遇到一個(gè)問題,同事用Python和公司的db客戶端在團(tuán)隊(duì)的測(cè)試框架上實(shí)現(xiàn)連接池功能,db連接用的是pymysql。但在跑demo時(shí),出現(xiàn)了詭異的現(xiàn)象: 多次s...
MySQL配置改為read committed后是不是,就不用設(shè)置autocommit為True了
記一次pymysql查詢不到表中最新插入的數(shù)據(jù)的問題問題 本周工作中遇到一個(gè)問題,同事用Python和公司的db客戶端在團(tuán)隊(duì)的測(cè)試框架上實(shí)現(xiàn)連接池功能,db連接用的是pymysql。但在跑demo時(shí),出現(xiàn)了詭異的現(xiàn)象: 多次s...
對(duì)于大數(shù)據(jù)集,在訓(xùn)練時(shí)會(huì)出現(xiàn)MemoryError 。sklearn提供了幾種辦法,一是從根本上節(jié)省空間,二是流式讀取,三是節(jié)省每次運(yùn)行時(shí)的數(shù)據(jù)量。 1. 流式數(shù)據(jù) 要給算法...
上次講過HIVE 的一個(gè)常用命令 MSCK REPAIR TABLE , 這次講講HIVE的ANALYZE TABLE命令,接下來還會(huì)講下Impala的 COMPUTE ST...
工作中發(fā)現(xiàn)很多同事連基礎(chǔ)的hive命令都不知道,所以準(zhǔn)備寫一個(gè)系列把hive一些常用的命令進(jìn)行一個(gè)總結(jié)。第一個(gè)講的命令是MSCK REPAIR TABLE。 MSCK REP...
要了解深度學(xué)習(xí),首先必須了解“深度學(xué)習(xí)”的前身:神經(jīng)網(wǎng)絡(luò)與神經(jīng)元的概念。 關(guān)于神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的概念和區(qū)別,我在“機(jī)器學(xué)習(xí)(一)”那篇文章已經(jīng)展現(xiàn)就不贅述了。 深度學(xué)習(xí)可以...
做大數(shù)據(jù)&&算法 其實(shí)最重要的三件事 ,就是 管理數(shù)據(jù) 和集群運(yùn)維 模型訓(xùn)練,一旦 遠(yuǎn)離這三個(gè)主題,大數(shù)據(jù)都無法發(fā)揮它應(yīng)用的作用。廢話不多說,這幾天主要是采坑了。我認(rèn)為現(xiàn)在...
傳統(tǒng)的游戲服務(wù)器要么是單線程要么是多線程,過去幾十年里CPU一直遵循摩爾定律發(fā)展,帶來的結(jié)果是單核頻率越來越高。而近幾年摩爾定義在CPU上已然失效,為什么呢? 大于在2003...
前言 編程是最重要也是最不重要的事 這是因?yàn)椤熬幊淌亲钪匾彩亲畈恢匾氖隆边@是因?yàn)榫幊套鳛榘阉季S變?yōu)閷?shí)現(xiàn)的這個(gè)循環(huán)的最后一步(然后寫好的程序會(huì)成為新的思考輸入和基礎(chǔ),開始新...
何為運(yùn)行期?何為編譯期? 編譯期是指編譯器將源代碼翻譯為機(jī)器能識(shí)別的代碼,java為編譯為jvm認(rèn)識(shí)的字節(jié)碼文件。運(yùn)行期則是指java代碼的運(yùn)行過程。 編譯期編譯期 舉個(gè)例子...
什么是Netty? Netty 是一個(gè)利用 Java 的高級(jí)網(wǎng)絡(luò)的能力,隱藏其背后的復(fù)雜性而提供一個(gè)易于使用的 API 的客戶端/服務(wù)器框架。Netty 是一個(gè)廣泛使用的 J...
背景: 項(xiàng)目隸屬于用戶畫像服務(wù),為了更好的支持前端查詢服務(wù),決定將原有的HBase數(shù)據(jù)源切換成Elasticsearch(以下簡稱ES),從k-v型數(shù)據(jù)庫切到nosql。本以...
Hadoop中的文件格式大致上分為面向行和面向列兩類: 面向行:同一行的數(shù)據(jù)存儲(chǔ)在一起,即連續(xù)存儲(chǔ)。SequenceFile,MapFile,Avro Datafile。采用...
《利用Python進(jìn)行數(shù)據(jù)分析·第3版》新版上市[https://u.jd.com/W8xSkzl],新版使用的是Pandas 1.4,更新了不少內(nèi)容。為了幫助大家學(xué)習(xí),這次...
vnpy 是個(gè)基于python的開源量化交易框架,github地址:https://github.com/vnpy/vnpy。 官方文檔主要介紹的使用環(huán)境是windows和U...
作為一個(gè)Python小白,在經(jīng)過一個(gè)大牛的安利下,迅速將魔爪伸向了Python。作為一個(gè)小白,今天分享下已經(jīng)被大牛們玩壞的知乎爬蟲,各位看官你看好了。 1. 我為什么要爬取回...
在項(xiàng)目中偶爾會(huì)有這種需求,用戶通過第三方系統(tǒng)登錄時(shí)如果尚未注冊(cè),則自動(dòng)給用戶注冊(cè),注冊(cè)過的用戶則自動(dòng)登錄,更新最近登錄時(shí)間等信息。有時(shí)候圖省事可能就直接INSERT INTO...