問題 本周工作中遇到一個(gè)問題，同事用Python和公司的db客戶端在團(tuán)隊(duì)的測(cè)試框架上實(shí)現(xiàn)連接池功能，db連接用的是pymysql。但在跑demo時(shí)，出現(xiàn)了詭異的現(xiàn)象： 多次s...
發(fā)簡信
IP屬地：上海
-
記一次pymysql查詢不到表中最新插入的數(shù)據(jù)的問題
-
MySQL配置改為read committed后是不是，就不用設(shè)置autocommit為True了
記一次pymysql查詢不到表中最新插入的數(shù)據(jù)的問題
問題 本周工作中遇到一個(gè)問題，同事用Python和公司的db客戶端在團(tuán)隊(duì)的測(cè)試框架上實(shí)現(xiàn)連接池功能，db連接用的是pymysql。但在跑demo時(shí)，出現(xiàn)了詭異的現(xiàn)象： 多次s...
-
sklearn 增量學(xué)習(xí)
對(duì)于大數(shù)據(jù)集，在訓(xùn)練時(shí)會(huì)出現(xiàn)MemoryError 。sklearn提供了幾種辦法，一是從根本上節(jié)省空間，二是流式讀取，三是節(jié)省每次運(yùn)行時(shí)的數(shù)據(jù)量。 1. 流式數(shù)據(jù) 要給算法...
-
HIVE常用命令之ANALYZE TABLE命令簡述上次講過HIVE 的一個(gè)常用命令 MSCK REPAIR TABLE ， 這次講講HIVE的ANALYZE TABLE命令，接下來還會(huì)講下Impala的 COMPUTE ST...
-
HIVE常用命令之MSCK REPAIR TABLE命令簡述
工作中發(fā)現(xiàn)很多同事連基礎(chǔ)的hive命令都不知道，所以準(zhǔn)備寫一個(gè)系列把hive一些常用的命令進(jìn)行一個(gè)總結(jié)。第一個(gè)講的命令是MSCK REPAIR TABLE。 MSCK REP...
-
深度學(xué)習(xí)之神經(jīng)元
要了解深度學(xué)習(xí)，首先必須了解“深度學(xué)習(xí)”的前身：神經(jīng)網(wǎng)絡(luò)與神經(jīng)元的概念。 關(guān)于神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的概念和區(qū)別，我在“機(jī)器學(xué)習(xí)（一）”那篇文章已經(jīng)展現(xiàn)就不贅述了。 深度學(xué)習(xí)可以...
-
重磅 解決 hadoop job 卡死 根源問題做大數(shù)據(jù)&&算法 其實(shí)最重要的三件事 ，就是 管理數(shù)據(jù) 和集群運(yùn)維 模型訓(xùn)練，一旦 遠(yuǎn)離這三個(gè)主題，大數(shù)據(jù)都無法發(fā)揮它應(yīng)用的作用。廢話不多說，這幾天主要是采坑了。我認(rèn)為現(xiàn)在...
-
Actor模型傳統(tǒng)的游戲服務(wù)器要么是單線程要么是多線程，過去幾十年里CPU一直遵循摩爾定律發(fā)展，帶來的結(jié)果是單核頻率越來越高。而近幾年摩爾定義在CPU上已然失效，為什么呢？ 大于在2003...
-
優(yōu)秀的開發(fā)=扎實(shí)的計(jì)算機(jī)基礎(chǔ)+產(chǎn)品化思維
前言 編程是最重要也是最不重要的事 這是因?yàn)椤熬幊淌亲钪匾彩亲畈恢匾氖隆边@是因?yàn)榫幊套鳛榘阉季S變?yōu)閷?shí)現(xiàn)的這個(gè)循環(huán)的最后一步(然后寫好的程序會(huì)成為新的思考輸入和基礎(chǔ)，開始新...
-
java編譯期和運(yùn)行期何為運(yùn)行期？何為編譯期？ 編譯期是指編譯器將源代碼翻譯為機(jī)器能識(shí)別的代碼，java為編譯為jvm認(rèn)識(shí)的字節(jié)碼文件。運(yùn)行期則是指java代碼的運(yùn)行過程。 編譯期編譯期 舉個(gè)例子...
-
生于憂患，死于安樂。
-
Netty入門教程——認(rèn)識(shí)Netty什么是Netty？ Netty 是一個(gè)利用 Java 的高級(jí)網(wǎng)絡(luò)的能力，隱藏其背后的復(fù)雜性而提供一個(gè)易于使用的 API 的客戶端/服務(wù)器框架。Netty 是一個(gè)廣泛使用的 J...
-
Elasticsearch趟坑記——后臺(tái)數(shù)據(jù)篇背景： 項(xiàng)目隸屬于用戶畫像服務(wù)，為了更好的支持前端查詢服務(wù)，決定將原有的HBase數(shù)據(jù)源切換成Elasticsearch(以下簡稱ES)，從k-v型數(shù)據(jù)庫切到nosql。本以...
-
hdfs文件格式比較Hadoop中的文件格式大致上分為面向行和面向列兩類： 面向行：同一行的數(shù)據(jù)存儲(chǔ)在一起，即連續(xù)存儲(chǔ)。SequenceFile,MapFile,Avro Datafile。采用...
-
《利用Python進(jìn)行數(shù)據(jù)分析·第2版》第1章 準(zhǔn)備工作《利用Python進(jìn)行數(shù)據(jù)分析·第3版》新版上市[https://u.jd.com/W8xSkzl]，新版使用的是Pandas 1.4，更新了不少內(nèi)容。為了幫助大家學(xué)習(xí)，這次...
-
vnpy for Mac 安裝填坑
vnpy 是個(gè)基于python的開源量化交易框架，github地址：https://github.com/vnpy/vnpy。 官方文檔主要介紹的使用環(huán)境是windows和U...
-
Python-爬取知乎某個(gè)問題下的所有回答
作為一個(gè)Python小白，在經(jīng)過一個(gè)大牛的安利下，迅速將魔爪伸向了Python。作為一個(gè)小白，今天分享下已經(jīng)被大牛們玩壞的知乎爬蟲，各位看官你看好了。 1. 我為什么要爬取回...
-
再談MySQL auto_increment空洞問題
在項(xiàng)目中偶爾會(huì)有這種需求，用戶通過第三方系統(tǒng)登錄時(shí)如果尚未注冊(cè)，則自動(dòng)給用戶注冊(cè)，注冊(cè)過的用戶則自動(dòng)登錄，更新最近登錄時(shí)間等信息。有時(shí)候圖省事可能就直接INSERT INTO...
