前言： pandas中讀取csv文件通常使用pd.read_csv()函數(shù)，正常情況下給出文件路徑即可讀取數(shù)據(jù)，不過在某些特殊情況下，需要一些小技巧才能讀取正確的內(nèi)容 文本型...
發(fā)簡信
IP屬地：上海
-
pandas中讀取csv文件的一些小技巧 -
將字符串日期轉(zhuǎn)換成datetime
前言 在證券交割單中，日期格式為字符串，如20180101。如果需要將其以時間序列形式寫入pandas中的dataframe，就需要將文本格式化。 操作方法也很簡單，使用to...
-
pandas中數(shù)據(jù)偏移計算前言 在金融計算中，有很多內(nèi)容都涉及偏移計算，例如計算5天平均移動線、計算10天漲幅等等，pandas中有很多函數(shù)可以非常簡單的用一行代碼予以解決 rolling函數(shù) 主要解...
-
snapshot中進行統(tǒng)計學分析引言 AGS中可以導出每次飛行的快照數(shù)據(jù)，這些數(shù)據(jù)對于飛行品質(zhì)的分析非常有幫助。目前上航每月737航班約產(chǎn)生9000-10000行快照信息，每行信息包含200個字段 分析字段...
-
tushare歷史數(shù)據(jù)讀取開銷比較本方法測試使用get_k_data更新某一單項歷史數(shù)據(jù)（比如60分鐘線），計算耗時。 測試用服務器使用amazon web service+cloud9云編程平臺，使用兩種不...
-
tushare中的get_k_data的去重問題
由于獲取數(shù)據(jù)的時限性，在日線以下的數(shù)據(jù)，比如小時線只能獲取一定時間范圍，超過該時間就無法再獲取了。根據(jù)實測，60分鐘線大約能保存6個月的數(shù)據(jù)，5分鐘線約保存15天數(shù)據(jù)，因此在...
-
獲取最新股票代碼列表
在tushare中，任何數(shù)據(jù)處理的前提都是獲取最新的股票代碼列表，有兩種方式可以獲得： 方法一 使用ts.get_today_all()返回結(jié)果如下： 改方法的缺點是獲取數(shù)據(jù)...
-
推薦文章：http://www.itdecent.cn/p/5af9293297ea ------------------------------------------------------------ 視編程為愛好，歡迎各類充滿熱情的編程技術分享。Python、C/C++、Java、Spring、.Net Framework、嵌入式、機電一體化所有和編程相關的內(nèi)容都歡迎。 知識星球：https://t.zsxq.com/2ZfeAMN 公眾號：亖的 side4u 企鵝群：470100934 點擊鏈接加入群聊【編程直播室】：https://jq.qq.com/?_wv=1027&k=5w1pJpY
-
將兩個不同日期的同一股票數(shù)據(jù)合并
由于數(shù)據(jù)更新的需要，往往需要將新日期獲取的數(shù)據(jù)合并到原有的數(shù)據(jù)中，pandas中的concat函數(shù)能很好的完成合并工作，再通過使用drop_duplicates方法去除重復的...
-
關于urllib從python2向pyhon3遷移的問題
背景 最近在調(diào)用聚合數(shù)據(jù)的短信API接口，原有的代碼是python2，目前我所使用的python全部都在3上（因為mysql接口已經(jīng)遷移到3），所以稍微爬了一下代碼，做了遷移...
-
2018-04-03
今天進行了AGS的姓名匹配工作，由于系統(tǒng)默認在發(fā)動機關車后進行數(shù)據(jù)上傳，因此實際觀察下來后可以按照QAR系統(tǒng)接收時間和航班實際關車時間做對比進行匹配，一般間隔時間均為幾分鐘內(nèi)...
-
MYSQL中的多事務處理
背景 在某個應用場景中，需要對一個航班的機組3人進行航線拆分，原數(shù)據(jù)庫字段內(nèi)容為：姓名A，姓名B，姓名C，拆分后的結(jié)果是導入到[crew_link]，成為3行不同的數(shù)據(jù)。 按...
-
2018-02-06
今天遇到一個錯誤代碼：'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128...
-
Tushare安裝教程
安裝tushare 1.下載最新版軟件python3支持 （版本號查詢地址https://docs.anaconda.com/anaconda/install/linux）：...
-
用datetime計算時間差
最近在計算兩個時間字符串的差值，會用到datetime模塊在這個模塊中，提供計算天數(shù)、秒和總秒數(shù)的差值計算。 計算天數(shù)間隔 輸出結(jié)果1 計算秒數(shù)間隔 輸出結(jié)果：3706 等等...
-
datetime函數(shù)故障處理
今天出現(xiàn)了一個很奇怪的bug，在導入datetime函數(shù)時出現(xiàn)了 the bad magic number error，懷疑和python2/3的版本混裝有關，另外我在保存p...
-
2018-01-29
最近朋友推薦了一個基金 [景順長城量化新動力股票 (001974)]，我一般對于基金的態(tài)度都不太好，因為高申購費率和管理費率會嚴重侵蝕你的收益率，所以買入基金的理由是看好股市...
