我的使用場景
數(shù)據(jù)太大,直接用R讀取到內(nèi)存太占地方,又想讓用戶快速檢索到數(shù)據(jù)。那就把數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫,存儲到硬盤,快速檢索然后只讀取子集。
使用
最簡單的方法見 https://zhuanlan.zhihu.com/p/360938402
補充和問題
- 使用
.import sample.csv sample命令直接將文本數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫的表中。但是要使用最近版本的 sqlite3。 我centos安裝的3.5版本就會出現(xiàn)錯誤,必須先建立表才能導(dǎo)入,不科學(xué)。 - 每個表默認最大列是2000,超過就報錯了,查詢解決方法為在軟件編譯的時候附加修改最大限制的參數(shù).
- Rstudio 不會返回報錯原因,直接崩潰,全靠猜
- 列名不能重復(fù)