從hdfs讀寫 parquet 、textfile 、 csv 、 xlsx四種文件格式代碼簡寫后如下：
發(fā)簡信
IP屬地：湖北
-
【pandas筆記】loc和Iloc區(qū)別
本文主要對比介紹pandas中的loc和iloc兩個基于索引的取值方式。 iloc的意思是基于索引（index-based selection），輸入為索引，也就是，行是（0...
-
【pandas筆記】查詢querypandas中query函數(shù)可以實(shí)現(xiàn)數(shù)據(jù)的查找功能，類似于數(shù)據(jù)庫的select功能。 實(shí)例說明
-
【pandas筆記】pandas resample函數(shù)pandas處理數(shù)據(jù)的時候，可能會遇到分組問題，比如說一組統(tǒng)計數(shù)據(jù)需要按周分組統(tǒng)計，這時候利用DataFrame中的resample函數(shù)就會非常方便與優(yōu)雅。 本文簡單介紹re...
-
【pandas筆記】刪除DataFrame中特定所在的行或列
pandas中，可以利用dropna刪除空行，同時也可以利用該函數(shù)刪除包含特定值所在的行。 1.刪除空行 2.根據(jù)特定值，刪除DataFrame中的行或列
-
【pandas筆記】重建索引
在pandas中，Dataframe索引關(guān)系著數(shù)據(jù)的讀取與插入等操作，本文主要介紹幾種常見的重建索引方法。 下面對df2重置索引，使其索引從0開始 方法一：直接賦值 方法二：...
-
【pandas筆記】去除Unnamed列
讀取Excel表的時候，經(jīng)常會遇到一些說明性的文字(如圖)，當(dāng)直接用pd.read_excel讀取表格時，會將說明文字也會讀取進(jìn)來，對應(yīng)的DataFrame會存在Unname...
-
python re模塊中re.S, re.U, re.I, re.M, re.X
修飾符描述re.I忽略大小寫re.L做本地化識別（locale-aware）匹配re.M多行匹配，影響 ^ 和 $re.S即為 . 并且包括換行符在內(nèi)的任意字符（. 不包括換...
-
Transformer常見問題匯總
1.Transformer為何使用多頭注意力機(jī)制？（為什么不使用一個頭） 答： 多頭可以使參數(shù)矩陣形成多個子空間，矩陣整體的size不變，只是改變了每個head對應(yīng)的維度大小...
-
Transformer模型解析記錄1.模型整體結(jié)構(gòu) 整個Transformer模型由Encoder和Decoder兩部分組成。Encoder負(fù)責(zé)對輸入數(shù)據(jù)的編碼，而Decoder負(fù)責(zé)對編碼后的數(shù)據(jù)進(jìn)行解碼。 ...
-
【pandas筆記】交換兩列
交換DataFrame中兩列的具體步驟：1.先將需要交換的其中一列保存下來；2.然后在DataFrame中刪除該列；3.最后將保存下來的列插入DataFrame中對應(yīng)位置
-
Attention機(jī)制筆記Attention機(jī)制是Transformer模型中的一個重要組成部件，而Transformer的重要性就不言而喻了。本文主要對Attention機(jī)制做一個簡單的記錄，加深自...
-
解決powershell無法使用conda虛擬環(huán)境問題
問題描述 在cmd中輸入輸入conda activate base可以在命令行前面出現(xiàn)(base)的提示，但是切換到PowerShell中就沒有提示了，不能進(jìn)入虛擬環(huán)境。 解...
-
Dockerfile中安裝crontab
在docker中安裝crontab的時候，踩了一些坑，在此記錄一下。先給出完整的dockerfile文件，后面再詳細(xì)說明~ echo輸入“#!” 利用echo輸入#!的時候，...
-
kenlm安裝
ubuntu版本安裝 1.下載kenlm安裝包 https://pypi.org/project/kenlm/#files[https://pypi.org/project/...
-
測試GPU是否可用
測試安裝的GPU驅(qū)動是否成功，或者深度學(xué)習(xí)框架是否可用。 tensorflow/keras pytorch paddlepaddle
-
milvus數(shù)據(jù)庫初探
1.安裝(單機(jī)版) 1.1.安裝 docker 及 docker-compose 官方建議，docker 安裝 19.03 或以上版本，docker-compose 安裝 1...
-
Anaconda基本操作
1.獲取版本號 2.查看目前已存在的環(huán)境 3.創(chuàng)建虛擬環(huán)境 4.創(chuàng)建指定python版本的虛擬環(huán)境 5.創(chuàng)建帶指定包的虛擬環(huán)境 6.復(fù)制虛擬環(huán)境 7.進(jìn)入虛擬環(huán)境 8.退出虛...
-
ImportError: No module named 'tensorflow_core.estimator'
tensorflow-estimator與tensorflow版本不一致導(dǎo)致的問題，如果tensorflow是2.0.0版本，則需要將tensorflow-estimator...
-
bazel編譯tensorflow源碼在安裝完tensorflow CPU版本后，經(jīng)?？吹饺缦碌木?，該警告雖說可以通過一些python語句來忽略(忽略方法[http://www.itdecent.cn/p/8...