安裝Aspera Connect工具下載sra數(shù)據(jù)

比較悲催的是現(xiàn)在下不了,查了很多沒有找到解決辦法

ascp: Failed to open TCP connection for SSH, exiting.  

Session Stop  (Error: Failed to open TCP connection for SSH)

加上一個端口參數(shù) -P 33001,貌似可以下載了(今天2019.5.23晚上在摸索下)

一、下載安裝Aspera Connect

這兩天學(xué)習(xí)生信技能樹RNA-seq和scRNA-seq,直接下載sra網(wǎng)速太慢,就找了一下下載方法。
Linux系統(tǒng)下的Aspera Connect安裝(Windows下的Aspera Connect安裝參考)。
查看最新版本的Aspera - High-speed file transfer software - aspera connect https://downloads.asperasoft.com/en/downloads/8?list

1. 下載

mkdir biosoft && cd biosoft
nohup wget http://download.asperasoft.com/download/sw/connect/3.7.4/aspera-connect-3.7.4.147727-linux-64.tar.gz &
tar zxvf aspera-connect-3.7.4.147727-linux-64.tar.gz

2. 安裝

bash aspera-connect-3.7.4.147727-linux-64.sh

3. 查看是否有.aspera文件夾

cd # 去根目錄
ls -a # 如果看到.aspera文件夾,代表安裝成功

4. 永久添加環(huán)境變量

echo 'export PATH=~/.aspera/connect/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

5. 查看幫助文檔

ascp --help

二、下載sra數(shù)據(jù)

Aspera用法如下:
Usage: ascp [參數(shù)] 目標(biāo)文件 保存路徑
-v verbose mode 嘮叨模式,能讓你實(shí)時知道程序在干啥,方便查錯。有些作者的程序缺乏人性化,運(yùn)行之后,只見光標(biāo)閃,壓根不知道運(yùn)行到哪了

-T 取消加密,否則有時候數(shù)據(jù)下載不了

-i 提供私鑰文件的地址,不能少,地址一般是~/.aspera/connect/etc中的asperaweb_id_dsa.openssh文件

-l 設(shè)置最大傳輸速度,一般200m到500m,如果不設(shè)置,反而速度會比較低,可能有個較低的默認(rèn)值

-k 斷點(diǎn)續(xù)傳,一般設(shè)置為值1

-Q 一般加上它

-P 提供SSH port,端口一般是33001,

SRA數(shù)據(jù)庫下載:首先記住,數(shù)據(jù)的存放地址是ftp-private.ncbi.nlm.nih.gov,SRA在Aspera的用戶名是anonftp,下載舉例:

如果我想下載SRR949627.sra文件,首先我需要找到地址,去ncbi ftp-private或者ncbi faspftp,一層層尋找,直至找到,然后復(fù)制鏈接地址,就可以開始下載了:

一般來說,NCBI的sra文件前面的地址都是一樣的/sra/sra-instant/reads/ByRun/sra/SRR/...,那么寫腳本批量下載也就不難了!

Step 1:建立sra文件夾保存下載序列

mkdir sra && cd sra

Step 2:下載SRA文件到sra文件夾

ascp -T -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh  -k 1 -l 200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR620/SRR6208854/SRR6208854.sra ~/sra/
 ascp -v -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l 200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR949/SRR949627/SRR949627.sra ~/biostar/aspera/

Aspera批量下載SRA文件

很多時候需要同時下載多個SRA文件,ascp命令提供參數(shù)--file-list,用于批量下載SRA文件。

Step 1:建立SRA文件路徑列表文件sra_list.txt

nano ~/sra/sra_list.txt

輸入以下兩行文本:

/sra/sra-instant/reads/ByRun/sra/SRR/SRR623/SRR6232298/SRR6232298.sra
/sra/sra-instant/reads/ByRun/sra/SRR/SRR623/SRR6232299/SRR6232299.sra
#按Ctrl+O,Ctrl+X保存退出

Step 2:批量下載sra_list.txt列表中的文件

ascp -T -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh  -k 1 -l 200m --mode recv --host ftp-private.ncbi.nlm.nih.gov --user anonftp --file-list ~/sra/sra_list.txt ~/sra/

100s下載了近700M文件,平均速度超過60M/s


NA數(shù)據(jù)庫下載:這里和上面不同,數(shù)據(jù)的存放地址是fasp.sra.ebi.ac.uk,ENA在Aspera的用戶名是era-fasp,下載舉例:

同樣,我還是下載SRR949627,方便的是ENA中可以直接下載fastq.gz文件,不用再從sra文件慢吞吞的轉(zhuǎn)換了,那么地址呢,可以去ENA搜索,再復(fù)制下fastq.gz文件的地址,或者可以去ENA的ftp地址ftp.sra.ebi.ac.uk搜索,注意,是ftp,不是fasp!記下鏈接地址,就可以下載了:

 ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR949/SRR949627/SRR949627_1.fastq.gz ~/biostar/aspera/

一般來說,EBI的sra文件前面的地址也都是一樣的vol1/fastq/...,那么寫腳本批量下載也就不難了!

三、國內(nèi)下載遇到最多的報錯Failed to open TCP connection for SSH, exiting. Session Stop (Error: Failed to open TCP connection for SSH)

考慮到大家經(jīng)常,留言咨詢這個報錯;索性補(bǔ)充更新一下解決辦法。

解決辦法如下:

ascp: Failed to open TCP connection for SSH, exiting.

Session Stop (Error: Failed to open TCP connection for SSH)

官網(wǎng)給出的解決辦法是:https://support.asperasoft.com/hc/en-us/articles/216126918-Error-44-UDP-session-initiation-fatal-error

On many Linux systems the default firewall can be configured with iptables. You will have to allow all incoming and outgoing traffic on UDP port 33001 (or whatever your Aspera UDP port is), which you can do with the following commands:

使用下面這兩個命令(但需要管理員權(quán)限)

# iptables -I INPUT -p tcp --dport 33001 -j ACCEPT
# iptables -I OUTPUT -p tcp --dport 33001 -j ACCEPT

參考
Aspera下載SRA文件 - weixin_34375251的博客 - CSDN博客 https://blog.csdn.net/weixin_34375251/article/details/88288453

使用aspera下載.fastq.gz和.sra數(shù)據(jù) - 高錦的博客 - CSDN博客 https://blog.csdn.net/herokoking/article/details/78890567

用Aspera connect從NCBI上下載SRA格式數(shù)據(jù) - Keep Learning - CSDN博客 https://blog.csdn.net/xubo245/article/details/50513201

nohup和&后臺運(yùn)行,進(jìn)程查看及終止 - 彌塵 - 博客園 https://www.cnblogs.com/baby123/p/6477429.html

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容