參考：
批量下載SRR數(shù)據(jù)
從NCBI-SRA和EBI-ENA數(shù)據(jù)庫下載數(shù)據(jù)
最近下載了一些比較大數(shù)據(jù)，自己感覺下載公共數(shù)據(jù)，最快的方法用ascp 下載 EBI sra 數(shù)據(jù)，再使用faster-dump 解壓，如果需要壓縮使用pigz 進(jìn)行壓縮。
舉例
- Step1: 準(zhǔn)備數(shù)據(jù)列表
$ cat down.txt
SRR7585921
SRR7591443
SRR7591444
- Step2:下載sra數(shù)據(jù)
cat down.txt |while read id; do
echo "$id is downloading" ;
if [ ${#id} == 9 ] ; then
( nohup ascp -QT -l 300m -P33001 -k1 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/srr/${id:0:6}/$id/$id . & );
else
( nohup ascp -QT -l 300m -P33001 -k1 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/srr/${id:0:6}/00${id:0-1}/$id ./ & );
fi;
done
## 參數(shù)
-k1 : 支持?jǐn)帱c(diǎn)續(xù)傳
- Step3：解壓sra 為fastq
ls *.sra | while read id;
do
echo $id; ( nohup fasterq-dump -e 16 --split-files -O ./ $id & );
done
- Step4:壓縮為fastq.gz
nohup time pigz -k -p 16 test.fastq
思考：
1.為什么選擇從EBI下載sra,為什么不直接下載fastq.gz呢？
如果帶寬有限，下載sra數(shù)據(jù)更小，但是需要多一個(gè)解壓縮步驟.個(gè)人感覺多線程解壓縮還是比下載更快，所以選擇下載sra
$ ll
total 72846298
-rw-r--r-- 1 kcao GLLi 44 Sep 11 22:21 down.txt
-rw-r--r-- 1 kcao GLLi 9995426477 Jul 26 2018 SRR7585921.sra
-rw-r--r-- 1 kcao GLLi 32299591228 Sep 11 13:56 SRR7585921.sra_1.fastq
-rw-r--r-- 1 kcao GLLi 32299591228 Sep 11 13:55 SRR7585921.sra_2.fastq
-rw-r--r-- 1 kcao GLLi 6762973455 Sep 11 13:56 SRR7585921_1.fastq.gz
-rw-r--r-- 1 kcao GLLi 7760784688 Sep 11 13:55 SRR7585921_2.fastq.gz
2.如何確認(rèn)EBI sra 路徑（fasp.sra.ebi.ac.uk:/vol1/srr/${id:0:6}/00${id:0-1}/$id）正確呢？
-
使用
EBI website顯示fasp地址信息
image.png -
確認(rèn)格式是否正確
image.png
3.為什么不直接從NCBI下載sra,或者直接用perfetch 調(diào)用ascp 下載sra 呢 ？
網(wǎng)上看到說ncbi 數(shù)據(jù)存儲到云端了，用ascp 下載速度提升不明顯。
之前用過ascp下載ncbi sra數(shù)據(jù)，結(jié)果發(fā)現(xiàn)，一直報(bào)錯(cuò)。
4.為什么選擇fasterq-dump 工具進(jìn)行解壓縮，而不是fastq-dump呢？
最新版sratoolkit 已經(jīng)包含了faster-dump,最大差別支持多線程，一般推薦16或者32線程，太多線程提升想過不明顯，而且占用計(jì)算資源。
faster-dump 不支持將sra 解壓為gz格式，所以需要工具，進(jìn)行壓縮為gz(如果需要壓縮文件)
5.為什么選擇pigz 工具進(jìn)行解壓縮呢？
和gzip相比 ，支持多線程，結(jié)果為gz文件.
