直接看本文最下面下載腳本，區(qū)分SRR長度，下載fq

一、prefetch 下載

1.　打開NCBI數(shù)據(jù)庫（https://www.ncbi.nlm.nih.gov/），在搜索框輸入要查詢的編號。
2.在搜索結(jié)果中勾選你感興趣的樣本，選擇右上角Send to – File – Accession List，  點(diǎn)擊Create File，下載SraAccList.txt 文件
3.下載安裝最新版本SRA Toolkit。（https://www.ncbi.nlm.nih.gov/sra/docs/sradownload/#ui-ncbiinpagenav-heading-4  ）
4.運(yùn)行命令：**prefetch --option-file SraAccList.txt**
下載完成后，文件被存儲在默認(rèn)目錄：**/home/usrname/ncbi/public/sra/**

cat SraAccList.txt

SraAccList.txt

### Step2：perfetch 數(shù)據(jù)下載和解壓
# Step2.1 perfetch 下載
$ cat down.txt | while read id; do 
echo $id;
( nohup prefetch $id --max-size 200G & );
done

# Step2.2 faster-dump解壓
ls *.sra | while read id; 
do 
echo $id; ( nohup fasterq-dump -e 16 --split-files -O ./ $id  & ); 
done

二、 Ascp 快速下載

軟件下載：
wget http://download.asperasoft.com/download/sw/connect/3.7.4/aspera-connect-3.7.4.147727-linux-64.tar.gz
tar -zxvf aspera-connect-3.7.4.147727-linux-64.tar.gz
sh aspera-connect-3.7.4.147727-linux-64.sh
添加環(huán)境變量：
vi ~/.bashrc
export PATH="/home/username/.aspera/connect/bin:$PATH" # username為你的用戶名

下載單個(gè)SRA文件
ascp -T -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR526/SRR5266611/SRR5266611.sra .

Aspera的用法：
$ ascp [參數(shù)] 目標(biāo)文件 目的地址
Aspera的常用參數(shù)：
-T    不進(jìn)行加密。若不添加此參數(shù)，可能會下載不了。
-i string
輸入私鑰，安裝 aspera 后有在目錄 ~/.aspera/connect/etc/ 下有幾個(gè)私鑰，使用 linux 服務(wù)器的時(shí)候一般使用 asperaweb_id_dsa.openssh 文件作為私鑰。
--host=string
ftp的host名，NCBI的為ftp-private.ncbi.nlm.nih.gov；EBI的為fasp.sra.ebi.ac.uk。
--user=string
用戶名，NCBI的為anonftp，EBI的為era-fasp。
--mode=string
選擇模式，上傳為 send，下載為 recv。
-l string
設(shè)置最大傳輸速度，比如設(shè)置為 200M 則表示最大傳輸速度為 200m/s。若不設(shè)置該參數(shù)，則一般可達(dá)到10m/s的速度，而設(shè)置了，傳輸速度可以更高。

批量下載 ，首先創(chuàng)建一個(gè)accession文件，用于保存序列號

$ head accession.txt
SRR5266611
SRR5266610
SRR5266609
SRR5266608
SRR5266607
SRR5266606

(現(xiàn)在下載有些問題，用EBI 正常)
寫個(gè)簡單的循環(huán)，進(jìn)行批量下載,down_SRR_data.sh 腳本內(nèi)容如下：

for i in `cat accession.txt`;do
x=$(echo $i | cut -b1-6)
y=$(echo $i | cut -b1-3)

ascp -T -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l200m anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/$y/$x/$i/$i.sra .
done

從EBI下載腳本

#download from EBI
#EBI
ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR621/003/SRR6213653/SRR6213653_1.fastq.gz ./


#!/bin/bash
# 雙端數(shù)據(jù)
cat download_fq_paired.ascp.txt |while read id;do 
ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/00${id:9:10}/$id/${id}_1.fastq.gz ./
ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/00${id:9:10}/$id/${id}_2.fastq.gz ./ 
done
# 單端數(shù)據(jù)
cat doenload_fq_single.ascp.txt|while read id;do 
ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/00${id:9:10}/$id/${id}.fastq.gz ./
done

SRA database ftp地址規(guī)律：

/sra/sra-instant/reads/ByRun/sra/{SRR|ERR|DRR}/<first 6 characters of accession>/<accession>/<accession>.sra

推薦Acsp 下載，比prefetch 更加穩(wěn)定，速度可能更快
tips:
1.如果需要?dú)⒌魀refetch 批量下載程序，直接top 后kill prefetch 進(jìn)程
2.如果需要?dú)⒌鬉scp 下載程序，需要首先kill 掉 sh down_SRR_data.sh 進(jìn)程，再查殺掉 真正運(yùn)行的Ascp下載程序，于是這個(gè)for 循環(huán)下載就會全部終止~~~

三、【檢查數(shù)據(jù)是否下載完整】進(jìn)行比對accession.txt 與下載的.sra文件差異

需要下載的SRA列表 但是只下載了269個(gè)，需要查明原因。
notepad++排序去重

需要下載的list

#comm之前需要進(jìn)行sort ,之后comm 得到差集。即可知道哪些sra文件下載漏了
[kcao@login raw_data]$ sort SRR_Acc_List.txt >test.txt
[kcao@login raw_data]$ ls|grep "sra$"|sed "s/.sra//g"|sort|comm - test.txt -3
    SRR531939
 [kcao@login raw_data]$ ascp -T -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l200R531939.sra .&

四、GSM轉(zhuǎn)SRR

image.png

[kcao@h1-lgl test]$ for GSM in `cat downlaod.txt`;do SRR=`esearch -db sra -query $GSM | efetch -format docsum|xtract -pattern DocumentSummary -element Run@acc`;echo $SRR;done
SRR513122
SRR3055265
SRR3055266

五，注意

*糾正ascp 下載腳本【按照SRR長度，分別下載fastq文件?！?/h2>

# 對于單端數(shù)據(jù)
cat  down.txt |while read id;do if [ ${#id} == 9 ] ;
then 
    ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/$id/${id}.fastq.gz ./; 
else 
    ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/00${id:0-1}/$id/${id}.fastq.gz ./; 
fi;
done

# 對于雙端數(shù)據(jù)
cat  down.txt |while read id;do if [ ${#id} == 9 ] ;
then 
    ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/$id/${id}_1.fastq.gz ./;
    ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/$id/${id}_2.fastq.gz ./;
else 
    ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/00${id:0-1}/$id/${id}_1.fastq.gz ./;
    ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/${id:0:6}/00${id:0-1}/$id/${id}_2.fastq.gz ./;
fi;
done

ascp 添加到環(huán)境變量，prefetch下載sra,自動搜索scp

image.png

六：單細(xì)胞數(shù)據(jù)下載

由于從EBI里面來看，單細(xì)胞數(shù)據(jù)存放只有一個(gè)文件，類似單端數(shù)據(jù)一樣，但是不能下載FASTQ文件，而是下載SRA文件，再進(jìn)行解壓。

## methods2: ascp 從EBI下載.sra 數(shù)據(jù)
cat  down.txt |while read id;do if [ ${#id} == 10 ] ;
then 
    ascp -QT -l 300m -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh \
    era-fasp@fasp.sra.ebi.ac.uk:/vol1/srr/${id:0:6}/00${id:0-1}/$id ./; 
else 
    echo "###### $id error ###### "
fi;
done

附：

R 下載
GSM對應(yīng)的SRR