寫在前面
- 一般在進(jìn)行公共測序數(shù)據(jù)挖掘的時候，需要從公共數(shù)據(jù)庫中（SRA、ENA、DDBJ等）下載自己所需的測序數(shù)據(jù)。下載數(shù)據(jù)時，往往會遇到網(wǎng)速限制或下載鏈接不可用等因素，當(dāng)某個數(shù)據(jù)庫的目標(biāo)數(shù)據(jù)下載不來時，可以去其他公共數(shù)據(jù)庫下載，因?yàn)檫@三者的數(shù)據(jù)是共享的。
- 問題來了，手動在不同的數(shù)據(jù)庫中檢索與下載目標(biāo)數(shù)據(jù)確實(shí)較為繁瑣。這時可以試試使用
Kingfisher來自動下載數(shù)據(jù)。
Kingfisher簡介
- Kingfisher是一個高通量測序數(shù)據(jù)下載工具，用戶提供Run accessions或者BioProject accessions，即可在ENA、SRA、Amazon AWS以及Google Cloud等數(shù)據(jù)庫中下載目標(biāo)數(shù)據(jù)。Kingfisher會嘗試從一系列的數(shù)據(jù)源進(jìn)行數(shù)據(jù)下載，直到某個源能夠work。
- 此外，還能根據(jù)用戶的需求將下載數(shù)據(jù)直接輸出為SRA、Fastq、Fasta或Gzip等格式，非常方便，不需要自己再對SRA數(shù)據(jù)通過fasterq-dump進(jìn)行拆分轉(zhuǎn)換。
Kingfisher安裝與使用
- 安裝
conda create -c conda-forge -c bioconda -n kingfisher pigz python extern curl sra-tools pandas requests aria2
conda activate kingfisher
#使用conda activate不能成功激活環(huán)境時可以嘗試使用：source activate kingfisher
pip install bird_tool_utils'>='0.2.17
git clone https://github.com/wwood/kingfisher-download
cd kingfisher-download/bin
export PATH=$PWD:$PATH
kingfisher -h
#彈出幫助文檔即安裝成功
- 下載數(shù)據(jù)
- 注意：如果只想下載某個確定的SRA數(shù)據(jù)，則使用-r參數(shù)，提供SRR Number即可，如SRR12042866；若是想批量下載某個BioProject中的所有數(shù)據(jù)，則可以使用-p參數(shù)，提供BioProject Number，如PRJNA640275或SRP267791。
kingfisher get -r SRP267791 -m ena-ascp ena-ftp prefetch aws-http
#-r Run number(s) to download/extract e.g. ERR1739691
#-p BioProject IDs number(s) to download/extract from e.g. PRJNA621514 or SRP260223
# -m ena-ascp、ena-ftp、prefetch、aws-http、aws-cp、gcp-cp
# --download-threads 線程數(shù)
- 數(shù)據(jù)下載源介紹（-m參數(shù)）
ena-ascp,調(diào)用Aspera從ENA中下載.fastq.gz數(shù)據(jù)
ena-ftp，調(diào)用curl從ENA中下載.fastq.gz數(shù)據(jù)
prefetch，調(diào)用prefetch從NCBI SRA數(shù)據(jù)庫中下載SRA數(shù)據(jù)，然后默認(rèn)使用fasterq-dump對其進(jìn)行拆分轉(zhuǎn)換
aws-http，調(diào)用aria2c從AWS Open Data Program中下載SRA數(shù)據(jù)，然后默認(rèn)使用fasterq-dump對其進(jìn)行拆分轉(zhuǎn)換
也就是說，如果是用的ENA源 直接下載的就是fastq，如果用的SRA或其他，那就是下載SRA數(shù)據(jù) 然后kingfisher再自動調(diào)用fasterq-dump轉(zhuǎn)換成fastq
- SRA格式轉(zhuǎn)換成fastq格式，調(diào)用fasterq-dump
kingfisher extract --sra SRR1574780.sra -t 20 -f fastq.gz
#-f,指定轉(zhuǎn)換輸出的文件格式，支持fastq,fastq.gz,fasta,fasta.gz
#-t，指定線程數(shù)
