之前老師給了我一個(gè)儲(chǔ)存RNA-seq和Ribo-seq數(shù)據(jù)的數(shù)據(jù)庫(kù)translatome db讓我在上面下數(shù)據(jù)，但是這個(gè)數(shù)據(jù)庫(kù)本身并不存儲(chǔ)測(cè)序數(shù)據(jù)，每一組數(shù)據(jù)需要點(diǎn)擊后面的鏈接，得到相應(yīng)的NCBI鏈接，再去根據(jù)鏈接自行下載：
這樣一個(gè)一個(gè)操作太過于麻煩，上千組數(shù)據(jù)可以點(diǎn)到畢業(yè)，所以必須用爬蟲爬取。記得當(dāng)年出于學(xué)習(xí)的目的用實(shí)驗(yàn)室電腦在P站上爬過1T的人體寫真，雖然這些圖片至今我一眼都沒看過，但我有一個(gè)朋友看了之后說(shuō)還不錯(cuò)。
言歸正傳，首先想到的是python自帶的requests庫(kù)：
看得出來(lái)作者也是個(gè)逗比。
我的目的很明確，爬取網(wǎng)站上左右Ribo-seq數(shù)據(jù)的SRR編號(hào)，方便轉(zhuǎn)化為下載鏈接。
首先，進(jìn)入網(wǎng)站包含SRR號(hào)碼的頁(yè)面，右鍵網(wǎng)頁(yè)，檢查元素，看看我們要的SSR號(hào)藏在哪里：
可以發(fā)現(xiàn)data-index代表不同的數(shù)據(jù)，而所有的信息就包含在不同的index里。看起來(lái)很簡(jiǎn)單。
- 第一步，加載包并設(shè)定網(wǎng)站url和請(qǐng)求頭：
import requests
import json
import pandas as pd
url = 'http://www.translatomedb.net/SWSYWS.asmx/searchExperimentalData'
header={'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:77.0) Gecko/20100101 Firefox/77.0',
'Host':'www.translatomedb.net',
'Content-Type': 'application/json; charset=UTF-8',
'Accept': 'application/json, text/javascript, */*; q=0.01',
'Accept-Encoding': 'gzip, deflate',
'Referer': 'http://www.translatomedb.net/searchDownload.html',
'Origin': 'http://www.translatomedb.net',
'Content-Type': 'application/json; charset=UTF-8',
'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
'X-Requested-With': 'XMLHttpRequest',
'Connection': 'keep-alive',
'Cookie':'Hm_lvt_db1e66967eaace6d18db99b987c0c0ee=1591430772,1591875677; Hm_lpvt_db1e66967eaace6d18db99b987c0c0ee=1591878733'}
- 第二步，發(fā)送請(qǐng)求
response = requests.get("https://www.baidu.com", headers=header)
但是使用正則表達(dá)式在返回的數(shù)據(jù)里沒有匹配到SRR編號(hào)，發(fā)現(xiàn)并沒有這些信息。也就是說(shuō)，我請(qǐng)求到的數(shù)據(jù)和檢查元素看到的數(shù)據(jù)并不一樣——requests.get()得到的數(shù)據(jù)不全。
后來(lái)發(fā)現(xiàn)，這個(gè)網(wǎng)站并非是靜態(tài)的html網(wǎng)頁(yè)，中間數(shù)據(jù)框的那一部分是渲染后的代碼，并不是原始url對(duì)應(yīng)的代碼。那么，怎么獲得中間的數(shù)據(jù)呢？
既然是動(dòng)態(tài)的，那就動(dòng)態(tài)分析，打開網(wǎng)絡(luò)監(jiān)控：
然后在網(wǎng)頁(yè)上點(diǎn)擊下一頁(yè)，發(fā)現(xiàn)有一個(gè)post請(qǐng)求：
點(diǎn)開這個(gè)請(qǐng)求，發(fā)現(xiàn)在我點(diǎn)擊的時(shí)候發(fā)送了如下數(shù)據(jù)：
那么就可以輕易的模擬出這個(gè)請(qǐng)求，網(wǎng)站一共291頁(yè)，我們就可以發(fā)送291次請(qǐng)求：
# 用于儲(chǔ)存ribo-seq數(shù)據(jù)的列表
ribo_dic = []
# 迭代發(fā)送請(qǐng)求，一共291頁(yè)
for j in range(1,291):
# 模擬請(qǐng)求
pyload = {"pageSize":20,
"pageNumber":j,
"offset":5780,
"sortName":"",
"sortOrder":"asc",
"experimental":{"ed_species":"",
"ed_cellLine_strain":"",
"ed_ecotype":"",
"ed_cell_tissue":"",
"ed_dataSetType":"",
"ed_instrument":"",
"ed_GEO":"",
"ed_SRA_No":"",
"ed_searchKey":"",
"ed_ffi_state":-3}}
# 得到返回值
r = requests.post(url,data=json.dumps(pyload),headers=header)
# 返回值為json格式的，進(jìn)行解析
result = r.json()
# 將解析結(jié)果轉(zhuǎn)換為字典
result_dic = dict(result)
# 選擇Ribo-seq數(shù)據(jù)
for i in result_dic['d']['rows']:
# 判斷是否為ribo-seq
if i['ed_dataSetType'] == 'ribosome footprints' or i['ed_dataSetType'] == 'ribosome footprint' or i['ed_dataSetType'] == 'RPF':
ribo_dic.append(i)
# 保存所有信息
table = pd.DataFrame(ribo_dic)
# 丟棄不需要的信息
table = table.drop(['__type', 'ed_id', 'ed_sp_id'], axis=1)
table.to_csv('./result.csv')
- 轉(zhuǎn)換為下載鏈接
EBL下載鏈接有三種，可以都輸出到下載腳本里，總有一個(gè)是對(duì)的。
#!usr/bin/python3
import argparse
def readfile(file):
link_1 = []
link_2 = []
link_3 = []
command = 'wget -nc '
forward = 'ftp://ftp.sra.ebi.ac.uk/vol1/fastq/'
back = '.fastq.gz &'
list_1 = []
for i in file:
list_1.append(i.strip('\n'))
for i in list_1:
link_1.append(command + forward + str(i[0:6]) + '/' + str(i) + '/' + str(i) + back)
link_2.append(command + forward + str(i[0:6]) + '/0' + str(i[-2:]) + '/' + str(i) + '/' + str(i) + back)
link_3.append(command + forward + str(i[0:6]) + '/00' + str(i[-1:]) + '/' + str(i) + '/' + str(i) + back)
final_list = link_2 + link_1 + link_3
return final_list
def writefile(x):
f1 = open('result.sh', 'w+')
for i in x:
f1.write(i)
f1.write('\n')
f1.close()
if __name__ == '__main__':
parse = argparse.ArgumentParser('Generate url link of EBI from SRRid')
parse.add_argument('-f', dest='file', required=True, help='SRRid file')
arg = parse.parse_args()
file = open(arg.file)
f_list = readfile(file)
writefile(f_list)
這里的-f是每行包含一個(gè)SRR號(hào)的文件。直接批量生成下載腳本。
