GNU Wget 1.20.1,非交互式的網(wǎng)絡(luò)文件下載工具。
用法: wget [選項]... [URL]...
長選項所必須的參數(shù)在使用短選項時也是必須的。
啟動:
-V, --version 顯示 Wget 的版本信息并退出
-h, --help 打印此幫助
-b, --background 啟動后轉(zhuǎn)入后臺
-e, --execute=命令 運行一個“.wgetrc”風(fēng)格的命令
日志和輸入文件:
-o, --output-file=文件 將日志信息寫入 FILE
-a, --append-output=文件 將信息添加至 FILE
-d, --debug 打印大量調(diào)試信息
-q, --quiet 安靜模式 (無信息輸出)
-v, --verbose 詳盡的輸出 (此為默認(rèn)值)
-nv, --no-verbose 關(guān)閉詳盡輸出,但不進(jìn)入安靜模式
--report-speed=類型 以 <類型> 報告帶寬。類型可以是 bits
-i, --input-file=文件 下載本地或外部 <文件> 中的 URL
-F, --force-html 把輸入文件當(dāng)成 HTML 文件
-B, --base=URL 解析相對于 URL 的 HTML 輸入文件鏈接 (-i -F)
--config=文件 指定要使用的配置文件
--no-cookies 不讀取任何配置文件
--rejected-log=文件 將拒絕 URL 的原因?qū)懭?<文件>。
下載:
-t, --tries=數(shù)字 設(shè)置重試次數(shù)為 <數(shù)字> (0 代表無限制)
--retry-connrefused 即使拒絕連接也是重試
--retry-on-http-error=ERRORS 提供以逗號分隔的列表,列出遇到時進(jìn)行重試的 HTTP 錯誤
-O, --output-document=文件 將文檔寫入 FILE
-nc, --no-clobber 不要下載已存在將被覆蓋的文件
--no-netrc 不要嘗試從 .netrc 獲取憑據(jù)
-c, --continue 斷點續(xù)傳下載文件
--start-pos=偏移量 從由零計數(shù)的 <偏移量> 開始下載
--progress=類型 選擇進(jìn)度條類型
--show-progress 在任意啰嗦狀態(tài)下都顯示進(jìn)度條
-N, --timestamping 只獲取比本地文件新的文件
--no-if-modified-since 不要在時間戳 (timestamping) 模式下使用
if-modified-since get 條件請求
--no-use-server-timestamps 不用服務(wù)器上的時間戳來設(shè)置本地文件
-S, --server-response 打印服務(wù)器響應(yīng)
--spider 不下載任何文件
-T, --timeout=SECONDS 將所有超時設(shè)為 SECONDS 秒
--dns-timeout=SECS 設(shè)置 DNS 查尋超時為 SECS 秒
--connect-timeout=SECS 設(shè)置連接超時為 SECS 秒
--read-timeout=SECS 設(shè)置讀取超時為 SECS 秒
-w, --wait=SECONDS 等待間隔為 SECONDS 秒
--waitretry=SECONDS 在獲取文件的重試期間等待 1..SECONDS 秒
--random-wait 獲取多個文件時,每次隨機(jī)等待間隔 (0.5~1.5)*WAIT 秒
--no-proxy 禁止使用代理
-Q, --quota=數(shù)字 設(shè)置獲取配額為 <數(shù)字> 字節(jié)
--bind-address=ADDRESS 綁定至本地主機(jī)上的 ADDRESS (主機(jī)名或是 IP)
--limit-rate=RATE 限制下載速率為 RATE
--no-dns-cache 關(guān)閉 DNS 查詢緩存
--restrict-file-names=系統(tǒng) 限定文件名中的字符為 <系統(tǒng)> 允許的字符
--ignore-case 匹配文件/目錄時忽略大小寫
-4, --inet4-only 僅連接至 IPv4 地址
-6, --inet6-only 僅連接至 IPv6 地址
--prefer-family=地址族 首先連接至指定家族(IPv6,IPv4 或 none)的地址
--user=用戶 將 ftp 和 http 的用戶名均設(shè)置為 <用戶>
--password=密碼 將 ftp 和 http 的密碼均設(shè)置為 <密碼>
--ask-password 提示輸入密碼
--use-askpass=命令 指定用于請求用戶名和密碼的憑據(jù)管理器。
如果沒有提供指定命令,程序?qū)⑹褂?WGET_ASKPASS 或
SSH_ASKPASS 環(huán)境變量。
--no-iri 關(guān)閉 IRI 支持
--local-encoding=ENC 使用 ENC 作為 IRI (國際化資源標(biāo)識符) 的本地編碼
--remote-encoding=ENC 使用 ENC 作為默認(rèn)遠(yuǎn)程編碼
--unlink 覆蓋前移除文件
--xattr turn on storage of metadata in extended file attributes
目錄:
-nd, --no-directories 不創(chuàng)建目錄
-x, --force-directories 強(qiáng)制創(chuàng)建目錄
-nH, --no-host-directories 不要創(chuàng)建主 (host) 目錄
--protocol-directories 在目錄中使用協(xié)議名稱
-P, --directory-prefix=前綴 保存文件到 <前綴>/..
--cut-dirs=數(shù)字 忽略遠(yuǎn)程目錄中 <數(shù)字> 個目錄層。
HTTP 選項:
--http-user=用戶 設(shè)置 http 用戶名為 <用戶>
--http-password=密碼 設(shè)置 http 密碼為 <密碼>
--no-cache 不使用服務(wù)器緩存的數(shù)據(jù)。
--default-page=NAME 改變默認(rèn)頁 (通常是“index.html”)。
-E, --adjust-extension 以合適的擴(kuò)展名保存 HTML/CSS 文檔
--ignore-length 忽略頭部的‘Content-Length’區(qū)域
--header=字符串 在頭部插入 <字符串>
--compression=類型 選擇壓縮類型,值可以為 auto、gzip 和 none。(默認(rèn):none)
--max-redirect 每頁所允許的最大重定向
--proxy-user=用戶 使用 <用戶> 作為代理用戶名
--proxy-password=密碼 使用 <密碼> 作為代理密碼
--referer=URL 在 HTTP 請求頭包含‘Referer: URL’
--save-headers 將 HTTP 頭保存至文件。
-U, --user-agent=代理 標(biāo)識自己為 <代理> 而不是 Wget/VERSION。
--no-http-keep-alive 禁用 HTTP keep-alive (持久連接)。
--no-cookies 不使用 cookies。
--load-cookies=文件 會話開始前從 <文件> 中載入 cookies。
--save-cookies=文件 會話結(jié)束后保存 cookies 至 FILE。
--keep-session-cookies 載入并保存會話 (非永久) cookies。
--post-data=字符串 使用 POST 方式;把 <字串>作為數(shù)據(jù)發(fā)送。
--post-file=文件 使用 POST 方式;發(fā)送 <文件> 內(nèi)容。
--method=HTTP方法 在請求中使用指定的 <HTTP 方法>。
--post-data=字符串 把 <字串> 作為數(shù)據(jù)發(fā)送,必須設(shè)置 --method
--post-file=文件 發(fā)送 <文件> 內(nèi)容,必須設(shè)置 --method
--content-disposition 當(dāng)選擇本地文件名時允許 Content-Disposition
頭部 (實驗中)。
--content-on-error 在服務(wù)器錯誤時輸出接收到的內(nèi)容
--auth-no-challenge 不先等待服務(wù)器詢問就發(fā)送基本 HTTP 驗證信息。
HTTPS (SSL/TLS) 選項:
--secure-protocol=PR 選擇安全協(xié)議,值可以是 auto、SSLv2、
SSLv3、TLSv1、TLSv1_1、TLSv1_2 或 PFS
--https-only 只跟隨安全的 HTTPS 鏈接
--no-check-certificate 不要驗證服務(wù)器的證書。
--certificate=文件 客戶端證書文件。
--certificate-type=類型 客戶端證書類型,PEM 或 DER。
--private-key=文件 私鑰文件。
--private-key-type=類型 私鑰文件類型,PEM 或 DER。
--ca-certificate=文件 帶有一組 CA 證書的文件。
--ca-directory=DIR 保存 CA 證書的哈希列表的目錄。
--ca-certificate=文件 帶有一組 CA 證書的文件。
--pinnedpubkey=文件/散列值 用于驗證節(jié)點的公鑰(PEM/DER)文件或
任何數(shù)量的 sha256 散列值,以 base64 編碼、
“sha256//” 開頭、用“;”間隔
--random-file=文件 用于初始化 SSL 偽隨機(jī)數(shù)生成器(PRNG)的文件,
應(yīng)含有隨機(jī)數(shù)據(jù)
--ciphers=STR Set the priority string (GnuTLS) or cipher list string (OpenSSL) directly.
Use with care. This option overrides --secure-protocol.
The format and syntax of this string depend on the specific SSL/TLS engine.
HSTS 選項:
--no-hsts 禁用 HSTS
--hsts-file HSTS 數(shù)據(jù)庫路徑(將覆蓋默認(rèn)值)
FTP 選項:
--ftp-user=用戶 設(shè)置 ftp 用戶名為 <用戶>。
--ftp-password=密碼 設(shè)置 ftp 密碼為 <密碼>
--no-remove-listing 不要刪除‘.listing’文件
--no-glob 不在 FTP 文件名中使用通配符展開
--no-passive-ftp 禁用“passive”傳輸模式
--preserve-permissions 保留遠(yuǎn)程文件的權(quán)限
--retr-symlinks 遞歸目錄時,獲取鏈接的文件 (而非目錄)
FTPS 選項:
--ftps-implicit 使用隱式 FTPS(默認(rèn)端口 990)
--ftps-resume-ssl 打開數(shù)據(jù)連接時繼續(xù)控制連接中的 SSL/TLS 會話
--ftps-clear-data-connection 只加密控制信道;數(shù)據(jù)傳輸使用明文
--ftps-fallback-to-ftp 回落到 FTP,如果目標(biāo)服務(wù)器不支持 FTPS
WARC 選項:
--warc-file=文件名 在一個 .warc.gz 文件里保持請求/響應(yīng)數(shù)據(jù)
--warc-header=字符串 在頭部插入 <字符串>
--warc-max-size=數(shù)字 將 WARC 的最大尺寸設(shè)置為 <數(shù)字>
--warc-cdx 寫入 CDX 索引文件
--warc-dedup=文件名 不要記錄列在此 CDX 文件內(nèi)的記錄
--no-warc-compression 不要 GZIP 壓縮 WARC 文件
--no-warc-digests 不要計算 SHA1 摘要
--no-warc-keep-log 不要在 WARC 記錄中存儲日志文件
--warc-tempdir=目錄 WARC 寫入器的臨時文件目錄
遞歸下載:
-r, --recursive 指定遞歸下載
-l, --level=數(shù)字 最大遞歸深度 (inf 或 0 代表無限制,即全部下載)。
--delete-after 下載完成后刪除本地文件
-k, --convert-links 讓下載得到的 HTML 或 CSS 中的鏈接指向本地文件
--convert-file-only 只轉(zhuǎn)換 URL 的文件部分(一般叫做“基礎(chǔ)名”/basename)
--backups=N 寫入文件 X 前,輪換移動最多 N 個備份文件
-K, --backup-converted 在轉(zhuǎn)換文件 X 前先將它備份為 X.orig。
-m, --mirror -N -r -l inf --no-remove-listing 的縮寫形式。
-p, --page-requisites 下載所有用于顯示 HTML 頁面的圖片之類的元素。
--strict-comments 用嚴(yán)格方式 (SGML) 處理 HTML 注釋。
遞歸接受/拒絕:
-A, --accept=列表 逗號分隔的可接受的擴(kuò)展名列表
-R, --reject=列表 逗號分隔的要拒絕的擴(kuò)展名列表
--accept-regex=REGEX 匹配接受的 URL 的正則表達(dá)式
--reject-regex=REGEX 匹配拒絕的 URL 的正則表達(dá)式
--regex-type=類型 正則類型 (posix)
-D, --domains=列表 逗號分隔的可接受的域名列表
--exclude-domains=列表 逗號分隔的要拒絕的域名列表
--follow-ftp 跟蹤 HTML 文檔中的 FTP 鏈接
--follow-tags=列表 逗號分隔的跟蹤的 HTML 標(biāo)識列表
--ignore-tags=列表 逗號分隔的忽略的 HTML 標(biāo)識列表
-H, --span-hosts 遞歸時轉(zhuǎn)向外部主機(jī)
-L, --relative 僅跟蹤相對鏈接
-I, --include-directories=列表 允許目錄的列表
--trust-server-names 使用重定向 URL 的最后一段作為本地文件名
-X, --exclude-directories=列表 排除目錄的列表
-np, --no-parent 不追溯至父目錄
wget -c -6
-c,斷點續(xù)傳下載文件
-6, 僅連接至 IPv6 地址
prefetch使用方法
Usage:
prefetch [options] <SRA accession | kart file> [...]
Download SRA or dbGaP files and their dependencies
prefetch [options] <SRA file> [...]
Check SRA file for missed dependencies and download them
prefetch --list <kart file> [...]
List the content of a kart file
Options:
-T|--type
Specify file type to download. Default: sra
-t|--transport <value>
Transport: one of: fasp; http; both. (fasp only; http only; first try fasp (ascp), use http if cannot download using fasp). Default: both
-N|--min-size <size>
Minimum file size to download in KB (inclusive).
-X|--max-size <size>
Maximum file size to download in KB (exclusive). Default: 20G
-f|--force <value>
Force object download one of: no, yes, all. no [default]: skip download if the object if found and complete; yes: download it even if it is found and is complete; all: ignore lock files (stale locks or it is being downloaded by another process: use at your own risk!)
-p|--progress <value>
Time period in minutes to display download progress (0: no progress), default: 1
--eliminate-quals
Don't download QUALITY column
-c|--check-all
Double-check all refseqs
-l|--list
List the content of kart file
-n|--numbered-list
List the content of kart file with kart row numbers
-s|--list-sizes
List the content of kart file with target file sizes
-R|--rows <rows>
Kart rows to download (default all). row list should be ordered
-o|--order <value>
Kart prefetch order when downloading kart: one of: kart, size. (in kart order, by file size: smallest first), default: size
-a|--ascp-path <ascp-binary|private-key-file>
Path to ascp program and private key file (asperaweb_id_dsa.putty)
--ascp-options <value>
Arbitrary options to pass to ascp command line
-o|--output-file <FILE>
Write file to FILE when downloading single file
-O|--output-directory <DIRECTORY>
Save files to DIRECTORY/
-h|--help
Output brief explanation for the program.
-V|--version
Display the version of the program then quit.
-L|--log-level <level>
Logging level as number or enum string. One of (fatal|sys|int|err|warn|info|debug) or (0-6) Current/default is warn
-v|--verbose
Increase the verbosity of the program status messages. Use multiple times for more verbosity. Negates quiet.
-q|--quiet
Turn off all status messages for the program. Negated by verbose.
--option-file <file>
Read more options and parameters from the file.
prefetch : 2.9.6