作者luenchang (luen)
看板Linux
标题[问题] wget同时下载固定数目的档案
时间Fri Feb 26 13:57:20 2021
请教 linux, bash的先进、专家。我需要下载一些 gene data sets. 在网上找到了用
cat file | xargs wget 这样的 commands. 但是研究单位里要求一次只能同时下载8个
档案,第一批8个档案下载完,再接着下载第2批8个档案,直到所有档案下载。请教一下
以下问题
(1) 不知道我以下的code要如何改,才能一次顶多下载8个档案?
(2) 如果有些档案已经先部分下载了,用 wget --continue是否可以重启下载?
(3) 如果有些档案已经先完全下载了,该如何避免重复下载?
以下是我的code. cat接的档案是下载档案的路径。这一个有63个路径。其他的还有几百
个。
# Change current directory to the output folder
cd ${dir_PRJNA579178}
cat ${dir_PRJNA579178}/data-access-download-links_no-header.tsv | wc -l
# 63
# Change end of file symbol to Linux
dos2unix data-access-download-links_no-header.tsv
# Download files in current directory without having to specify output file
paths
## xargs -n 1: cat will pass one argument at a time (-n 1) to wget
## xargs -P 8 wget: execute at most 8 parallel wget processes at a time (-P 8)
cat data-access-download-links_no-header.tsv | xargs -n 1 -P 8 wget
--limit-rate=2m
感谢指教
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 110.174.219.126 (澳大利亚)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Linux/M.1614319042.A.97F.html
1F:推 filiaslayers: 比较简单就是把档案分成8份,开8个shell,每个shell 02/26 14:30
2F:→ filiaslayers: 一次抓一个,那就会最多8个了 02/26 14:30