wget
wget是linux自带的下载工具,支持FTP和HTTP等,使用比较方便。
命令参数:
-O 指定输出名称
-c 断点续传
-b 后台模式,使用‘tail -f wget-log’,查看过程
--user-agent 指定发送请求时,请求头header部分
-i 下载保存在文本中连接
wget https://pjreddie.com/media/files/papers/YOLOv3.pdf #直接下载
wget -O yolov3.pdf https://pjreddie.com/media/files/papers/YOLOv3.pdf #下载并指定输出名称
wget -b https://pjreddie.com/media/files/papers/YOLOv3.pdf
tail -f wget-log #设置后台模式
mwget
mwget是仿照wget,但是解决了wget只能单线程下载文件的尴尬局面,与wget使用的方法基本一致,只是多了 ’-n’ 指定多线程的选项。但是mwget并不是系统自带的,需要另外下载。
- 下载mwget源文件
wget http://jaist.dl.sourceforge.net/project/kmphpfm/mwget/0.1/mwget_0.1.0.orig.tar.bz2
#可能会报错,这个是外网,有可能连接不上,可下载好,后上传文件。
- 进入相应目录
cd mwget_0.1.0.orig
- 进行环境确认
./configure
可能的报错:
configure: error: Your intltool is too old. You need intltool 0.35.0 or later.
- 更新intltool
sudo apt-get install intltool #需要管理员权限,在ubuntu系统
sudo yum install intltool #需要管理员权限,在centOS系统
- 重新确认环境
./configure --prefix=/home #注意是家目录的绝对路径
- 进行编译
make
- 进行安装
make install
- 测试是否能够使用
mwget -h
输出如下:
GNU MWget 0.1.0 ,一个非交互式多线程可移植的网络文件下载工具。
用法: mwget [选项]....[URL]
选项:
-b, --debug 调试模式,显示调试信息
-c, --count=num 设置重试次数为[num],不限制次数设置为“0“,默认设置为“99”。
-d, --directory=dir 设置本地目录为[dir],默认值为当前目录。
-f, --file=file 重命名下载后文件为[file]
-h, --help 显示帮助信息。
-i, --interval=num 设置FTP重试期限为[num]秒,默认为“5“。
-n, --number=num 设置下载的线程数,默认开4个线程。
-r, --referer=URL 使用“Referer: [URL]”在HTTP头中欺骗服务器。
-t, --timeout=num 设置超时时间为[num]秒,默认设置是“30”。
-v, --version 显示mwget的版本,然后退出。
-x, --proxy=URL 设置代理 [URL]
- 如进行8进程的下载:
mwget -n 8 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.3.1-Linux-x86_64.sh
axel
axel 是Linux下一个不错的HTTP/ftp高速下载工具。支持多线程下载、断点续传,且可以从多个地址或者从一个地址的多个连接来下载同一个文件。并且默认支持断点续传。默认linux中没有安装。
- 安装:
apt-get install axel
- 测试是否安装成功:
axel -h
axel命令参数:
-n 设置多线程的个数
-o 指定输出文件
-a 文本式进度指示器
-q 静默模式
- 示例:
axel -n 1 \
http://www.pjreddie.com/media/files/instances_train-val2014.zip
- axel 出现 太多重定向 的问题:似乎是版本问题,清华源有2.16的版本,没有这个问题
- 文本式进度指示器(-a 选项):输出不再刷屏
axel -a http://www.pjreddie.com/media/files/instances_train-val2014.zip
- 静默模式:没有输出了。
axel -q http://www.pjreddie.com/media/files/instances_train-val2014.zip