everyday:linux curl
[TOC]
功能说明
- curl 是一个功能强大的网络工具，能够通过 http、ftp 等方式下载文件，也能够上传文件．类似的工具还有wget。
- curl 使用了
libcurl库来实现，此库常用在C程序中，用来处理HTTP请求，curlpp 是 libcurl的一个C++封装，这几个东西可以用在抓取网页、网络监控等方面的开发，而 curl 命令可以帮助来解决开发过程中遇到的问题。
命令详解
-
命令格式
curl [参数] [URL地址]
-
命令功能
通过 http、ftp 等方式下载文件，也能够上传文件，其实 curl 远不止这些功能。
-
命令参数
-A 随意指定自己这次访问所宣称的自己的浏览器信息
-b/--cookie <name=string/file> cookie字符串或文件读取位置，使用option来把上次的cookie信息追加到http request里面去
-c/--cookie-jar <file> 操作结束后把cookie写入到这个文件中
-C/--continue-at <offset> 断点续转
-d/--data <data> HTTP POST方式传送数据
-D/--dump-header <file> 把header信息写入到该文件中
-F/--form <name=content> 模拟http表单提交数据
-v/--verbose 小写的v参数，用于打印更多信息，包括发送的请求信息，这在调试脚本是特别有用。
-m/--max-time <seconds> 指定处理的最大时长
-H/--header <header> 指定请求头参数
-s/--slient 减少输出的信息，比如进度
--connect-timeout <seconds> 指定尝试连接的最大时长
-x/--proxy <proxyhost[:port]> 指定代理服务器地址和端口，端口默认为1080
-T/--upload-file <file> 指定上传文件路径
-o/--output <file> 指定输出文件名称
--retry <num> 指定重试次数
-e/--referer <URL> 指定引用地址
-I/--head 仅返回头部信息，使用HEAD请求
-u/--user <user[:password]> 设置服务器的用户和密码
-O 按照服务器上的文件名，自动存在本地
-r/--range <range> 检索来自HTTP/1.1或FTP服务器字节范围
-T/--upload-file <file> 上传文件
-
举例
- eg1 抓取页面内容到一个文件中
// 将百度首页内容抓到 home.html 中
curl -o home.html http://baidu.com
// 由于A/B下的文件名都是001，002...，201，下载下来的文件重名，这样，自定义出来下载下来的文件名，就变成了这样：原来： A/001.JPG —-> 下载后： 001_A.JPG 原来： B/001.JPG ---> 下载后： 001_B.JPG
curl -o #2_#1.jpg http://cgi2.tky.3web.ne.jp/~{A,B}/[001-201].JPG
+ eg2 用-O（大写的），后面的url要具体到某个文件，不然抓不下来。还可以用正则来抓取东西
curl -O http://www.baidu.com/img/bdlogo.gif
// 用正则下载screen1.jpg~screen10.jpg
curl -O http://XXXXX/screen[1-10].JPG
+ eg3 模拟表单信息，模拟登录，保存cookie信息
curl -c ./cookie_c.txt -F log=aaa -f pwd=*** http://www.XXXX.com/wp-login.php
+ eg4 模拟表单信息，模拟登录，保存头信息
// -c(小写)产生的cookie和-D里面的cookie是不一样的
curl -D ./cookie_D.txt -F log=aaa -f pwd=*** http://www.XXXX.com/wp-login.php
+ eg5 使用cookie文件
curl -b ./cookie_c.txt http://www.XXXX.com/wp-admin
+ eg6 断点续传，-C(大写)
curl -C -O http://www.baidu.com/img/bdlogo.gif
+ eg7 传送数据,最好用登录页面测试，因为你传值过去后，curl回抓数据，你可以看到你传值有没有成功
curl -d log=aaa http://www.XXXX.com/wp-login.php
+ eg8 显示抓取错误 `curl -f url`
curl -f http://www.XXXX.com/asdf
+ eg9 伪造来源地址，有的网站会判断，请求来源地址，防止盗链
curl -e http://localhost http://www.XXXX.com/wp-login.php
+ eg10 当经常用curl去搞人家东西的时候，人家会把你的IP给屏蔽掉的,这个时候,我们可以用代理
curl -x 24.10.28.84:32779 -o home.html http://www.XXXX.com
+ eg11 比较大的东西，我们可以分段下载
curl -r 0-100 -o img.part1 http://www.XXXX.com/wp-content/uploads/2010/09/compare_varnish.jpg
curl -r 100-200 -o img.part2 http://www.XXXX.com/wp-content/uploads/2010/09/compare_varnish.jpg
curl -r 200- -o img.part3 http://www.XXXX.com/wp-content/uploads/2010/09/compare_varnish.jpg
ls | grep part | xargs du -sh
cat image.part* > img.jpg
+ eg12 不显示下载进度信息 `curl -s`
curl -s -o aaa.jpg http://www.baidu.com/img/bdlogo.gif
+ eg13 显示下载进度条 `curl -0`
// 以http1.0协议请求
curl -0 http://www.baidu.com/img/bdlogo.gif
+ eg14 通过 ftp 下载文件
curl -u 用户名:密码 -O http://www.XXXX.com/demo/curtain/bbstudy_files/style.css
curl -O ftp://用户名:密码@ip:port/demo/curtain/bbstudy_files/style.css
// ftp 上传
curl -T test.sql ftp://用户名:密码@ip:port/demo/curtain/bbstudy_files/
+ eg15 模拟浏览器头
curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.www.baidu.com
+ eg16 HTTP method: `PUT`、`GET`、`POST`
// HTTP PUT method
curl -T file.txt http://cgi2.tky.3web.ne.jp/~zz/abc.cgi
// http提交一个表单，比较常用的是POST模式和GET模式
// GET模式什么option都不用，只需要把变量写在url里面就可以了
curl http://www.yahoo.com/login.cgi?user=nick&password=12345
// POST模式的option则是 -d
curl -d "user=nick&password=12345" http://www.yahoo.com/login.cgi
# 一点需要注意的是，POST模式下的文件上的文件上传，比如
<form method="POST" enctype="multipar/form-data" action="http://cgi2.tky.3web.ne.jp/~zz/up_file.cgi">
<input type=file name=upload>
<input type=submit name=nick value="go">
</form>
这样一个HTTP表单，我们要用curl进行模拟，就该是这样的语法：
curl -F upload=@localfile -F nick=go http://cgi2.tky.3web.ne.jp/~zz/up_file.cgi
> 到底该用GET模式还是POST模式，要看对面服务器的程序设定。
