curl命令是一个利用URL规则在命令行下工作的文件传输工具。它支持文件的上传和下载,所以是综合传输工具,但按传统,习惯称curl为下载工具。作为一款强力工具,curl支持包括HTTP、HTTPS、ftp等众多协议,还支持POST、cookies、认证、从指定偏移处下载部分文件、用户代理字符串、限速、文件大小、进度条等特征。做网页处理流程和数据检索自动化,curl可以祝一臂之力。

1.安装

yum install curl

2.语法

curl(选项)(参数)

3.选项

选项描述
-a/–append上传文件时,附加到目标文件
-A/–user-agent 设置用户代理发送给服务器
 -anyauth可以使用“任何”身份验证方法
-b/–cookie <name=string/file>cookie字符串或文件读取位置
 –basic使用HTTP基本验证
-B/–use-ascii使用ASCII /文本传输
-c/–cookie-jar 操作结束后把cookie写入到这个文件中
-C/–continue-at 断点续传
-d/–data HTTP POST方式传送数据
 –data-ascii 以ascii的方式post数据
 –data-binary 以二进制的方式post数据
 –negotiate使用HTTP身份验证
 –digest使用数字身份验证
 –disable-eprt禁止使用EPRT或LPRT
 –disable-epsv禁止使用EPSV
-D/–dump-header 把header信息写入到该文件中
 –egd-file 为随机数据(SSL)设置EGD socket路径
 –tcp-nodelay使用TCP_NODELAY选项
-e/–referer来源网址
-E/–cert <cert[:passwd]>客户端证书文件和密码 (SSL)
 –cert-type 证书文件类型 (DER/PEM/ENG) (SSL)
 –key 私钥文件名 (SSL)
 –key-type 私钥密码 (SSL)
 –pass私钥密码 (SSL)
 –engine 加密引擎使用 (SSL). “–engine list” for list
 –cacert CA证书 (SSL)
 –capath CA目录 (made using c_rehash) to verify peer against (SSL)
 –ciphersSSL密码
 –compressed要求返回是压缩的形势 (using deflate or gzip)
 –connect-timeout 设置最大请求时间
 –create-dirs建立本地目录的目录层次结构
 –crlf上传是把LF转变成CRLF
-f/–fail连接失败时不显示http错误
 –ftp-create-dirs如果远程目录不存在,创建远程目录
 –ftp-method [multicwd/nocwd/singlecwd]控制CWD的使用
 –ftp-pasv使用 PASV/EPSV 代替端口
 –ftp-skip-pasv-ip使用PASV的时候,忽略该IP地址
 –ftp-ssl尝试用 SSL/TLS 来进行ftp数据传输
 –ftp-ssl-reqd要求用 SSL/TLS 来进行ftp数据传输
-F/–form <name=content>模拟http表单提交数据
 –form-string <name=string>模拟http表单提交数据
-g/–globoff禁用网址序列和范围使用{}和[]
-G/–get以get的方式来发送数据
-H/–header自定义头信息传递给服务器
 –ignore-content-length忽略的HTTP头信息的长度
-i/–include输出时包括protocol头信息
-I/–head只显示请求头信息
-j/–junk-session-cookies读取文件进忽略session cookie
 –interface 使用指定网络接口/地址
 –krb4 使用指定安全级别的krb4
-k/–insecure允许不使用证书到SSL站点
-K/–config指定的配置文件读取
-l/–list-only列出ftp目录下的文件名称
 –limit-rate 设置传输速度
 –local-port强制使用本地端口号
-m/–max-time 设置最大传输时间
 –max-redirs 设置最大读取的目录数
 –max-filesize 设置最大下载的文件总量
-M/–manual显示全手动
-n/–netrc从netrc文件中读取用户名和密码
 –netrc-optional使用 .netrc 或者 URL来覆盖-n
 –ntlm使用 HTTP NTLM 身份验证
-N/–no-buffer禁用缓冲输出
-o/–output把输出写到该文件中
-O/–remote-name把输出写到该文件中,保留远程文件的文件名
-p/–proxytunnel使用HTTP代理
 –proxy-anyauth选择任一代理身份验证方法
 –proxy-basic在代理上使用基本身份验证
 –proxy-digest在代理上使用数字身份验证
 –proxy-ntlm在代理上使用ntlm身份验证
-P/–ftp-port <address>使用端口地址,而不是使用PASV
-q作为第一个参数,关闭 .curlrc
-Q/–quote 文件传输前,发送命令到服务器
-r/–range 检索来自HTTP/1.1或FTP服务器字节范围
 –range-file读取(SSL)的随机文件
-R/–remote-time在本地生成文件时,保留远程文件时间
 –retry 传输出现问题时,重试的次数
 –retry-delay 传输出现问题时,设置重试间隔时间
 –retry-max-time 传输出现问题时,设置最大重试时间
-s/–silent静默模式。不输出任何东西
-S/–show-error显示错误
 –socks4 <host[:port]>用socks4代理给定主机和端口
 –socks5 <host[:port]>用socks5代理给定主机和端口
 –stderr  
-t/–telnet-option <OPT=val>Telnet选项设置
 –trace 对指定文件进行debug
 –trace-ascii Like –跟踪但没有hex输出
 –trace-time跟踪/详细输出时,添加时间戳
-T/–upload-file 上传文件
 –url Spet URL to work with
-u/–user <user[:password]>设置服务器的用户和密码
-U/–proxy-user <user[:password]>设置代理用户名和密码
-w/–write-out [format]什么输出完成后
-x/–proxy <host[:port]>在给定的端口上使用HTTP代理
-X/–request 指定什么命令
-y/–speed-time弃限速所要的时间,默认为30
-Y/–speed-limit停止传输速度的限制,速度时间

4.实例

只打印响应头部信息

通过-I或者-head可以只打印出HTTP头部信息

curl -I http://man.linuxde.net

HTTP/1.1 200 OK
Server: nginx/1.2.5
date: Mon, 10 Dec 2012 09:24:34 GMT
Content-Type: text/html; charset=UTF-8
Connection: keep-alive
Vary: Accept-Encoding
X-Pingback: http://man.linuxde.net/xmlrpc.php

用curl进行认证

使用curl选项 -u 可以完成HTTP或者FTP的认证,可以指定密码,也可以不指定密码在后续操作中输入密码:

curl -u user:pwd http://man.linuxde.net
curl -u user http://man.linuxde.net

用curl设置cookies

使用–cookie “COKKIES”选项来指定cookie,多个cookie使用分号分隔:

curl http://man.linuxde.net --cookie "user=root;pass=123456"

将cookie另存为一个文件,使用–cookie-jar选项:

curl URL --cookie-jar cookie_file

用curl设置用户代理字符串

有些网站访问会提示只能使用IE浏览器来访问,这是因为这些网站设置了检查用户代理,可以使用curl把用户代理设置为IE,这样就可以访问了。使用–user-agent或者-A选项:

curl URL --user-agent "Mozilla/5.0"
curl URL -A "Mozilla/5.0"

其他HTTP头部信息也可以使用curl来发送,使用-H”头部信息” 传递多个头部信息,例如:

curl -H "Host:man.linuxde.net" -H "accept-language:zh-cn" URL

linux指令

awk 指令 kill 指令 ps 指令 tree 指令 curl 指令 rpm 指令 find 指令 unzip 指令