Linux工具之curl与wget高级使用

Linux工具之curl与wget高级使用

1、curl(文件传输工具)

常用参数如下:
-c,--cookie-jar:将cookie写入到文件
-b,--cookie:从文件中读取cookie
-C,--continue-at:断点续传
-d,--data:http post方式传送数据
-D,--dump-header:把header信息写入到文件
-F,--from:模拟http表达提交数据
-s,--slient:减少输出信息
-o,--output:将信息输出到文件
-O,--remote-name:按照服务器上的文件名,存在本地
--l,--head:仅返回头部信息
-u,--user[user:pass]:设置http认证用户和密码
-T,--upload-file:上传文件
-e,--referer:指定引用地址
-x,--proxy:指定代理服务器地址和端口
-w,--write-out:输出指定格式内容
--retry:重试次数
--connect-timeout:指定尝试连接的最大时间/s

使用示例
例1:抓取页面到指定文件,如果有乱码可以使用iconv转码
# curl -o baidu.html www.baidu.com
# curl –s –o baidu.html www.baidu.com |iconv -f utf-8  #减少输出信息
例2:模拟浏览器头(user-agent)
# curl -A "Mozilla/4.0 (compatible;MSIE 6.0; Windows NT 5.0)" www.baidu.com
例3:处理重定向页面
# curl –L http://192.168.1.100/301.php  #默认curl是不处理重定向
例4:模拟用户登陆,保存cookie信息到cookies.txt文件,再使用cookie登陆
# curl -c ./cookies.txt -F NAME=user -F PWD=***URL            #NAME和PWD是表单属性不同,每个网站基本都不同
# curl -b ./cookies.txt –o URL
例5:获取HTTP响应头headers
# curl -I http://www.baidu.com
# curl -D ./header.txt http://www.baidu.com  #将headers保存到文件中
例6:访问HTTP认证页面
# curl –u user:pass URL
例7:通过ftp上传和下载文件
# curl -T filename ftp://user:pass@ip/docs  #上传
# curl -O ftp://user:pass@ip/filename  #下载

2、wget(文件下载工具)

常用参数如下:
2.1 启动参数
-V,--version:显示版本号
-h,--help:查看帮助
-b,--background:启动后转入后台执行
2.2 日志记录和输入文件参数
-o,--output-file=file:把记录写到file文件中
-a,--append-output=file:把记录追加到file文件中
-i,--input-file=file:从file读取url来下载
2.3 下载参数
-bind-address=address:指定本地使用地址
-t,-tries=number:设置最大尝试连接次数
-c,-continue:接着下载没有下载完的文件
-O,-output-document=file:将下载内容写入到file文件中
-spider:不下载文件
-T,-timeout=sec:设置响应超时时间
-w,-wait=sec:两次尝试之间间隔时间
--limit-rate=rate:限制下载速率
-progress=type:设置进度条
2.4 目录参数
-P,-directory-prefix=prefix:将文件保存到指定目录
2.5 HTTP参数
-http-user=user:设置http用户名
-http-passwd=pass:设置http密码
-U,--user-agent=agent:伪装代理
-no-http-keep-alive:关闭http活动链接,变成永久链接
-cookies=off:不使用cookies
-load-cookies=file:在开始会话前从file文件加载cookies
-save-cookies=file:在会话结束将cookies保存到file文件
2.6 FTP参数
-passive-ftp:默认值,使用被动模式
-active-ftp:使用主动模式
2.7 递归下载排除参数
-A,--accept=list:分号分割被下载扩展名的列表
-R,--reject=list:分号分割不被下载扩展名的列表
-D,--domains=list:分号分割被下载域的列表
--exclude-domains=list:分号分割不被下载域的列表

使用示例
例1:下载单个文件到当前目录下,也可以-P指定下载目录
# wgethttp://nginx.org/download/nginx-1.8.0.tar.gz
例2:对于网络不稳定的用户可以使用-c和--tries参数,保证下载完成
# wget --tries=20 -c http://nginx.org/download/nginx-1.8.0.tar.gz
例3:下载大的文件时,我们可以放到后台去下载,这时会生成wget-log文件来保存下载进度
# wget -b http://nginx.org/download/nginx-1.8.0.tar.gz
例4:可以利用—spider参数判断网址是否有效
# wget --spider http://nginx.org/download/nginx-1.8.0.tar.gz
例5:自动从多个链接下载文件
# cat url_list.txt  #先创建一个URL文件
http://nginx.org/download/nginx-1.8.0.tar.gz
http://nginx.org/download/nginx-1.6.3.tar.gz
# wget -i url_list.txt
例6:限制下载速度
# wget --limit-rate=1m http://nginx.org/download/nginx-1.8.0.tar.gz
例7:登陆ftp下载文件
# wget --ftp-user=user --ftp-password=pass ftp://ip/filename

Ubuntu 用户安装下载器 cURL 7.36.0  http://www.linuxidc.com/Linux/2014-05/102269.htm

Linux curl使用简单介绍 http://www.linuxidc.com/Linux/2008-01/10891.htm

Unix下Curl的使用方法及常用功能记录分享 http://www.linuxidc.com/Linux/2012-08/69154.htm

curl命令使用 http://www.linuxidc.com/Linux/2014-09/107018.htm

Linux wget命令详解 http://www.linuxidc.com/Linux/2012-08/67837.htm

Linux 下使用 wget/aria2 进行离线迅雷批量下载 http://www.linuxidc.com/Linux/2011-10/46052.htm

Linux使用wget请求地址时报错 http://www.linuxidc.com/Linux/2011-07/39345.htm

Linux下载命令wget使用详解 http://www.linuxidc.com/Linux/2011-01/30980.htm

wget 使用大全 http://www.linuxidc.com/Linux/2008-09/15722.htm

Linux 命令行下载工具 wget 的使用技巧 http://www.linuxidc.com/Linux/2007-10/8293.htm

wget 命令实例 http://www.linuxidc.com/Linux/2014-10/108733.htm

Linux工具之curl与wget高级使用
更多相关文章
  • 安装CURL是点击非常的简单特别是在windows中,下面我们来看在Linux下安装CURL教程步骤,希望下文能够对各位有帮助.在折腾whmcs的时候发现需要安装cURL,这个呢就不做过多的介绍了cURL 是一个利用URL语法规定来传输文件和数据的工具,支持很多协议,如HTTP.FTP.TELNET ...
  • linux中shell curl命令可以检测网站的一个状态码了,从而我们可以利用这个代码来判断网站是否运行正常了,下面来看一下例子.通过curl的-w参数我们可以自定义curl的输出,%{http_code}代表http状态码 代码如下 # curl -I -m 10 -o /dev/null -s ...
  • Linux 工具 PowerTop 2.0 Beta 发布
    PowerTOP 是一个让 Intel 平台的笔记本电脑节省电源的 Linux 工具.此工具由 Intel 公司发布.它可以帮助用户找出那些耗电量大的程序,通过修复或者关闭那些应用程序或进程,从而为用户节省电源.PowerTOP 要求 Linux 内核开启 tickless idle 功能,具备 2 ...
  • ARM926的Linux工具链的制作和测试
    ARM926的Linux工具链的制作(续 : 基于uclibc),用uClibc代替了Glibc.下载的代码目录 root: /home/lake/arm-uclibc-linux目标目录dir: /home/lake/arm-uclibc-linux/uclibc-tools1. 准备工作:下载 ...
  • linux中通过curl命令绑定host访问网页的方法: 例子: 假设访问页面地址为: http://www.abc.com/test.jsp www.abc.com 域名解析到ip: 192.168.0.1 则curl访问方式为如下: curl -H "Host:www.abc.com& ...
  • Gow是GnuOnWindows的缩写:windows运行Linux工具
    ow是一个轻量级的Cygwin替代软件, 它能做的事情是给Liunx软件提供一个Windows系统上的运行环境.Gow是Gnu On Windows的缩写,它跟传统的具有相同功能的Cygwin软件比起来的特点是体积小,Cygwin动辄能达到上百种,而它的体积不到10MB,但里面却集成了Liunx环境 ...
  • Linux下利用curl监控web应用状态
    curl只返回服务器响应状态,不返回内容,返回200是正常的,其它的不正常,简单的命令如下:[linuxidc@localhost ~]$ echo `curl -o /dev/null -s -m 10 --connect-timeout 10 -w %{http_code} "http ...
  • 1. make工具 利用make工具可以自动完成编译工作,这些工作包括: 如果修改了某几个源文件,则只重新编译这几个源文件 如果某个头文件被修改了,则重新编译所有包含该头文件的源文件 利用这种自动编译可以大大简化开发工作,避免不必要的重新编译.make工具通过一个称为Makefile的文件来完成并自 ...
一周排行
  • 伴随 Ubuntu 12.10 新版本发行的 T 恤和帽子已经开卖
    Ubuntu 12.10 过不了几天就发布了,各个方面也都积极准备着这次新版本的发布,Ub ...
  • PrBoom 2.5.0 发布,3D 射击游戏
    距离上一个版本的发布到现在已经有两年时间了,此次我们非常高兴的宣布 PrBoom 2.5. ...
  • Android2.3修改ethernet默认为不选中状态
    网上移植ethernet框架的文章很多,这里就不多说了,主要说下如何修改默认状态.如下就简 ...
  • 苹果电脑发布最新高科技产品iLaunch
        众人期盼已久的苹果电脑(Apple Computer Inc.)新产品,iLaun ...
  • Arch GNU/Linux 移植运行 FreeBSD 内核
    类似运行Freebsd内核的Debian GNU/kFreebsd项目和Gentoo/Fr ...
  • Tags