侧边栏壁纸
博主头像
落叶人生博主等级

走进秋风,寻找秋天的落叶

  • 累计撰写 130562 篇文章
  • 累计创建 28 个标签
  • 累计收到 9 条评论
标签搜索

目 录CONTENT

文章目录

wget

2023-05-15 星期一 / 0 评论 / 0 点赞 / 80 阅读 / 9866 字

目录:  1.基本语法   2.下载特定的链接 1.语法1.1.选项选项默认值备注-V版本信息-b后台执行-e command执行命令-o logfile--output-file=标准错误输出执行过

.


目录:
  1.基本语法
  2.下载特定的链接


1.语法


1.1.选项


选项
默认值
备注
-V

版本信息
-b

后台执行
-e command

执行命令

-o logfile

--output-file=

标准错误输出
执行过程写到文件
-a logfile

输出追加到文件

-B URL

--base=URL


使用相对路径的基
--config=FILE
.wgetrc

-t number

--tries=number

20

设定为0,或'inf'代表尝试无限次。

连接决绝时,不尝试。

-O file

--output-ducument=


下载文件写到file

-c

--continue


继续未完成的下载

-4

--inet4-only

-6

--inet6-only


选择网络层协议

--prefer-family=

none/IPv4/IPv6


哪个有限选择

--user=user

--password=password

--ftp-user

--ftp-password

--http-user

--http-password


指定用户名、密码
-nd

不创建目录结构

同名文件、或同一文件多次下载,会备份旧文件。

-x
命令默认选项

创建目录结构

同名文件直接覆盖

-nH

创建目录时,不创建“域名目录”

-P prefix

--directory-prefix=prefix

.
输出时的基目录

-E

--adjust-extension


URL末尾不匹配‘/.[Hh][Tt][Mm][Ll]?’时,自动添加扩展名。
-r
5
递归检索(开关)

-l depth

--level=depth

5
递归检索深度(开关量)

-k

--convert-links


扩展链接可用,包括超链接、嵌入的图片、样式表、非html的超链接内容。

-p

--page-requisi


下载正确显示所需的文件,图片、声音、样式表等。



1.2.示例

  下载后的文件名

[view@tri tmp]$ wget -q http://sunnybay.blog.51cto.com/2249903/1386234[view@tri tmp]$ ll-rw-rw-r-- 1 work work 66840 Jul  2 11:23 1386234下载只有路径不带默认文件名的URL,需要指定文件名①:[view@tri tmp]$ wget http://sunnybay.blog.51cto.com/2249903/1386234 -o o.file -O index.html[view@tri tmp]$ ll-rw-rw-r-- 1 work work 66840 Jul  2 11:12 index.html-rw-rw-r-- 1 work work   562 Jul  2 11:12 o.file[view@tri tmp]$ wget -q http://sunnybay.blog.51cto.com/2249903/1386234/[view@tri tmp]$ ll-rw-rw-r-- 1 work work 68386 Jul  2 11:37 index.html

  目录结构

[view@tri tmp]$ wget -x -q http://sunnybay.blog.51cto.com/[view@tri tmp]$ lldrwxrwxr-x 2 work work 4096 Jul  2 11:48 sunnybay.blog.51cto.com[view@tri tmp]$ ll sunnybay.blog.51cto.com/-rw-rw-r-- 1 work work 53192 Jul  2 11:48 index.html可以在程序中测试$WGET -P $TMPDIR -nd -q $URL$WGET -P $TMPDIR -x -q $URL

  添加扩展名

[view@tri tmp]$ wget -E -q http://sunnybay.blog.51cto.com/2249903/1386234[view@tri tmp]$ lltotal 76-rw-rw-r-- 1 work work 70331 Jul  2 13:06 1386234.html

  下载一个可用的web页

下载了正确显示所需的文件[view@tri tmp]$ wget -p http://www.gnu.org/software/wget/manual/wget.html[view@tri tmp]$ tree.└── www.gnu.org    ├── robots.txt    ├── software    │   ├── gnulib    │   │   └── manual.css    │   └── wget    │       └── manual    │           └── wget.html    └── style.css5 directories, 4 files举例,当文档1包含图片1、并且链接到文档2;而文档2同样包含图片2、并且链接到文档3……下载文件1、文件2的全部相关文件(递归检索深度为2,下载了1.html、1.png、2.html、2.png、3.html)[view@tri tmp]$ wget -r -l 2 http://site/1.html深度所限,3.png没有下载,打开文档跳转到3.html时必然无法完全显示。不修改深度,又保全文档可用,使用选项“-p”就好了。[view@tri tmp]$ wget -r -l 2 -p http://site/1.html下载深度为1,保全深度为1时的文件可用。下载了1.html、1.png、2.html,由于使用了选项“-p”,2.png也被下载。[view@tri tmp]$ wget -r -l 1 -p  当仅仅需要下载1.html、1.png时,使用如下语句:[view@tri tmp]$ wget -r -l 0 -p http://site/1.html会发现事与愿违,当深度为零时,表示无限次递归。下载一个单一可用的1.html、1.png。[view@tri tmp]$ wget -p http://site/1.html[view@tri gnulib]$ wget -E -H -k -K -p http://www.gnu.org/software/wget/manual/wget.html[view@tri gnulib]$ tree.├── manual.css├── manual.css.orig└── www.gnu.org    ├── robots.txt    ├── software    │   ├── gnulib    │   │   ├── manual.css    │   │   └── manual.css.orig    │   └── wget    │       └── manual    │           ├── wget.html    │           └── wget.html.orig    ├── style.css    └── style.css.orig5 directories, 9 files[view@tri tmp]$ wget -o log.txt -b -r -l 0 -p http://tomcat.apache.org/tomcat-8.5-doc/index.html


1.3.下载单个网页

  下载网页时,网页上的链接、图片、样式等须可用。

下载网页内容,保留原始的目录结构[root@tri work]# wget -kp http://www.abc.org/software/utils/manual/index.html不需要原始目录,统一放在当前目录下[root@tri work]# wget -nd -kp http://www.abc.org/software/utils/manual/index.html


2.下载特定的链接


2.1.获取目录

  考虑到目录组织的原因,可能把相关的文件集中放在一起,而需要下载的正好就是某个目录。关于选择目录,wget提供3组选项来处理相应的需求。

wget的目录选项
选项备注

-I list

--include list

include_directories=list

限定要下载的目录

指定目录,要使用绝对路径,多个目录用逗号分隔。

-X list

--exclude list

exclude_directories=list


-np

--no-parent

no_parent=on



示例:

[view@file ~]$ wget -nH -rpkb -o 4.5.log -I "/4.5/docs" http://vault.centos.org/4.5/docs/[view@payqa1 ~]$ wget -rpk -I "/tomcat-8.5-doc,/tomcat-8.0-doc" http://tomcat.apache.org



.

广告 广告

评论区