怎样把单个网页里的所有链接抓取成一个清单

显示全部楼层 · 发表于 2015-2-19 20:55:03

thelord 发表于 2015-1-26 19:39
命令行一般分两步：下载网页，分析网页
下载可以用wget.exe，分析可以用批处理

谢谢，下载正如您所说，就是使用wget。
我反复看了一下DOS批处理命令，应该可以实现对文本的分析。
还是求在dos或WINDOWS CMD环境下可以实现的可能。希望熟悉DOS批处理命令的大侠多多指点

显示全部楼层 · 发表于 2015-2-19 22:59:05

oshusho 发表于 2015-2-19 20:55
谢谢，下载正如您所说，就是使用wget。
我反复看了一下DOS批处理命令，应该可以实现对文本的分析。
还 ...

用 sed 的正则分析可能容易点
http://bbs.linuxeden.com/thread-168533-1-1.html
有些链接地址可能是 js，也可能是相对地址，有点麻烦

显示全部楼层 · 发表于 2015-3-1 16:19:21

thelord 发表于 2015-2-19 22:59
用 sed 的正则分析可能容易点
http://bbs.linuxeden.com/thread-168533-1-1.html
有些链接地址可能是 j ...

我不会编程，这个我先学习一下。
非常感谢！

显示全部楼层 · 发表于 2015-3-2 01:21:52

好是DOS模式，

显示全部楼层 · 发表于 2015-3-4 21:56:27

zbss 发表于 2015-3-2 01:21
好是DOS模式，

？？？？？？

啥情况？

显示全部楼层 · 发表于 2015-3-12 20:49:40

火狐有扩展的.
http://www.unmht.org/unmht/en_index.html
en文的,叫UnMHT
或者你找下现成的

显示全部楼层 · 发表于 2015-3-12 22:30:42

mgch618 发表于 2015-3-12 20:49
火狐有扩展的.
http://www.unmht.org/unmht/en_index.html
en文的,叫UnMHT

谢谢 mgch618
问题已经用DOS的BAT命令解决了
可能是我问题没说清楚，希望实现的是一批网页中的一批链接进行处理，大家帮我找的基本相同是一个网页中的一批链接的抓取。
总算是把问题解决了，其实DOS和WINDOWS功能上各有长短，我更喜欢DOS的批命令。

谢谢你的帮忙！

[求助] 怎样把单个网页里的所有链接抓取成一个清单