怎样把单个网页里的所有链接抓取成一个清单

显示全部楼层 · 发表于 2015-1-22 23:24:03

如题。
最好是DOS模式，直接使用命令行，将抓取的清单输出到list.txt文件
就好像是FLASHGET3.1自带的“站点资源探索器”，它就可以把链接全抓取出来。但是只可以复制，不能输出，操作起来就要一个个网页下载再打开。

求大侠帮助啊

显示全部楼层 · 发表于 2015-1-24 21:12:05

ff就可以啊

显示全部楼层 · 发表于 2015-1-24 22:57:54

ff是什么啊？

显示全部楼层 · 发表于 2015-1-25 03:42:56

momimo 发表于 2015-1-24 21:12
ff就可以啊

ff是什么啊？谢谢老大

显示全部楼层 · 发表于 2015-1-25 08:50:31

oshusho 发表于 2015-1-25 03:42
ff是什么啊？谢谢老大

火狐浏览器

显示全部楼层 · 发表于 2015-1-25 11:14:58

不好意思，我犯了说简称的坏毛病，是firefox………抱歉

显示全部楼层 · 发表于 2015-1-25 11:18:16

bb19491001 发表于 2015-1-25 08:50
火狐浏览器

谢谢两位
FF可以有DOS命令行格式功能吗？
希望可以使用DOS的批命令，请指点

显示全部楼层 · 发表于 2015-1-26 19:39:53

命令行一般分两步：下载网页，分析网页
下载可以用wget.exe，分析可以用批处理

现成的工具找到一个，Scrapy命令行
不过要安装python运行环境

显示全部楼层 · 发表于 2015-1-26 22:18:27

你百度一下“网站整站下载器”

可以把一个网站照搬到你的电脑上

显示全部楼层 · 发表于 2015-2-19 20:52:26

参观者发表于 2015-1-26 22:18
你百度一下“网站整站下载器”

可以把一个网站照搬到你的电脑上

谢谢，我是希望按自己的设置收集网站的资源，全站下载确实用不到的

[求助] 怎样把单个网页里的所有链接抓取成一个清单