wget用法的问题

JohnChu

我要下载的是一系列文件
http://kafan.cn/log_20100101_01.txt
http://kafan.cn/log_20100101_02.txt
... ... ... ...
http://kafan.cn/log_20100101_99.txt
http://kafan.cn/log_20100102_01.txt
... ... ... ...
就是日期加01-99
有没有参数能解决？
谢谢

dbidbi

自写bash，这种套路一般需要工具支持正则表达式，但是通过写bash可以通杀。

dbidbi

简单说 对应 wget -i url.txt

思路是

    $ vi readfile
    #!/bin/sh

    IFS="
    "

    url.txt=$1
    while read -r line
    do
        echo $line
        wget -O $line.html $line
    done < $url.txt

其次 命令中支持递归

wget -nd -r -l1 --no-parent -A.txt  http://kafan.cn/

-nd 不创建目录, wget默认会创建一个目录
-r 递归下载
-l1 (L one) 递归一层,只下载指定文件夹中的内容, 不下载下一级目录中的.
–no-parent 不下载父目录中的文件

dbidbi

我擦，差点忘了 撸主是什么OS？？？

顺便提一句 -A支持正则表达式。

JohnChu

dbidbi 发表于 2012-12-26 14:03
我擦，差点忘了 撸主是什么OS？？？

顺便提一句 -A支持正则表达式。

CentOS
Ubuntu

thelord

楼主够纠结的，把问题分割的太细，反而容易走弯路
echo http://kafan.cn/log_2010{01..12}{01..31}_{01..99}.txt | xargs wget -o log.txt

dbidbi

thelord 发表于 2012-12-26 22:06
楼主够纠结的，把问题分割的太细，反而容易走弯路
echo http://kafan.cn/log_2010{01..12}{01..31}_{01..9 ...

神回复。我怎么就没想到。。。

thelord

dbidbi 发表于 2012-12-26 22:58
神回复。我怎么就没想到。。。

shell 太灵活了，思路不同，则方法迥异
其实低版本的bash不支持这种大括号扩展。。