licess 发表于 2012-5-28 11:01:45

wget 下载时忽略robots.txt

wget遵循Robot Exclusion标准(/robots.txt)

wget默认会根据网站的robots.txt进行操作，如果robots.txt里是User-agent: * Disallow: /的话，wget是做不了镜像或者下载目录的，使用-e robots=off参数即可绕过该限制。
页: [1]
查看完整版本: wget 下载时忽略robots.txt