VPS侦探论坛

标题: wget 下载时忽略robots.txt [打印本页]

作者: licess 时间: 2012-5-28 11:01
标题: wget 下载时忽略robots.txt
wget遵循Robot Exclusion标准(/robots.txt)

wget默认会根据网站的robots.txt进行操作，如果robots.txt里是User-agent: * Disallow: /的话，wget是做不了镜像或者下载目录的，使用-e robots=off参数即可绕过该限制。

欢迎光临 VPS侦探论坛 (https://bbs.lnmp.com/)