wget 下载时忽略robots.txt

licess

wget遵循Robot Exclusion标准(/robots.txt)

wget默认会根据网站的robots.txt进行操作，如果robots.txt里是User-agent: * Disallow: /的话，wget是做不了镜像或者下载目录的，使用-e robots=off参数即可绕过该限制。