VPS侦探论坛

 找回密码
 注册
查看: 7547|回复: 6

军哥,求教了,关于nginx搜索引擎爬行日志

[复制链接]
发表于 2012-6-23 16:27:39 | 显示全部楼层 |阅读模式

参照论坛有关帖子,我成功把网站的访问日志关闭了,可是在/usr/local/nginx/logs/下面还存在一个access.log的日志文件,每时每刻都在增长,打开一看,全是搜索引擎的爬行日志,尤其是SOGOU的,平均一个小时就要增长1G,真是郁闷啊。
请教如何关闭这个爬行日志啊? 谢谢!
美国VPS推荐: 遨游主机LinodeLOCVPS主机云搬瓦工80VPSVultr美国VPS主机中国VPS推荐: 阿里云腾讯云。LNMP付费服务(代装/问题排查)QQ 503228080
发表于 2012-6-23 17:24:55 | 显示全部楼层


/usr/local/nginx/conf/nginx.conf https://bbs.vpser.net/thread-3066-1-1.html
Linux下Nginx+MySQL+PHP自动安装工具:https://lnmp.org
 楼主| 发表于 2012-6-23 17:45:38 | 显示全部楼层

原帖由 licess 于 2012-6-23 17:24 发表
/usr/local/nginx/conf/nginx.conf https://bbs.vpser.net/thread-3066-1-1.html

我是按照这样配置的,请看配置文件:

user  www www;
worker_processes 8;
error_log  /home/wwwlogs/nginx_error.log  crit;
pid        /usr/local/nginx/logs/nginx.pid;
worker_rlimit_nofile 65535;
events
{
  use epoll;
  worker_connections 65535;
}
http
{
  include       mime.types;
  default_type  application/octet-stream;
  server_names_hash_bucket_size 128;
  client_header_buffer_size 32k;
  large_client_header_buffers 4 32k;
  client_max_body_size 50m;
  sendfile on;
  tcp_nopush     on;
  keepalive_timeout 60;
  tcp_nodelay on;
  fastcgi_connect_timeout 300;
  fastcgi_send_timeout 300;
  fastcgi_read_timeout 300;
  fastcgi_buffer_size 64k;
  fastcgi_buffers 4 64k;
  fastcgi_busy_buffers_size 128k;
  fastcgi_temp_file_write_size 256k;
                fastcgi_intercept_errors on;
  gzip on;
  gzip_min_length  1k;
  gzip_buffers     4 16k;
  gzip_http_version 1.0;
  gzip_comp_level 2;
  gzip_types       text/plain application/x-javascript text/css application/xml;
  gzip_vary on;
log_format  access  '$remote_addr - $remote_user [$time_local] "$request" '  '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" $http_x_forwarded_for';
server
{
listen       1.1.1.1.1:80;
server_name www.xxxxxx.com xxxxxx.com;
if ($host != 'www.xxxxxx.com' ) {
rewrite ^/(.*)$ http://www.xxxxxx.com/$1 permanent;
}
index index.html index.php;
location /ssss/ {
allow 1.1.1.1.1;
deny all;
}
location ~ ^/sssss/.*\.php$
{
allow 1.1.1.1.1;
deny all;
location ~ .*\.(php|php5)?$
{
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fcgi.conf;
}
}
error_page 404 /404.html;
root  /home/wwwroot/sss;
location ~* ^/(cache|blockcache|files|img|images|templates|scripts|themes|style)/.*\.(php|php5|php3)$
{
deny all;
}
location /templates/ {
location ~ .*\.(php|php5|php3)?$ {
deny all;
}
}
location ~ .*\.(php|php5)?$
{
fastcgi_pass  127.0.0.1:9000;
fastcgi_index index.php;
include fcgi.conf;
}
location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$
{
expires      30d;
valid_referers none blocked *.xxxxxx.com;
if ($invalid_referer) {
rewrite ^/ http://www.xxxxxx.com/404.html;
}
}
location ~ .*\.(js|css)?$
{
expires      1h;
}
access_log  /dev/null;
}

关键是/usr/local/nginx/logs/下面的access.log一直在不断增大,而原来在/home/wwwlogs/下面则无access.log了。请教如何解决?

[ 本帖最后由 pchunan 于 2012-6-23 18:06 编辑 ]
美国VPS推荐: 遨游主机LinodeLOCVPS主机云搬瓦工80VPSVultr美国VPS主机中国VPS推荐: 阿里云腾讯云。LNMP付费服务(代装/问题排查)QQ 503228080
 楼主| 发表于 2012-6-25 01:18:05 | 显示全部楼层



军哥可以解决一下不?
Linux下Nginx+MySQL+PHP自动安装工具:https://lnmp.org
发表于 2012-6-25 09:59:58 | 显示全部楼层

你是一个VPS只做一个站?

可重新添加一次域名。添加域名时选择禁止日志

军哥运维代购:http://shop63846532.taobao.com/

发表于 2012-6-25 11:47:46 | 显示全部楼层

acess从来没在/usr/local/nginx/logs/ 下放过,除非你自己设置的,设置完重启生效
 楼主| 发表于 2012-6-25 13:08:51 | 显示全部楼层

原帖由 licess 于 2012-6-25 11:47 发表
acess从来没在/usr/local/nginx/logs/ 下放过,除非你自己设置的,设置完重启生效

我就自己设置了如上所引述的nginx.conf文件,并且没使用vhost.conf文件,自己直接在nginx.conf中添加多域名的虚拟主机,安装lnmp也一直是默认安装。
真是奇怪,为何/usr/local/nginx/logs/下会存在access.log,并且一直在增长?
军哥帮我看看那个nginx.conf有无问题?难道是这个问题?
美国VPS推荐: 遨游主机LinodeLOCVPS主机云搬瓦工80VPSVultr美国VPS主机中国VPS推荐: 阿里云腾讯云。LNMP付费服务(代装/问题排查)QQ 503228080
您需要登录后才可以回帖 登录 | 注册

本版积分规则

小黑屋|手机版|Archiver|VPS侦探 ( 鲁ICP备16040043号-1 )

GMT+8, 2024-11-17 17:35 , Processed in 0.027118 second(s), 17 queries .

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表