Wp-log-robots生成网站访问、蜘蛛爬取日志(附代码)

一、简介

每个站长都希望自己网站的每个页面都被搜索引擎收录,实时的掌握蜘蛛对网站抓取的动态是非常重要的,很多时候我们可以通过蜘蛛的抓取特点来优化网站,比如说蜘蛛喜欢在晚上21点来抓取,那么我们就在这个时段来更新网站内容。那网站的收录就会达到事半功倍的效果了。

wp-log-robots是一个记录搜索引擎蜘蛛爬虫活动记录的插件,对我们进一步了解百度,谷歌等搜索引擎对网站的抓取情况有很好的帮助。尤其是百度还没有收录的新站,不清楚百度是没有来过,还是在考察期,会很着急。在着急的状况下,经常会对网站做出错误的修改。在后台插件页面启用该插件,不需要设置,就会开始记录搜索引擎蜘蛛的爬行记录。(提示:插件刚启动的时候robots_log.txt 文件还没有建立,要等有蜘蛛来过之后,才会建立这个文件。)

二、安装

1、方法一:直接在Wordpress后台点击“插件——安装插件”输入“wp-log-robots”搜索,点击安装——启用插件即可(无需设置)

2、方法二:使用代码

首先打开当前使用的主题的functions.php文件,并加入以下代码:

make_log_file();
function make_log_file()
{
//生成日志文件
$filename= 'zhizhu.txt';
//去除rc-ajax评论以及cron机制访问记录
if(strstr($_SERVER["REQUEST_URI"],"rc-ajax")== false
&& strstr($_SERVER["REQUEST_URI"],"wp-cron.php")== false ) {
$word.= date('mdHis',$_SERVER['REQUEST_TIME'] + 3600*8) . " ";
//访问页面
$word.= $_SERVER["REQUEST_URI"] ." ";
//协议
$word.= $_SERVER['SERVER_PROTOCOL'] ." ";
//方法,POST OR GET
$word.= $_SERVER['REQUEST_METHOD'] . " ";
//$word .= $_SERVER['HTTP_ACCEPT'] . " ";
//获得浏览器信息
$word.= getbrowser(). " ";
//传递参数
$word.= "[". $_SERVER['QUERY_STRING'] . "] ";
//跳转地址
$word.= $_SERVER['HTTP_REFERER'] . " ";
//获取IP
$word.= getIP() . " ";
$word.= "\n";
$fh= fopen($filename, "a");
fwrite($fh, $word);
fclose($fh);
}
}
//获取IP地址
function getIP()
{
if(getenv('HTTP_CLIENT_IP'))
{
$ip= getenv('HTTP_CLIENT_IP');
}
elseif(getenv('HTTP_X_FORWARDED_FOR'))
{
$ip= getenv('HTTP_X_FORWARDED_FOR');
}
elseif(getenv('REMOTE_ADDR'))
{
$ip= getenv('REMOTE_ADDR');
}
else
{
$ip= $_SERVER['REMOTE_ADDR'];
}
return$ip;
}
//获取浏览器信息
function getbrowser()
{
$Agent= $_SERVER['HTTP_USER_AGENT'];
$browser= '';
$browserver= '';
if(ereg('Mozilla', $Agent) && ereg('Chrome', $Agent))
{
$temp= explode('(', $Agent);
$Part= $temp[2];
$temp= explode('/', $Part);
$browserver= $temp[1];
$temp= explode(' ', $browserver);
$browserver= $temp[0];
$browserver= $browserver;
$browser= 'Chrome';
}
if(ereg('Mozilla', $Agent) && ereg('Firefox', $Agent))
{
$temp= explode('(', $Agent);
$Part= $temp[1];
$temp= explode('/', $Part);
$browserver= $temp[2];
$temp= explode(' ', $browserver);
$browserver= $temp[0];
$browserver= $browserver;
$browser= 'Firefox';
}
if(ereg('Mozilla', $Agent) && ereg('Opera', $Agent))
{
$temp= explode('(', $Agent);
$Part= $temp[1];
$temp= explode(')', $Part);
$browserver= $temp[1];
$temp= explode(' ', $browserver);
$browserver= $temp[2];
$browserver= $browserver;
$browser= 'Opera';
}
if(ereg('Mozilla', $Agent) && ereg('MSIE', $Agent))
{
$temp= explode('(', $Agent);
$Part= $temp[1];
$temp= explode(';', $Part);
$Part= $temp[1];
$temp= explode(' ', $Part);
$browserver= $temp[2];
$browserver= $browserver;
$browser= 'Internet Explorer';
}
if($browser!= '')
{
$browseinfo= $browser.' '.$browserver;
}
else
{
$browseinfo= $_SERVER['HTTP_USER_AGENT'];
}
return $browseinfo;
}

然后保存文件,这样当你再次访问网站的时候根目录下就会生成一个zhizhu.txt的日志文件,另外这个方法还可以用来统计蜘蛛抓取痕迹(也就是搜索引擎蜘蛛访问了哪些页面)。

6 thoughts on “Wp-log-robots生成网站访问、蜘蛛爬取日志(附代码)

发表评论

电子邮件地址不会被公开。 必填项已用*标注