WordPress教程

WordPress记录搜索引擎蜘蛛爬行纪录

蜘蛛爬取了哪些页面?为什么还不收录?蜘蛛到底爬到了新发布的页面没有?

蜘蛛来无影去无踪,每次打开服务器端访问日志才能查看到蜘蛛的足迹,十分不便。

实现直接打开看蜘蛛爬行记录步骤如下:
1.将以下代码放入 functions.php 文件合适的位置:

// 记录蜘蛛访问记录 
function get_naps_bot(){ 
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']); 
if (strpos($useragent, 'googlebot') !== false){ 
return 'Googlebot'; 
} 
if (strpos($useragent, 'bingbot') !== false){ 
return 'Bingbot'; 
} 
if (strpos($useragent, 'slurp') !== false){ 
return 'Yahoobot'; 
} 
if (strpos($useragent, 'baiduspider') !== false){ 
return 'Baiduspider'; 
} 
if (strpos($useragent, 'sogou web spider') !== false){ 
return 'Sogouspider'; 
} 
if (strpos($useragent, 'haosouspider') !== false){ 
return 'HaosouSpider'; 
} 
if (strpos($useragent, 'yodaobot') !== false){ 
return 'YodaoBot'; 
} 
return false; 
} 
function nowtime(){ 
date_default_timezone_set('Asia/Shanghai'); 
$date=date("Y-m-d G:i:s"); 
return $date; 
} 
$searchbot = get_naps_bot(); 
if ($searchbot) { 
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); 
$url=$_SERVER['HTTP_REFERER']; 
$addr=$_SERVER['REMOTE_ADDR']; 
$file="robotslogs.txt"; //根目录下记录蜘蛛访问的文件
$time=nowtime(); 
$data=fopen($file,"a"); 
$PR="$_SERVER[REQUEST_URI]"; 
fwrite($data,"[$time] - $addr - $PR - $searchbot $tlc_thispage \r\n"); 
fclose($data); 
}

搜索引擎蜘蛛,猫鼬博客

2.网站根目录下创建一个名为robotslogs.txt的文件,设置权限为777即可。

*robotslogs.txt 文件名可修改
*需要等待一定时间才能起效。

We can do it.

WordPress复制时弹出版权提示框

上一篇

WordPress友情链接自动获取favicon图标

下一篇

你也可能喜欢

发表评论

您的电子邮件地址不会被公开。 必填项已用 * 标注

提示:点击验证后方可评论!

插入图片
猫鼬 管理员
We can do it.
最近文章
  • * 没有更多文章了
  • TAGS

    WordPress记录搜索引擎蜘蛛爬行纪录

    长按储存图像,分享给朋友