网站首页 >> 技术教程 >> 正文
标题

统计搜狗蜘蛛的PHP代码,方便自己使用

小小   2024-06-09 21:55:36   45℃   0
内容

正文:

最近我在研究搜狗的收录方法,想要找到搜狗蜘蛛的渠道(不过目前已经没有了)。为了方便统计搜狗蜘蛛爬取的 URL,我写了一段代码

起初,我以为这个统计搜狗蜘蛛的工作很简单,但没想到搜狗的标识符并不是“sougouspider”。我尝试了几种不同的写法,但都没有成功。

 统计搜狗蜘蛛的PHP代码,方便自己使用

最后,在“老虎域名”的提示下,我直接将“sougou”作为统计蜘蛛的标识,这样才成功了。

在众多尝试中,我不断寻找搜狗的标识,经过千百次的搜索,突然回头一看,搜狗的标识就在灯火阑珊处。

<?phpfunction get_naps_bot(){
	$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);if (strpos($useragent, 'sogou') !== false){return 'sogouspider';}return false;}function nowtime(){
	$date=gmdate("Y-n-j H:i:s",time()+8*3600);
	return $date;}$searchbot = get_naPS_bot();if ($searchbot) {
	$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
	$url=$_SERVER['HTTP_HOST'] . $_SERVER['REQUEST_URI'];
	$file="spiderlogs.txt";
	$time=nowtime();
	$data=fopen($file,"a");
	fwrite($data,"Time:$time robot:$searchbot URL:$url\n");
	fclose($data);}?>

在泛目录的 index.php/404.php/sitemapphp 的等相关蜘蛛会访问到的文件中插入:

include'spider.php';


文章版权声明
1 本网站名称:就爱技术网
2 本站永久网址:http://jajsw.com
3 本网站的文章部分内容来源于网络,仅供大家学习与参考,如有侵权,请联系站长 QQ进行删除处理。
4 本站资源仅供学习和交流使用,版权归原作者所有,请在下载后24小时之内自觉删除。
5 本站大部分下载资源收集于网络,不保证其完整性以及安全性,不提供技术支持,请下载后自行研究。
6 若作商业用途,请购买正版,由于未及时购买和付费发生的侵权行为,使用者自行承担,概与本站无关。
点评

本文暂无评论 - 欢迎您

网站统计

用户中心

快捷导航返回顶部
提交收录
广告合作
返回顶部