正文:
之前我分享过一段 php 代码,可以将蜘蛛的统计结果以 txt 文件的形式展示出来,方便用户查看搜索引擎蜘蛛爬取的 url 链接,并且可以查询快照是否被收录。今年,很多人都在使用 360 快照秒收功能,因此将 360 蜘蛛抓取的 url 链接保存为 txt 文件变得尤为重要。我们可以将这些链接导入到 IIS7 中,通过一键查询来判断是否被收录以及收录的数量。
操作方法
在服务器根目录新建:spider.php
,代码如下:
在泛目录的 index.php/404.php/sitemapphp
的等相关蜘蛛会访问到的文件中插入:
查看蜘蛛统计的话,访问: 您的域名/spiderlogs.txt
文章版权声明
1 本网站名称:就爱技术网
2 本站永久网址:http://jajsw.com
3 本网站的文章部分内容来源于网络,仅供大家学习与参考,如有侵权,请联系站长 QQ进行删除处理。
4 本站资源仅供学习和交流使用,版权归原作者所有,请在下载后24小时之内自觉删除。
5 本站大部分下载资源收集于网络,不保证其完整性以及安全性,不提供技术支持,请下载后自行研究。
6 若作商业用途,请购买正版,由于未及时购买和付费发生的侵权行为,使用者自行承担,概与本站无关。