如何使用宝塔查看网站日志,分析百度蜘蛛抓取数量
我们如果想分析百度蜘蛛抓取我们网站页面的详细情况,可以借助宝塔查看网站日志。通过分析网站日志,就可以分析出百度蜘蛛抓取我们网站页面的详细信息了。具体方法为:
1、进入宝塔控制面板
找到您的网站列表,有网站列表右侧找到
设置。
2、找到
响应日志 。
3、把所有 响应日志文本 复制下来,放到一个txt文本文档里。
4、最后,使用记事本或者notePad++,搜索baiduspider
观察这条百度蜘蛛抓取记录,从左到右的信息分别为,蜘蛛ip、抓取时间、抓取页面、抓取代码、抓取数据量等等。
get后面的/ ,代表的是根目录即网站主页。
200代表抓取成功,如果不是200的话,就要检查您的页面存在什么问题。