长沙百度优化指南之如何正取看待百度蜘蛛爬行抓取网站内容
- 作者:admin
- 发表时间:2022-08-19 15:31:00
- 来源:
百度蜘蛛会一直抓我的网站吗?
一般会的,若网站持续生产新资源、更新内容等,蜘蛛会持续抓取的。需要提醒的是,若网站需要百度蜘蛛抓取一定不要做任何封禁哦。(封禁相关参考下文内容)
此外,您也可以检查网站访问日志,及时判断正确的百度蜘蛛,以防止有人恶意冒充百度蜘蛛来频繁抓取您的网站。
百度蜘蛛频繁光顾网站,导致网站服务器压力大,怎么办?
若发现百度蜘蛛频繁抓取,可能是因为以下2个原因。
(1)网站存在新生产资源、更新内容待抓取更新;
(2) 可能存在恶意冒充百度蜘蛛,可以通过上文Q2“如何识别正常百度蜘蛛”的方法排查问题;
若百度蜘蛛抓取频次过高,造成网站服务异常,可以通过百度搜索资源平台-【抓取频次】工具调整频次。