网站抓取异常直接影响SE网站索引的权重
浏览:335 时间:2021-11-7

存在异常抓取、无法抓取、返回码设置错误、死链,无效页面过多、重定向过多等,直接影响搜索引擎对网站的异常抓取。它会直接导致搜索引擎认为网站在用户体验上存在缺陷,降低对网站的评价,在爬行、索引和权重上都会受到一定程度的负面影响,最终影响网站从百度获得的流量

以下信息来自百度站长帮助中心

什么是抓取异常?

对于互联网上可以正常访问的内容,百度蜘蛛的抓取结果应该与普通用户访问的内容一致,只是抓取异常。

抓取异常会有什么影响:

1.什么是死链?详情请参考:死链网站(拨打:无效链接)

该页面无效,不能向用户提供任何有价值信息的页面是死链,包括协议死链和内容死链

协议死链: 死链明确表示由TCp协议状态/HTTp协议状态的页面,如404、403、503状态等。

内容死链:服务器返回的状态正常,但内容已更改为与原始内容无关的信息页面,如不存在、已删除或需要权限。

对于死链,建议通过百度站长平台-死链Tool提交给死链,让搜索引擎更快找到死链,减少死链对用户和搜索引擎的负面影响。

2.什么是Ip阻塞?

限制网络的出口Ip地址,禁止Ip段的用户访问内容,就是Ip阻断。

3.什么是UA ban?

用户代理是一个用户代理,服务器通过用户代理识别访问者的身份。当网站返回异常页面(例如403,500)或跳转到其他页面以访问指定的UA时,UA被阻止。

3.什么是异常重定向?

将网络请求重定向到另一个位置就是重定向。异常重定向指的是以下情况

目前,该页面无效(内容删除,死链,等。),所以直接跳转到上一个目录或者首页。百度建议网站管理员删除无效页面的条目超链接

重定向至错误或无效页面

重定向跳转超过3次也是异常的

注意:在长时间跳转到其他域名的情况下,如更改网站域名,百度建议使用301跳转协议进行设置。

4.还有哪些例外?

引用百度:时出现异常网页返回行为与正常内容不同引用来自百度

百度UA例外:网页将不同于页面原始内容的行为返回给百度UA。

JS跳转异常:网页加载了百度无法识别的JS跳转代码,使得用户通过搜索结果进入页面后跳转。

偶尔禁令造成的过度压力:百度会根据网站规模、访问量等信息自动设置合理的抓取压力。但在异常情况下,如压力控制异常,服务器会根据自身负载进行保护性意外禁止。在这种情况下,请在返回代码中返回503(意思是“ServiceUnavailable”),这样百度蜘蛛过一会儿就会再次尝试抓取这个链接,如果网站空闲,就会成功抓取。

爬行异常对网站有什么影响?

对于大量内容无法正常抓取的网站,搜索引擎会认为网站在用户体验上存在缺陷,降低对网站的评价,在抓取、索引、权重等方面都会受到一定程度的负面影响,最终影响网站从百度获得的流量

文章来源:微信官方账号SEO战斗营(ID: ilottecn),原创链接:/s/s/mxoyxpunccia-RVpzacovpQ