网站404页面依旧被抓取?这是好现象

发布时间:2017-09-12 发布者:新锐传媒 查阅 [289] 评论 [0]

当一些页面过期时,除了更新内容以外,还有一种做法是将这些页面彻底删除。然而当删除后,这些页面还有可能存在于搜索引擎的索引库当中,当用户搜索时依旧可以找到这些页面,只不过点击进入后却是404页面不存在的提醒。

对于404页面,每个搜索引擎都有其提交入口,当站长们有404页面存在于搜索引擎中的索引库时,可以提交以便让搜索引擎尽快的删除这些页面。

谷歌

然而被搜索引擎删除索引的404页面,搜索引擎后续就不会再光顾了吗?答案是否定的。

有人在推特上对谷歌员工提问“提交的死链接并且已经被删除,然而通过网站日志依旧发现搜索引擎在该404页面爬行抓取”。谷歌员工John对此的回复是:谷歌只是周期性的重新抓取这些URL,检查是否有什么新的内容更新。

推文原文:

谷歌抓取404页面的原因

但是这又牵扯出了另一个问题,搜索引擎对每个网站的每日抓取配额是有限制的,这个抓取配额会根据网站页面数量与质量来进行调整。尤其在一些大型网站上,由于页面数量级过大,因此有效的利用每个抓取配额就显得尤为重要。那么对于404页面的抓取会不会造成抓取配额上的一种浪费呢?

John在推特上表示:谷歌通常只会在抓取重要页面后才会考虑抓取404页面,因此没有造成浪费。抓取这些404页面确实占用了抓取配额,然而鉴于这些页面的改动并不频繁,因此谷歌重新抓取404页面的频率并不会太高。

推文原文:

抓取404页面的顺序

404页面占用抓取配额

结合来看,谷歌只有在抓取完毕重要页面后才回去重新抓404页面,从另一个角度理解只有当谷歌认为抓取配额富余的时候才会去这么做。而抓取配额的富余通常是一个好现象,这通常意味着网站在搜索引擎眼中质量变高了。

相关阅读:

404页面需要告诉用户什么?404页面的设计标准

      免责声明 | 新锐观点 | 网站运营 | 网站推广 | 联系我们 | 网站地图