robots.txt是搜索引擎访问网站时查看的第一个文件,这个文件用于指定spider在该网站上的抓取范围。部分网站由于存在不想被搜索引擎收录的内容,会使用robots.txt文件来屏蔽网站的部分内容或者全部内容。若网站对百度spider设置了robots.txt文件,百度会遵循robots协议,不去抓取封禁的结果。
由此可见,robots.txt是搜索引擎抓取网站的基础,一旦robots.txt设置错误则会导致网站抓取出错,对网站造成一定影响。对此,百度近日上线了robots工具,为了能够让站长更方便的了解网站页面在出现上述问题时是否是由于设置了robots文件,百度网页搜索结果中上线了robots.txt文件提示。当网站使用robots.txt文件禁止百度收录网站的部分或全部内容,百度将会在搜索结果中给出robots.txt的提示,让站长及时了解网站在搜索结果中无摘要显示的原因,同时可在搜索结果中点击“了解详情”,查看网站详细的robots信息,确认是否是由于robots.txt的误设置而导致的封禁。
同时百度站长平台还上线了robots工具,如下图所示,工具提示更加直白,让第一次接触robots工具的站长们也能轻易看懂,更加人性化和傻瓜化。