不同平台下的Baiduspider辨识方法

发布时间:2014-04-29 发布者:新锐传媒 查阅 [1695] 评论 [0]

  通过查看网站访问日志,我们可以很清楚的看到我们网站被哪些所访问,从而通过对于这些ip的辨识以及访问量的统计,来查看网站是否被恶意访问。一般情况下,我们可以通过网站日志来查看哪些搜索引擎蜘蛛访问过我们的网站,尤其是百度蜘蛛。

  由于百度蜘蛛并不是固定的ip,Baiduspider的IP池是不断变动的,因而会有一些长得很像Baiduspider的李鬼Ip,对于这些,我们如何来辨识呢?事实上我们可以通过DNS反查方式来解决这个问题,但是根据使用平台的不同,其验证方法也有所不同。以下就是百度官方提供的关于不同平台下的Baiduspider的辨识方法:

  1.windows平台或者IBM OS/2平台

  这是最为常见的平台,可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip,来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

  2.linux平台

  在linux平台下,可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

  3.mac os平台

  在mac os平台下,可以使用dig 命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip,来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

  通过DNS反查来辨识Baiduspider,可以帮助我们更好地知道百度对于网站的抓取情况,屏蔽李鬼ip,减少服务器负担。

      免责声明 | 新锐观点 | 网站运营 | 网站推广 | 联系我们 | 网站地图