通过查看网站访问日志,我们可以很清楚的看到我们网站被哪些所访问,从而通过对于这些ip的辨识以及访问量的统计,来查看网站是否被恶意访问。一般情况下,我们可以通过网站日志来查看哪些搜索引擎蜘蛛访问过我们的网站,尤其是百度蜘蛛。
由于百度蜘蛛并不是固定的ip,Baiduspider的IP池是不断变动的,因而会有一些长得很像Baiduspider的李鬼Ip,对于这些,我们如何来辨识呢?事实上我们可以通过DNS反查方式来解决这个问题,但是根据使用平台的不同,其验证方法也有所不同。以下就是百度官方提供的关于不同平台下的Baiduspider的辨识方法:
1.windows平台或者IBM OS/2平台
这是最为常见的平台,可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip,来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
2.linux平台
在linux平台下,可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
3.mac os平台
在mac os平台下,可以使用dig 命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip,来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
通过DNS反查来辨识Baiduspider,可以帮助我们更好地知道百度对于网站的抓取情况,屏蔽李鬼ip,减少服务器负担。