【官方说法】只需两步,教你正确识别百度蜘蛛

所属分类: 网站运营 / 建站经验 阅读数: 189
收藏 0 赞 0 分享

经常听到站长们问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了,最近百度蜘蛛都不来了怎么办,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP不固定,这些百度方面并未透露相关信息。

那怎么才能识别正确的百度蜘蛛呢?来来来,只需两步,教你正确识别百度蜘蛛

1、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

移动UA:

Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko)Version/5.1 Mobile Safari/10600.6.3 (compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA:

Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

新增渲染UA:

移动UA:

Mozilla/5.0(iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML,like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA:

Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2、反查IP

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

2)、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

3)、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

相关阅读:

搜索引擎爬虫蜘蛛的USERAGENT大全

百度蜘蛛抓取时返回304状态码的问题分析

搜索引擎蜘蛛的爬取策略简单分析

更多精彩内容其他人还在看

个人网站可以申请经营性ICPP许可证

中国草根站长给工信部的一个建议,中国个人网站应实施ICPP准入制度.
收藏 0 赞 0 分享

虚拟主机基础知识全接触 新手必备知识

虚拟主机,是在网络服务器上划分出一定的磁盘空间供用户放置站点、应用组件等,提供必要的站点功能与数据存放、传输功能。
收藏 0 赞 0 分享

网络编辑应该如何突破职业发展瓶颈 推荐

网络编辑突破职业发展瓶颈的几点准备,让你更具价值。
收藏 0 赞 0 分享

如何降低网站跳出率 网站运营分析

跳出率必须分开分析,因为主要有四种不同的用户来源:低价值的引荐、其他网站的直接链接、搜索引擎和忠实的用户。
收藏 0 赞 0 分享

对即将上线的奇艺视频网站的思考

百度旗下视频公司近日公布了“奇艺”这一中文名称及域名,并透露,“奇艺”将于3月份上线。
收藏 0 赞 0 分享

网站功能不同设计服务公司的报价自然不同

首先,网站功能不同价格肯定也不同,复杂的价格自然很高,简单的自然就低。
收藏 0 赞 0 分享

电子商务平台服务的核心价值

网站运营:电子商务平台服务的核心价值.
收藏 0 赞 0 分享

不同公司网页设计报价不同的原因分析

根据不同地区的经济水平和实际的行业状况,这些通用性的准则不一定都能发挥效用,但是仍然可以使我们保持清晰的头脑,在价格因素日趋透明的情况下保证自己的利益。
收藏 0 赞 0 分享

提高Alexa排名的20种方法小结

操纵与提高Alexa排名的方法总结.
收藏 0 赞 0 分享

大型网站建站要考虑数据库压力和服务器负载

所谓大型网站就是访问量与流量都很大的一些网站,因此在建站初期就要考虑好当流量达到某一级别是是否可以支撑网站继续正常运营下去。
收藏 0 赞 0 分享
查看更多