【官方说法】只需两步,教你正确识别百度蜘蛛

所属分类: 网站运营 / 建站经验 阅读数: 99
收藏 0 赞 0 分享

经常听到站长们问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了,最近百度蜘蛛都不来了怎么办,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP不固定,这些百度方面并未透露相关信息。

那怎么才能识别正确的百度蜘蛛呢?来来来,只需两步,教你正确识别百度蜘蛛

1、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

移动UA:

Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko)Version/5.1 Mobile Safari/10600.6.3 (compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA:

Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

新增渲染UA:

移动UA:

Mozilla/5.0(iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML,like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA:

Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2、反查IP

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

2)、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

3)、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

相关阅读:

搜索引擎爬虫蜘蛛的USERAGENT大全

百度蜘蛛抓取时返回304状态码的问题分析

搜索引擎蜘蛛的爬取策略简单分析

更多精彩内容其他人还在看

网站设计之第一印象 注意用户体验

遨游互联网的人们浏览一个个网站,是决定暂时驻留还是转身离开,往往凭借的是第一印象,这和男女相亲极为相似。如果男女双方的第一印象就不好,那么搭档去喝咖啡的可能性就很小了
收藏 0 赞 0 分享

网站建设细节标示引导用户浏览

在网站建设中,有些细节值得去研究和探讨,比如如何合理的运用标示去引导用户浏览
收藏 0 赞 0 分享

网站建设的设计与网站SEO之皮毛相附

现在网站优化SEO被太多的人所重视和讨论,但是很多SEOER往往过度的注重对搜索引擎的迎合,而忽略了网站建设的用户体验和内容设计
收藏 0 赞 0 分享

百度搜索结果后面的有多少人喜欢是什么原因

这是百度正在测试的一个新功能。1月11日消息,百度分享今日开始测试将分享数据展示在百度搜索结果页。只要是嵌入了百度分享功能的网站信息出现在搜索结果中就会显示出其被分享的次数
收藏 0 赞 0 分享

依据百度近期的几次算法,站长不要再走伪原创之路

今日在SEO论坛,有人说伪原创行将毁灭,高质量网站的春天行将到来。然而这里的伪原创后面要加两个字,那就是工具,伪原创工具行将被淘汰
收藏 0 赞 0 分享

新站如何快速提升权重的六点秘诀分享

经常有朋友问起我网站权重为什么一直很低,到底有没有好的办法快速提升呢?那好现在一起荣森网安棋子儿小编给大家分享在网站维护中快速提升网站权重
收藏 0 赞 0 分享

十大网站被降权现象汇总及原因分析

网站被降权也是网络推广过程中较为常见的现象,降权的形式也各不相同,当然原因也是多种多样
收藏 0 赞 0 分享

Google AdSense 广告已停止在您的网站上投放

早上登陆网站,发现google广告竟然无法显示了,查看邮箱发现google邮箱中在最近一次对您的帐户进行的审核中,我们发现您目前展示 Google 广告的方式不符合我们的合作规范
收藏 0 赞 0 分享

优化DNS解析和拆分域名 让网站打开速度更快技巧

如何让网站打开速度更快:DNS与拆分域名(一).
收藏 0 赞 0 分享

让网站打开更快第三弹--开启压缩篇

对于网站,也有这样的压缩技术,可以让你的网页中的文本类文件瘦身,在用户完全不知情的情况下,通过gzip和deflate压缩程序有效减少了网页,让用户更快的打开网站。
收藏 0 赞 0 分享
查看更多