【官方说法】只需两步,教你正确识别百度蜘蛛

所属分类: 网站运营 / 建站经验 阅读数: 109
收藏 0 赞 0 分享

经常听到站长们问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了,最近百度蜘蛛都不来了怎么办,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP不固定,这些百度方面并未透露相关信息。

那怎么才能识别正确的百度蜘蛛呢?来来来,只需两步,教你正确识别百度蜘蛛

1、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

移动UA:

Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko)Version/5.1 Mobile Safari/10600.6.3 (compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA:

Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

新增渲染UA:

移动UA:

Mozilla/5.0(iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML,like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA:

Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2、反查IP

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

2)、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

3)、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

相关阅读:

搜索引擎爬虫蜘蛛的USERAGENT大全

百度蜘蛛抓取时返回304状态码的问题分析

搜索引擎蜘蛛的爬取策略简单分析

更多精彩内容其他人还在看

SEO实战:网站被黑有何影响? 如何处理网站被黑?

网站被黑是常见的事情,尤其是一些商业类型的网站,网站被黑有的是被竞争对手恶意报复,有的是被博彩,赌博等违法网站挂黑链。网站被黑会有什么影响呢?网站被黑后该怎么办呢?本文将提供相关措施供大家了解
收藏 0 赞 0 分享

当当网的内部框架开源策略案例分享

这篇文章主要介绍了当当网的内部框架开源策略案例分享,包括其Dubbo项目和分布式作业调度框架elastic-job的开源情况简介,需要的朋友可以参考下
收藏 0 赞 0 分享

当当网海量信息的组织与发布经验分享

这篇文章主要介绍了当当网海量信息的组织与发布经验分享,包括双11时促销系统与交易系统的一些重构实践,需要的朋友可以参考下
收藏 0 赞 0 分享

四种自助建站排版技术有什么优缺点?优劣对比分析

四种自助建站排版技术有什么优缺点?很多朋友都不是很清楚,所以今天小编就为大家分析这四种自助建站排版技术,一起来看看吧
收藏 0 赞 0 分享

如何注册网站 新人注册网站图文步骤

由于目前所见即所得类型的工具越来越多,使用也越来越方便,所以网站制作已经变成了一件轻松的工作,不像以前要手工编写一行行的源代码那样
收藏 0 赞 0 分享

浅析豆瓣网站运营的主要技术模式

这篇文章主要介绍了豆瓣网站运营的主要技术模式,作为国内以Python驱动的知名网站之一,本文介绍了豆瓣的一些技术理念,需要的朋友可以参考下
收藏 0 赞 0 分享

深入分析京东云数据库的运营模式

这篇文章主要介绍了京东云数据库的运营模式,京东利用服务器集群的方式构建起了大型的基于云的数据存储方式,需要的朋友可以参考下
收藏 0 赞 0 分享

剖析美团的以Python为主导的云平台发展战略

这篇文章主要介绍了美团的以Python为主导的云计算发展战略,美团对于Python的Django和Tornado框架的应用着实令人眼前一亮,是为国内Python技术的一大主要推动力量,需要的朋友可以参考下
收藏 0 赞 0 分享

浅谈如何提高网站内页权重

近期发现手上优化的网站收录量还好,收录率达到40%以上,但是就是没排名,分析了下作了相应调整,后续优化效果将相继文章分享出
收藏 0 赞 0 分享

搜狐云发展中DomeOS的开发与Docker的应用

这篇文章主要介绍了搜狐云发展中DomeOS的开发与Docker的应用,DomeOS是搜狐自助研发的企业级业务编排运维管理系统,需要的朋友可以参考下
收藏 0 赞 0 分享
查看更多