【官方说法】只需两步,教你正确识别百度蜘蛛

所属分类: 网站运营 / 建站经验 阅读数: 94
收藏 0 赞 0 分享

经常听到站长们问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了,最近百度蜘蛛都不来了怎么办,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP不固定,这些百度方面并未透露相关信息。

那怎么才能识别正确的百度蜘蛛呢?来来来,只需两步,教你正确识别百度蜘蛛

1、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

移动UA:

Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko)Version/5.1 Mobile Safari/10600.6.3 (compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA:

Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

新增渲染UA:

移动UA:

Mozilla/5.0(iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML,like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA:

Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2、反查IP

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

2)、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

3)、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

相关阅读:

搜索引擎爬虫蜘蛛的USERAGENT大全

百度蜘蛛抓取时返回304状态码的问题分析

搜索引擎蜘蛛的爬取策略简单分析

更多精彩内容其他人还在看

对7种博客赚钱方法的一些思考 最信赖Adsense

其实我并不喜欢互联网中什么CPA、CPC、CPM等博客赚钱方法,直到现在我博客也只挂了个Google Adsense,心里一直认为这种按点击、按展示量付款的模式不靠谱
收藏 0 赞 0 分享

浅谈地方站运营的三大法宝

本人在2000开始接触网站制作了,只是在业余时间搞的玩,只是懂一点简单的制作,对网站的运营也是2005年后开始接触的。
收藏 0 赞 0 分享

做网站6年的一些个人经验之谈

我是一个地地道道的菜鸟,不懂程序,可以说头脑是一片空白,但是我对做站有浓厚的兴趣。刚开始,我通过自助做站结识了建网站,由免费到申请了一个90元一年的空间。
收藏 0 赞 0 分享

每个网页设计者都自以为是

网页技术更新很快,一个网站的界面设计寿命仅仅2-3年而已。不管是垃圾还是精品,都没有所谓的经典。
收藏 0 赞 0 分享

中国草根站长心理分析之一二三

从我踏入站长圈那天起我就在分析每个我所认识的站长的性格,也渐渐积累了一些自己的看法。
收藏 0 赞 0 分享

个人站长生存学 垃圾站解决生存问题

很难想像在如今这个资本为王的社会,个人站长这个群体仍然坚强地站立着,成为这个互联网的有力组成部分。他们没有雄厚的资金,也没有非常高端的技术,但是他们也确实依靠自己的网站养家糊口,单打独斗自有自己的一套生存学。
收藏 0 赞 0 分享

网站更换域名对网站带来的影响及补救措施完美小结

更换域名,通常情况下网站是需要承受着搜索引擎带来的很大风险的,作者通过自己的亲身经历,总结出了能尽可能将风险降到最小的办法,有需要的朋友可以尝试下。
收藏 0 赞 0 分享

个人站长怎样选择做站

做站是为了赚钱,我相信没人会反对,网站有了流量,才能赚钱,本篇文章将为大家介绍做站方向的取舍,使流量来的快,竞争小。
收藏 0 赞 0 分享

网站的成败往往决定于小细节

今天我们就谈一下新手站长可能会犯的错误,看看哪些是你曾做过的,看了这些希望你能豁然开朗。
收藏 0 赞 0 分享

新网站初期需要注意的一些技术问题小结

对互联网有了解的人都有自己的想法,有人就把想法付诸实现,做个网站然后开始运营。
收藏 0 赞 0 分享
查看更多