SEO Baiduspider常见问题解答

所属分类: 网站运营 / 网站优化 阅读数: 77
收藏 0 赞 0 分享
  1. 什么是Baiduspider?
    Baiduspider是百度搜索引擎的一个自动程序,它的作用是访问互联网上的网页,建立索引数据库,使用户能在百度搜索引擎中搜索到您网站上的网页。
    1. Baiduspider的user-agent是什么?
      百度各个产品使用不同的user-agent:
    1. 产品名称
    对应user-agent
    无线搜索 Baiduspider-mobile
    图片搜索 Baiduspider-image
    视频搜索 Baiduspider-video
    新闻搜索 Baiduspider-news
    百度搜藏 Baiduspider-favo
    百度联盟 Baiduspider-cpro
    百度推广 Baiduspider-sfkr
    网页以及其他搜索 Baiduspider

    1. Baiduspider对一个网站服务器造成的访问压力如何?
      Baiduspider会自动根据服务器的负载能力调节访问密度。在连续访问一段时间后,Baiduspider会暂停一会,以防止增大服务器的访问压力。所以在一般情况下,Baiduspider对您网站的服务器不会造成过大压力。

    2. 为什么Baiduspider不停的抓取我的网站?
      对于您网站上新产生的或者持续更新的页面,Baiduspider会持续抓取。此外,您也可以检查网站访问日志中Baiduspider的访问是否正常,以防止有人恶意冒充Baiduspider来频繁抓取您的网站。 如果您发现Baiduspider非正常抓取您的网站,请通过投诉平台反馈给我们,并请尽量给出Baiduspider对贵站的访问日志,以便于我们跟踪处理。

    3. 如何判断是否冒充Baiduspider的抓取?
      您可以使用host ip命令反解ip来判断Baiduspider的抓取是否冒充。Baiduspider的hostname以*.baidu.com的格式命名,非*.baidu.com即为冒充。

      $ host 123.125.66.120
      120.66.125.123.in-addr.arpa domain name pointer baiduspider-123-125-66-120.crawl.baidu.com.

    4. 我不想我的网站被Baiduspider访问,我该怎么做?
      Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站,或者禁止Baiduspider访问您网站上的部分文件。 注意:禁止Baiduspider访问您的网站,将使您的网站上的网页,在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于robots.txt的写作方法,请参看我们的介绍:robots.txt写作方法

      您可以根据各产品不同的user-agent设置不同的抓取规则,如果您想完全禁止百度所有的产品收录,可以直接对Baiduspider设置禁止抓取。

      以下robots实现禁止所有来自百度的抓取:
      User-agent: Baiduspider
      Disallow: /

      以下robots实现仅禁止来自百度视频搜索的抓取:
      User-agent: Baiduspider-video
      Disallow: /

      以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录:
      User-agent: Baiduspider
      Disallow: /

      User-agent: Baiduspider-image
      Allow: /image/

      请注意:Baiduspider-cpro和Baiduspider-sfkr抓取的网页并不会建入索引,只是执行与客户约定的操作,所以不遵守robots协议,如果Baiduspider-cpro和Baiduspider-sfkr给您造成了困扰,Baiduspider-cpro请联系union1@baidu.com,Baiduspider-sfkr请联系help@baidu.com。

    5. 为什么我的网站已经加了robots.txt,还能在百度搜索出来?
      因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页,但百度搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。
      如果您的拒绝被收录需求非常急迫,也可以通过投诉平台反馈请求处理。

    6. 我希望我的网站内容被百度索引但不被保存快照,我该怎么做?
      Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置,使百度显示只对该网页建索引,但并不在搜索结果中显示该网页的快照。
      和robots的更新一样,因为搜索引擎索引数据库的更新需要时间,所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照,但百度搜索引擎数据库中如果已经建立了网页索引信息,可能需要二至四周才会在线上生效。

    7. Baiduspider多长时间之后会重新抓取我的网页?
      百度搜索引擎每周更新,网页视重要性有不同的更新率,频率在几天至一月之间,Baiduspider会重新访问和更新一个网页。

    8. Baiduspider抓取造成的带宽堵塞?
      Baiduspider的正常抓取并不会造成您网站的带宽堵塞,造成此现象可能是由于有人冒充Baiduspider恶意抓取。如果您发现有名为Baiduspider的agent抓取并且造成带宽堵塞,请尽快和我们联系。您可以将信息反馈至投诉平台,如果能够提供您网站该时段的访问日志将更加有利于我们的分析。
  • 更多精彩内容其他人还在看

    快速更新网站内容的几种方法

    自从有了CMS现在做个网站是件非常简单的事,网站的运作的中心是日常的网站内容更新和长期网站推广。其中网站内容的快速更新是重中之重,今天笔者来分享一下快速更新网站内容的几种方法。希望能为站长们更新网站内容提供一些帮助。 1、内容采集 内容采集是最直接的方法,采
    收藏 0 赞 0 分享

    Google给广大网站的搜索引擎优化(SEO)建议

    为了把Google中文搜索本土化Google官方也确实做了大量的工作,其中在(网站管理员/站长)这块文章丰富了不少,作为营销爱好者笔者经常关注拜读之余也摘录一些自认为比较有价值的内容供大家参考。今天和大家分享的是:Google给广大网站的搜索引擎优化(SEO)建议。文章内容如下
    收藏 0 赞 0 分享

    创建一个方便Google处理的网站的详细建议

    这又是一篇来自Google的文章,再继续发下去很多朋友会问我为什么又转搜索引擎的东西了。其实个人认为Google网站管理员/站长帮助里头还是很多精华的,例如:今天将要转载的这个(创建一个方便Google处理的网站的详细建议)就写得非常好。废话不多说了,下面来分享下创建一个方
    收藏 0 赞 0 分享

    排除法解决网站在搜索过程中表现不佳的现象

    搜索引擎排名机制异常的复杂和严密,直接导致很多网站内容发布出来在搜索引擎的搜索结果表现不佳的现象,种现象一直困扰着很多站长。今天笔者给大家介绍一种比较有效的解决方法:排除法解决网站在搜索过程中表现不佳的现象。 这个排除法的步骤如下: 一、查看您的网站是否被
    收藏 0 赞 0 分享

    百度 google分别喜欢什么样的友情链接

    友情链接对搜索引擎的重要性我就不说了,你去看下只要是做优化的网站几乎都是有友情链接。我发现一些做seo的公司,给客户优化网站的时候纯属就是靠友情链接,雇专门的友情链接专员来进行优化。但是这样做你真的有效果吗,我看到过一些网站,页面上几乎三分之一的页面是友情链
    收藏 0 赞 0 分享

    浅析网站首页的广告形式

    一般而言,由于互联网用户在刚登录某网站时,会看到各种各样的广告。这些广告杂乱无章,因此,大多数的标语用户很容易看过就忘。行为追踪就是防止这种情况发生的方法之一,从而使得广告与用户的生活和目前的精神状态相关的机率更大。或者,您也可以采取不那么敏感的方式使广
    收藏 0 赞 0 分享

    友情连接与SEO的关系

    外连的多少是SE判断一个网站质量的好坏的最基本的标准,谷歌的PR值,百度的超连分析技术等都是以连接网页的数量的多少来决定一个网页的质量的。相对,网站做友情连接,也是以这点为出发点的。但是,友情连接质量的高低往往会起到影响网站排名的关键性作用。因次,我们必须在
    收藏 0 赞 0 分享

    一个网站的好坏是网民说了算还是PR说了算

    大概每一季度的PR更新,都能在站长界引起一阵不大不小的地震,谷歌在2009年端午节这一天,更新了其旗下品牌的PR值,让很多站长觉得这是谷歌在中国的传统节日端午送上的大礼。 谷歌也真够有心的了,偏偏在端午那一天与大家“意思意思”,PR值,对于广大的站长确
    收藏 0 赞 0 分享

    网站成功的必备条件分析小结

    托尔斯泰有句名言:“幸福的家庭都是相似的,不幸的家庭各有各的不幸”。引申到建站方面,即“成功的网站都是相似的,失意的网站各有各的不幸”。 那么,网站的成功,都有哪些相似之处呢?网站成功需要哪些重要因素呢? 有人会说技术最重要
    收藏 0 赞 0 分享

    网站运营推广中的内容策略浅谈

    一、提升流量的内容策略 提升流量(PV)的关键是什么呢?很简单,让用户大量点击网站的页面,阅读网站的内容。浏览的页面多了,流量自然就上去了。那如何才能增加用户的点击行为呢? 1、根据用户喜好,增加相应的文章数量。注意,这里说的文章,是指用户喜欢的内容。 2
    收藏 0 赞 0 分享
    查看更多