SEO技术实践操作之网站蜘蛛日志分析

所属分类: 网站运营 / 网站策划 阅读数: 80
收藏 0 赞 0 分享

  总有人在问为什么要看网站日志,网站日志怎么看,但是回答的都不多,脚本之家的小编觉得想看到答案的人有很多所以今天就来告诉一下还没有接触网站日志或者接触了网站日志,但是不知道怎么去分析的小伙伴们,希望对你们有所帮助。

  首先我们来看看什么是网站日志?网站日志是记录web服务器接收处理请求以及运行时错误等各种原始以·log结尾的文件信息,准确的说法应该是WEB服务器日志。SEO们常说的网站日志最大的意义是记录网站运营中网站实时的运行情况,网站用户访问记录,网站蜘蛛爬行记录等。通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率显示器的情况下访问了你网站的哪些页面,访问状态是否成功,这些都可以在网站日志中看见。

  根据上面我们对网站日志有了一个大楷的了解,可是我们还是不知道网站日志长什么样的,接下来我们在看看网站日志长什么样,这里就以SEO博客的日志给大家展示一下。

  2014-09-20 04:23:14 W3SVC1328191266 59.188.69.102 GET /biji/11.html - 80 - 123.125.71.54 Mozilla/5.0+(compatible;+Baiduspider-cpro;++http://www.baidu.com/search/spider.html) 200 0 0

  上面那段日志就是w3c标准的日志,这条日志是一台百度蜘蛛抓取SEO博客笔记栏目下的一篇文章记录,我们就来解决怎么看网站日志的情况,其实有很多日志分析工具也可以帮忙的,我们小站就收工分析一下就行啦,下面就一起来一点一点的跟分析一下这段日志是什么意思吧。

  2014-09-20  04:23:14这个是记录蜘蛛抓取(或者是爬行)网站的时间

  W3SVC1328191266这个是记录网站日志的标准

  59.188.69.102 被蜘蛛访问的网站,做互联网的基本都清楚,域名只是让我们方便记忆和传播,在我们访问网站的时候,其实在后台要运行解析,把域名转化成IP地址,所以这段IP就是网站的IP了。

  GET /biji/11.html 被访问的路径,看到这里,相信聪明的小伙伴已经知道,我们为什么要来分析一下网站的日志了吧?因为只有分析日志我们才知道我们网站是否有蜘蛛来爬行,爬行了我们网站哪些目录和页面,哪些页面和目录没有被爬行,作为网站的站长我们就要去分析为什么没有被蜘蛛爬行的原因了。

  80 这个是网站的端口,服务器与你的电脑互通的端口

  123.125.71.54 访问者的IP,我们可以通过日志找到是谁在什么地方访问的我们,我们可以通过IP查询工具找到这个IP是什么地方的。

  Mozilla/5.0+ 访问者使用的客户端浏览器版本

  compatible;+Baiduspider-cpro;++ 这个是百度的联盟的spider,这里也顺带着给大家提一下百度spider是什么,Baiduspider是百度搜索引擎的一个自动程序,它的作用是访问互联网上的网页,建立索引数据库,使用户能在百度搜索引擎中搜索到您网站上的网页,spider通常也被人们叫做搜索引擎蜘蛛。百度各个产品使用不同的user-agent:也代表着不同的用途,无线搜索Baiduspider 、图片搜索Baiduspider-image、视频搜索Baiduspider-video、新闻搜索Baiduspider-news、百度搜藏Baiduspider-favo、百度联盟Baiduspider-cpro、商务搜索Baiduspider-ads、网页以及其他搜索Baiduspider这也是网盟最喜欢看见的蜘蛛。

  200 是网站的返回码,证明蜘蛛在索引该页面的时候是正常可以访问的。

  通过以上对网站日志的解释相信大家对网盟分析网站日志有什么用应该找到了吧!分析网站日志能够使网盟清楚的了解网站现有的情况并作出调整,分析网站日志的时候我们也只需要注意几个常见的spider和网站访问时间、返回代码、响应速度这些就行了。

  以上就是百度网站蜘蛛日志分析的全过程,希望能帮到大家,谢谢阅读。请大家继续关注脚本之家。

更多精彩内容其他人还在看

电子商务网站转型的几个方向

为了给电子商务平台买卖双方以更大的吸引力,或许可以从企业本身的需求上得到一点启发: 第一、终端消费群体对生活品质的要求不会因为经济环境的恶化而降低标准,性价比足够高的商品仍然具有吸引力; 第二、采购商和供应商经营成本的增加必定导致终端产品价格的上涨
收藏 0 赞 0 分享

做网站内容为王

 笔者亲身经历过网站发展的过程,中国网店网从开始建立的毫无流量,毫无内容到现在逐步发展起来,感触和体会非常多,其中经历了太多太多的抉择,做网站到底是追求流量还是追求内容?亦或是追求用户?笔者用了大量的时间去思考这个问题,看着自己负责的网站一步一步的
收藏 0 赞 0 分享

互联网应该进军高端付费用户

互联网进军高端付费用户吧! --我不是不愿意付费,我需要的是能让我产生付费冲动的服务。 经常被同事们批评,老嫌弃我是高端用户,我真的很想辩解,我没进互联网这一行工作的时候,我就是高端用户了。 8年前,我就开始愿意为互联网付费。由此可见,高不高端是天生的
收藏 0 赞 0 分享

站长!其实你的思维可以更“变态”些!

按正常的理论来说,一般成功的站长,多多少少“头脑”都有点问题!也可以说比常人更“变态”!当然我说的“头脑有问题”、“变态”并不是医学上的哪些病,而是说这些成功人士一般想法和做事风格往往超出别人的想象,正是因为这样,才会有许多不同的特色成功站点出现
收藏 0 赞 0 分享

靠网站致富的梦想破灭,站长的前途在哪里?

 日赚500元,这是广大中小站长朋友们的一个不大不小的梦想。但是时过境迁,当今互联网早已非昨日之网络世界,有一些变动因素是我们不得不考虑的,日赚500元的不可行性分析笔者将主要从以下六个方面进行简要的分析。  其一,网民经验的丰富。  由于网民的经验越
收藏 0 赞 0 分享

用户体验都是从哪个角度做的

网站面向终端,用户体验的差别直接影响网站的发展。看看业界都是怎么做用户体验的。 1 豆瓣网:心灵鸡汤。它的用户体验究竟好在何处?非粉丝不能明白。如果你是个爱书人,自认为还有那么点儿与众不同的喜好,那么豆瓣很符合这样的定位。一杯清茶,伴
收藏 0 赞 0 分享

李一男2003年在港湾给开发人员培训时的语录

李一男2003年在港湾给开发人员培训时的语录: 【1】好好规划自己的路,不要跟着感觉走!根据个人的理想决策安排,绝大部分人并不指望成为什么院士或教授,而是希望活得滋润一些,爽一些。那么,就需要慎重安排自己的轨迹。从哪个行业入手,逐渐对该行业深入了解,不
收藏 0 赞 0 分享

少儿网站项目策划

一. 概述: 如果说21世纪是网络世纪,那么21世纪的教育也应该是网络化的教育。面对网络,当我们还在为网络的利弊以及是否让孩子上网争论不休的时候,Internet上的儿童网站在北美地区的普及率已经相当高,那里的孩子们在网络上已经走得很远了:小学老师给孩子布
收藏 0 赞 0 分享

个人站长建设地方网站完全手册

走到第十个年头,互联网下一步会走向何方?这是我们大家不断思索的问题。地方性网站一直是我比较感兴趣的话题,我的博客《榆林网志》里许多文章也在讨论我所在的城市的网络发展。地方网络也是我觉得中国互联网以后发展的一个趋势,也是榆林区域网络的前景所在。   
收藏 0 赞 0 分享

小型网络公司发展离不开个人站长

个人站长最大的愿望可能就是有一天自己的网站可以成为网络公司运作。但是,作为个人网站的站长,是不是也该理性的想想,那些网络公司的网站,就比个人站长的牛吗?曾经我很喜欢Mop,也很喜欢Chinaz 。是每天必上的,后来他们慢慢商业化成公司运作后,我现在只是在偶
收藏 0 赞 0 分享
查看更多