浅析豆瓣网站运营的主要技术模式

所属分类: 网站运营 / 建站经验 阅读数: 178
收藏 0 赞 0 分享

豆瓣全部使用python开发。网站后台的搜索引擎基于Twisted, GUI基于Quixote,还用到了cElementTree, MySQL和 PIL,这是豆瓣技术的基础。
纯粹的技术原理之外,相关豆瓣技术还有三个核心原则:以用户为中心、简单的前台与复杂的后台、快速开发。

以用户为中心
Web2.0 改变了一些产品特性的优先级。原来做产品会把功能性放在首要位置,而可用性的优先级会往后放。现在则由于要给普通用户使用,必须要以用户为中心,肯定要从易用的角度出发。可以说,Ajax技术的流行,首先解决的也是一个观念问题。虽然这时点击量无法获得增长,但是它却可以给用户带来更为便利的网络访问。现在的网站开发不是为了追求点击量了,而是为用户提供需要的功能,满足他们的需求。
寻找需求以创新,了解需求以完善细节
在杨勃看来,对大部分人来说,书籍、音乐、电影的选择特别多,于是豆瓣网的方向初步确定,也就是需要发现和分享。每个人的口味都不一样,大家共享之后就会产生口碑传递。“所以,一开始做豆瓣不是为了做一个网站,而是满足人们的一个需求,如果对用户没用,只是新鲜是远远不够的。”
现在同一类型的各个网站,技术高低对网站外观的影响不是特别明显,但只需要使用一下网站,就会明白很多差距。原因就在于,创新来自找到需求,细节来自了解需求。
 
简单的前台与复杂的后台
为了最大程度的符合用户习惯,简单的前台界面不代表系统的简单。事实上,正相反,在Web2.0的系统中,后台需要做更多的工作。一些表面看起来很简单的功能背后需要大量的程序和计算的支撑。
基于数学统计的推荐引擎
豆瓣就是最具代表性的例子。与大多数网站不同的是,最早开发的部分是一套推荐引擎,这是基于数学统计的计算模型。在用户点击、浏览以后,这套模型可以自动分析出“与其兴趣相投的人”,并主动地推荐用户最有可能喜欢的书籍、音乐或者电影。
功能强大但使用简单的管理工具
豆瓣是100%动态网站,没有一个静态的页面。我们完全可以将其视为一个个人管理书籍、音乐、影碟的工具,只是将工具放在网上了。现在,很多网站抄袭了豆瓣的模式和资源,但仅仅抄袭一个网站的表面是没有价值的。
Web越来越像一个计算平台。通过各种Web应用将计算机连接起来,比如需要相册时可以使用Flickr,需要地图时调用Google Map的Api。随着很多服务商逐渐将自己的服务开放出来,每个网站都可以视为一个软件服务提供商,相互之间的联系让系统越来越复杂,而这种系统的复杂并不会带来功能使用的繁琐。
强大的功能、简单的使用,这是Web2.0应用的必然趋势。由豆瓣的应用,可以看出发现联系用户之间的关系,在后台建立导引用户功能的连接,针对数据量做好方便的存储和查询,这就是网站技术的核心。
 
快速开发
很难想象,豆瓣拥有5000万的注册用户,Alexa的流量排名在一千左右,很长的一段时间内却一直就只有一台八千块钱攒起来的服务器、一两个人的开发团队维护着。
为了适应这种规模,开发模式需要进行改变。这在很多Web2.0的网站中都有所体现,有人称之为简单哲学。为了快速开发,系统设计也需要进行简化。杨勃说,“豆瓣网中间也做过一些变动,最初还是受原来做企业系统的影响,结构设计的太复杂,甚至还分了很多层。后来就简化了,因为太复杂之后就难以做快速开发。”
豆瓣现在采用的是敏捷开发的模式,这是一个快速开发、快速变化的体系,平均每两天就有新的功能出现。

系统构架延展性强、更新升级迅速
“Web2.0网站是快速变化的,并不是把所有的功能都在开始阶段完全实现。”杨勃说,“这就要求系统构架的可扩展性要做的很好。而且必须考虑将来规模可能带来的问题。豆瓣网一开始的架构设计就可以支撑上百万用户。”同时,基于Web的开发省去了客户端分发、维护的成本,因此可以做到“永远的 BETA”、随时更新和升级服务。据说,豆瓣学习对象Flickr的升级是以小时为单位的。

与用户交互频繁
Web2.0与用户的交互也是让网站快速完善的动力。网站运行之后,听取用户的反馈,指导下一步的应用开发。“豆瓣网有一个站务论坛,很多人经常发言提出自己的需求。”比如豆瓣刚开张时,由于每个人都可以自由创建小组或者参加小组,于是用户可能会同时参加几十个小组。但由于很多小组人数比较少,可能很长时间才会有人发言,于是大家就要求有一个功能,把所有小组的最新发言聚合在一起。杨勃很快实现了这个功能,事实也证明非常受欢迎。

技术人员学习能力强
杨勃认为,由于是小团队,工作模式就不能是一个经理带一帮人,而是大家都需要参与编程。而且,对综合学习能力的要求比较高。“因为技术变化很快,现在对任何技术再熟悉,经验再多,过几个月可能又出现了新的技术,因此最重要的是要能够跟踪最新的知识。而且由于最新的Web2.0模式和思想都是从国外发起的,所以程序员要具有在英文环境中直接沟通的能力,能够直接参与到国外的开源项目中,而不是看已经翻译为中文的文档。”杨勃表示,自己学习Python 也是随豆瓣网开始的。“Python很适合敏捷开发,最初的时候曾经尝试过使用Ruby,后来由于豆瓣网需要很多后台的程序,Python更适合编写一些后台模型程序,最终前台也统一为一种语言。”杨勃之前对MySQL了解很少,但在做豆瓣网的过程中,很快将知识弥补上来。“现在我们有几个数据库都可以做同步,有些内容我们还向开源社区进行了回馈。”
豆瓣选用了很多开源产品,杨勃认为:“用好开源产品是非常关键的。豆瓣的平台是基于Linux,数据库用的是MySQL,除了数据挖掘和搜索,其它都是在开源产品之上开发的。因为现在有很多非常成熟的产品和模块,没有必要从头做,只要有能力了解获得这方面的知识,都能够很快在别人的基础上开发自己的系统。”


豆瓣是一个使用Python进行开发的网站
在开发框架方面,豆瓣主要使用Quixote(一个轻量级的Python Web框架,简单、高效,代码简洁);后台运行的Web服务主要使用Web.py(web.py也是一个Python的Web框架,简单且功能强大)。

豆瓣网可分割成两大块:一块是前端的Web,也就是用户在浏览器访问的时候会触发一系列的操作,从数据库拿出数据,渲染成HTML页面反馈给用户,这是前端;另外一块是后端,在豆瓣有一个很强的数据挖掘团队,每天把用户产生的数据进行分析,进行组合,然后产生出用户推荐,然后放在数据库里面,前端会实时的抓取这些数据显示给用户。

豆瓣(架构)设计现在在WEB这一端主要是用这么几种技术:前端是nginx和lighttpd,中间是Quixote的Web框架,后面是MySQL以及我们自己开发的DoubanDB。这些除了Quixote都是一些比较流行的、尖端的技术。Quixote稍微老一点,如果要重新设计的话,可能会在这方面做一些考虑。比如Python社区中的Django、Pylons等等都是可以考虑的,那么在豆瓣的内部的话,我们一般是用web.py,很轻量的一个Web框架来做,也是非常不错的选择,它可能需要自己做的事情多一点。

豆瓣现在还没有达到数据库分片的程度。最常见的手段是,按照功能分区。我们会把数据表分成几个独立的库,现在是一共有4个库。每个表都是库的一个部分,每个库会有主副两个。通过这种方式来减轻数据库的压力,当然这个是现在的方案,再往后的话,表的行数会增长,到达一定的程度后,还要进行水平分割,这是肯定的。然后我们现在的技术方面,在操作数据库之前,首先获取数据库的游标,有一个方法,这个方法会干所有的事情,我们以后做的时候会从这个方法中进行判断该从哪取东西。这个架构已经在了,只是现在还没有做这一步而已。

更多精彩内容其他人还在看

空手套白狼:说说招投标网站的一些内幕 掌握资源的网站远比内容原创更重要

我非常欢迎这类文章的投稿,并会做传播,作者是一位建筑公司的经理,会通过互联网与大量招标类网站有接触,并通过自己的经历告诉了我们这些网站的内幕,通过本文可以了解到:掌握资源的网站远比内容原创更重要
收藏 0 赞 0 分享

百度站长平台:站点整改反馈功能即将上线

百度站长平台今日发布公告表示即将推出站点整改反馈功能,即若站长网站内容存在质量或是作弊问题,百度站长平台会将相关问题告知站长。若能在规定时间内修正,网站可有一次避免被惩罚的机会
收藏 0 赞 0 分享

建站经验:网站建设公司发展必备的22条商规

22条商规,是一本被神话了的商业著作,其实它翻来覆都在讲一个道理:成为你行业的标杆,然后一切你说了算。记得有位朋友跟我说,22商规其实只有最后一条定律是最重要的,其他的都是空谈。不过,本文希望能站在建站公司的角度重新解读,不当之处也多情谅解。
收藏 0 赞 0 分享

虚拟主机安装Dropbox备份网站的教程

虽然目前从国内访问Dropbox有小小困难,但是从国外访问还是正常的,对于拥有国外Linux虚拟主机的用户,可能会遇到这样的需求,就是如何将国外虚拟主机上的网站备份到Dropbox上,下面我以Dreamhost为例介绍一下备份的方法
收藏 0 赞 0 分享

站长再谈博客,理性、务实、交流是本质

如今大家都迷恋着资讯站、小说站、电商站的经营,已经很少有人再去关心所谓的博客了。还记得09年左右,独立博客迎来自身发展的黄金时期,涌现了牟长青、一格电、卢松松、月光博客等一系列知名博客,而这其中卢松松博客也已经实现了突破发展,向着平台继续前进
收藏 0 赞 0 分享

关于网站备案的44个问题和经验总结

这篇文章主要介绍了关于网站备案的44个问题和经验总结,这些问题是在备案过程中经常遇到的,需要的朋友可以参考下
收藏 0 赞 0 分享

企业建站注意事项:黑心建站公司的陷阱-域名所有者

这篇文章主要介绍了企业建站注意事项:黑心建站公司的陷阱-域名所有者,建站时购买的域名持有者一定要是息的资料,否则等着被坑吧,需要的朋友可以参考下
收藏 0 赞 0 分享

你赚到钱了吗?站长们之所以赚不到钱是因为缺乏这些思路

我们有没有找到问题的根源,我想这样的问题根源不在于个人的能力,而在于自己的思维和策略。那么,发现了问题根源,我们用什么样的方法去解决,这才是最重要的,也是大家最想知道的事情。今天,我就根据自己的一些想法,给大家分享一下解决办法
收藏 0 赞 0 分享

从“郭美美赌球被抓”这事件来谈谈百度搜索的用户体验

最近郭美美又火了一把,而且这把火并不好过,让她欠债2.6亿元,并且被带到了自己最不愿去的地方-警察局“做客”。今天本文就和大家一起从从“郭美美赌球被抓”这事件来谈谈百度搜索的用户体验
收藏 0 赞 0 分享

站长必看:竞价只靠钱来砸实在是太傻了!

虽然站长圈对于百度的这个商业行为十分厌恶,但是从自身利益上讲,我们还要遵守百度的游戏规则。不过,要说到效果,竞价的确有一定的话语权,有些专门竞价的站长的确是从中受益不少,只不过钱砸的太狠了
收藏 0 赞 0 分享
查看更多