简单了解Google的主力数据存储系统Bigtable

所属分类: 网站运营 / 建站经验 阅读数: 234
收藏 0 赞 0 分享

BigTable是Google设计的分布式数据存储系统,用来处理海量的数据的一种非关系型的数据库。
BigTable是非关系型数据库,是一个稀疏的、分布式的、持久化存储的多维度排序Map。Bigtable的设计目的是快速且可靠地处理PB级别的数据,并且能够部署到上千台机器上。
Bigtable已经实现了以下的几个目标:适用性广泛、可扩展、高性能和高可用性。
Bigtable已经在超过60个Google的产品和项目上得到了应用,包括 Google Analytics、GoogleFinance、Orkut、Personalized Search、Writely和GoogleEarth。这些产品对Bigtable提出了迥异的需求,有的需要高吞吐量的批处理,有的则需要及时响应数据给最终用户。它们使用的Bigtable集群的配置也有很大的差异,有的集群只有几台服务器,而有的则需要上千台服务器、存储几百TB的数据。

在很多方面,Bigtable和数据库很类似:它使用了很多数据库的实现策略。并行数据库和内存数据库已经具备可扩展性和高性能,但是Bigtable提供了一个和这些系统完全不同的接口。
Bigtable不支持完整的关系数据模型;与之相反,Bigtable为客户提供了简单的数据模型,利用这个模型,客户可以动态控制数据的分布和格式(alex注:也就是对BigTable而言,数据是没有格式的,用数据库领域的术语说,就是数据没有Schema,用户自己去定义Schema),用户也可以自己推测(alex注:reasonabout)底层存储数据的位置相关性(alex注:位置相关性可以这样理解,比如树状结构,具有相同前缀的数据的存放位置接近。在读取的时候,可以把这些数据一次读取出来)。数据的下标是行和列的名字,名字可以是任意的字符串。
Bigtable将存储的数据都视为字符串,但是Bigtable本身不去解析这些字符串,客户程序通常会在把各种结构化或者半结构化的数据串行化到这些字符串里。通过仔细选择数据的模式,客户可以控制数据的位置相关性。最后,可以通过BigTable的模式参数来控制数据是存放在内存中还是硬盘上。

特点:
1、适合大规模海量数据,PB级数据;
2、分布式、并发数据处理,效率极高;
3、易于扩展,支持动态伸缩;
4、适用于廉价设备;
5、适合于读操作,不适合写操作。
6、不适用于传统关系型数据库;

应用:
BigTable为谷歌旗下的搜索、地图、财经、打印、以及社交网站Orkut、视频共享网站YouTube和博客网站Blogger等业务提供技术支持。


Cloud Bigtable
此外,Google也为用户提供Bigtable云数据库——他们的自有数据库,在其搜索、Gmail、地图或YouTube等服务中使用已超过十年时间。Bigtable不像Google的其它产品一样开源,因此这一新的云服务只能通过开源接口Apache HBase 1.0.1 API访问。
谷歌承诺,Cloud Bigtable的延迟时间将限制在几毫秒(个位数),每美元性能是HBase、Cassandra等类似数据库的两倍。由于Cloud Bigtable支持HBase的应用程序接口,所以它能够与分布式系统基础架构Hadoop生态系统中的现有应用相整合,但也支持谷歌的云数据分析工具Cloud Dataflow。

Bigtable云的特性如下:

1.可扩展至成百上千个PB
2.高可用性
3.可复制
4.数据以加密形式传输和存储
5.全托管
6.与Hadoop生态系统集成
适用于金融、物联网、时序和市场等领域的数据
Google称Bigtable凭借“个位数毫秒级延迟以及两倍于其它非托管NoSQL产品的性价比”提供“无与伦比的性能”。数据如下图所示,该图由Google发布,目前还没有被某个独立衡量基准验证核实过。
2016127100215091.png (1004×541)

更多精彩内容其他人还在看

空手套白狼:说说招投标网站的一些内幕 掌握资源的网站远比内容原创更重要

我非常欢迎这类文章的投稿,并会做传播,作者是一位建筑公司的经理,会通过互联网与大量招标类网站有接触,并通过自己的经历告诉了我们这些网站的内幕,通过本文可以了解到:掌握资源的网站远比内容原创更重要
收藏 0 赞 0 分享

百度站长平台:站点整改反馈功能即将上线

百度站长平台今日发布公告表示即将推出站点整改反馈功能,即若站长网站内容存在质量或是作弊问题,百度站长平台会将相关问题告知站长。若能在规定时间内修正,网站可有一次避免被惩罚的机会
收藏 0 赞 0 分享

建站经验:网站建设公司发展必备的22条商规

22条商规,是一本被神话了的商业著作,其实它翻来覆都在讲一个道理:成为你行业的标杆,然后一切你说了算。记得有位朋友跟我说,22商规其实只有最后一条定律是最重要的,其他的都是空谈。不过,本文希望能站在建站公司的角度重新解读,不当之处也多情谅解。
收藏 0 赞 0 分享

虚拟主机安装Dropbox备份网站的教程

虽然目前从国内访问Dropbox有小小困难,但是从国外访问还是正常的,对于拥有国外Linux虚拟主机的用户,可能会遇到这样的需求,就是如何将国外虚拟主机上的网站备份到Dropbox上,下面我以Dreamhost为例介绍一下备份的方法
收藏 0 赞 0 分享

站长再谈博客,理性、务实、交流是本质

如今大家都迷恋着资讯站、小说站、电商站的经营,已经很少有人再去关心所谓的博客了。还记得09年左右,独立博客迎来自身发展的黄金时期,涌现了牟长青、一格电、卢松松、月光博客等一系列知名博客,而这其中卢松松博客也已经实现了突破发展,向着平台继续前进
收藏 0 赞 0 分享

关于网站备案的44个问题和经验总结

这篇文章主要介绍了关于网站备案的44个问题和经验总结,这些问题是在备案过程中经常遇到的,需要的朋友可以参考下
收藏 0 赞 0 分享

企业建站注意事项:黑心建站公司的陷阱-域名所有者

这篇文章主要介绍了企业建站注意事项:黑心建站公司的陷阱-域名所有者,建站时购买的域名持有者一定要是息的资料,否则等着被坑吧,需要的朋友可以参考下
收藏 0 赞 0 分享

你赚到钱了吗?站长们之所以赚不到钱是因为缺乏这些思路

我们有没有找到问题的根源,我想这样的问题根源不在于个人的能力,而在于自己的思维和策略。那么,发现了问题根源,我们用什么样的方法去解决,这才是最重要的,也是大家最想知道的事情。今天,我就根据自己的一些想法,给大家分享一下解决办法
收藏 0 赞 0 分享

从“郭美美赌球被抓”这事件来谈谈百度搜索的用户体验

最近郭美美又火了一把,而且这把火并不好过,让她欠债2.6亿元,并且被带到了自己最不愿去的地方-警察局“做客”。今天本文就和大家一起从从“郭美美赌球被抓”这事件来谈谈百度搜索的用户体验
收藏 0 赞 0 分享

站长必看:竞价只靠钱来砸实在是太傻了!

虽然站长圈对于百度的这个商业行为十分厌恶,但是从自身利益上讲,我们还要遵守百度的游戏规则。不过,要说到效果,竞价的确有一定的话语权,有些专门竞价的站长的确是从中受益不少,只不过钱砸的太狠了
收藏 0 赞 0 分享
查看更多