剖析美团内部所采用的网站压力测试方案

所属分类: 网站运营 / 网站优化 阅读数: 102
收藏 0 赞 0 分享

美团内部的RPC服务大多构建在Thrift之上,在日常开发服务的过程中,需要针对这些服务进行压力测试(以下简称压测)来发现潜在问题。常用的方法有:

1.使用一些脚本语言如:Python、Ruby等,读取线上日志构建请求,用多线程模拟用户请求进行压测
2.使用开源工具进行压测
然而,无论采取哪种方法,压测都是一个十分耗时而又繁琐的过程,主要痛点有:

需要写很多代码解析日志,还原请求,对于比较复杂的请求,解析很容易出错
需要搭建脚本或者工具的运行环境,通常这一过程比较耗时
由于打压方法没有统一,导致打压的结果指标比较混乱,有的结果甚至以终端输出的方式展示,非常不直观
对一个应用的打压测试,由于环境、代码的问题,导致组内同学很难共享
针对上述问题,提供一个简单好用的压测工具是十分有必要的。

是否有必要重复造轮子
在构建压测工具之前,对于一些现有的开源工具进行了调研。现在主流的压测工具主要有以下几个:

JMeter
JMeter是一个比较老牌的压测工具,主要针对HTTP服务进行打压,该工具在以下方面并不满足美团内部的压测需求:

1.默认不支持Thrift的打压测试
2.需要本地安装,并且配置复杂
3.对于用户操作并不友好
201632393024299.png (1045×359)

twitter/iago
iago 是一个由Twitter开源的压测工具,支持对HTTP、Thrift等服务进行压测,其主要问题如下:

对每个压测应用都需要创建一个项目
压测结果并不直观
流量重放依赖本地文件
项目依赖于一个较老版本的Scala,搭建不便
相关文档比较少
除此之外,当时还考察了GatlingGrinderLocust 等一些常见的压测工具,都因为适用场景和美团的需求有些出入而排除了。

综上,针对当前压测工具的一些现状,构建一个简单易用的压测工具还是很有必要的。

目标
针对之前提到的痛点,新的压测工具主要提供以下功能:

线上流量拷贝
1.简单易用的操作界面(接入压测的时间应该控制在1小时以内)
2.清晰的图表能反映压测应用的各项指标
3.满足包括Thrift、HTTP等服务的压测需求


如何构建
抽象
目标已经明确,怎么实现呢?首先是抽象压测的过程。
一个典型的压测过程如图所示,首先在init方法里面,进行一些初始化的工作,比如连接数据库,创建客户端等。接下来,在run方法里面发出压测请求,为了保证能够对服务产生足够的压力,这里通常采用多线程并发访问,同时记录每次请求的发起时间和结束时间,这两个时间的简单相减就能够得到每次请求的响应时间,利用该结果就可以计算出TP90、平均响应时间、最大响应时间等指标,等压测结束后,通过destroy方法进行资源回收等工作。
201632393116380.png (1490×592)

以上过程可以用接口表示,无论是压测Thrift服务还是HTTP服务,本质上都是这三个方法实现的不同。考虑到压测工具的灵活性和通用性,压测工具可以将这个接口交给打压测试的同学实现,而压测工具则重点实现多线程打压,打压结果的聚合等比较耗时的工作。

复制代码
代码如下:

interface Runner {
def init(Test app) // 初始化压测
def run(Test app, String log) // 每次打压请求,传入log方便构建请求
def destroy(Test app) // 压测完毕后,回收资源
}


拷贝流量
Thrift服务打压的难点之一就是如何简单地拷贝线上真实流量用来构建打压请求。一些大型的Thrift服务数据结构非常复杂,写打压脚本的时候需要很多代码来解析日志,而且容易出错。 因此提供一个简单好用的拷贝流量方法是十分有必要的。

在这里压测工具提供了一个叫VCR(录像机)的工具来拷贝流量。VCR能够将线上的请求序列化后写到Redis里面。

考虑到用户需要查看具体请求和易用性等需求,最终选取了JSON格式作为序列化和反序列化的协议。同时需要部署在生产环境,为了降低对线上服务的影响,这里采取了单线程异步写的方式来拷贝流量。
201632393337313.png (524×402)

聚合数据
应用打压完成后,需要一些指标来评估压测结果,常见的指标有:

1.最大响应时间
2.平均响应时间
3.QPS
4.TP90
5.TP50
压测工具采用了 InfluxDB 来完成数据的聚合工作。
以TP90为例子,仅需要一行查询就能实现需求。

SQL Code复制内容到剪贴板
  1. SELECT PERCENTILE(response_time, 90) FROM test_series GROUP BY time(10s)  

架构
整体而言,整个打压过程如下:
201632393434896.jpg (1372×996)

实践
拷贝流量
美团内部的服务大多使用Java来构建,VCR以Maven Package的方式提供给用户。

对用户来说只需要2行代码可以拷贝流量。

为了不影响线上服务,通常选取单台机器进行流量拷贝工作。

Java Code复制内容到剪贴板
  1. public class TestAppRPC implements TestApp.Iface {   
  2.   
  3.     private Vcr _vcr = new Vcr("testapp"); // 指定拷贝流量的key   
  4.   
  5.     @Override  
  6.     public TestResponse echo(TestRequest req) throws TException {   
  7.         _vcr.copy(req); // 拷贝操作   
  8.         long start = System.currentTimeMillis();   
  9.         TestResponse response = new TestResponse();   
  10.         return response;   
  11.     }   
  12. }  

一旦流量拷贝完成后,通过Web界面,用户能够查看日志的收集情况和单条日志的详情。
201632393521398.jpg (2782×1310)

压测逻辑实现
压测工具采用Groovy来进行编写。对每个应用来说,只需要实现runner接口就可以实现对应用的打压。

复制代码
代码如下:

interface Runner {
def init(Test app)
def run(Test app, String log)
def destroy(Test app)
}

以Thrift服务为例:

Java Code复制内容到剪贴板
  1. class TestServiceRunner implements Runner {   
  2.   
  3.     RPCService.Client _client   
  4.     TTransport _transport;   
  5.   
  6.     @Override  
  7.     def init(Test app) {   
  8.         def conf = app.config // 读取应用配置   
  9.         _transport = new TFramedTransport(new TSocket(conf.get("thrift_service_host") as String, conf.get("thrift_service_port") as int))   
  10.         TProtocol protocol = new TBinaryProtocol(_transport)   
  11.         _client = new RPCService.Client(protocol)   
  12.         _transport.open()   
  13.     }   
  14.   
  15.     @Override  
  16.     def run(Test app, String log) {   
  17.         TestRequest req = Vcr.deSerialize(log, TestRequest.class// 将拷贝流量反序列化   
  18.         _client.echo(req) // 发送请求   
  19.     }   
  20.   
  21.     @Override  
  22.     def destroy(Test app) {   
  23.         _transport.close() // 关闭服务   
  24.     }   
  25. }  

创建应用
实现以上接口后,就可以对应用进行打压了。

用户可以通过Web界面创建应用,除了必填配置以外,用户可以按照应用灵活配置。
201632393558352.jpg (2746×1034)

性能指标
用户可以通过直观的图表来查看应用的各种性能指标。
201632393619103.jpg (2880×2174)

结束语
压测工具上线以来,已经接入了20多个应用,完成数百次打压实验,现在应用的接入时间仅需要15~30分钟。保证了美团服务的稳定和节省了开发同学的时间,使大家告别了以往繁琐冗长的打压测试。

欢迎对这方面有兴趣的同学一起讨论。

更多精彩内容其他人还在看

网站优化必知:搜索引擎都重视原创的三大理由

作为一个优化人员应该知道原创是搜索引擎最重视的,想要做好网站,原创是必不可少的,那么,搜素引擎重视原创的理由是什么呢?
收藏 0 赞 0 分享

seo优化 获得高质量反向链接的方法

作为一名优化人员,我们都知道优化的时候是内容为王,外链为皇,说明外链对于优化来说也是非常重要的,那我们怎样才能获得高质量的反向链接呢?小编整理了几个获得高质量反向链接的方法,一起来看一下吧
收藏 0 赞 0 分享

新站必须要注意的一些关键点 才能稳定长久

在前期选取关键词时,尽量选用指数较小的关键词进行部署,由小词换大词,这样让网站有一个过渡期,就会可以很好的使网站稳定提升。下面为大家介绍新站必须要注意的一些关键点,来看看吧
收藏 0 赞 0 分享

如何做好网站运营呢?

网站不能主导市场,如果你实体店做的不咋地,网站就有可能一样带不来多少业务,尤其当市场上只需要一家的时候,有没有网站都很难改变这个趋势,那么如何做好网站运营呢?下面我们来看看吧
收藏 0 赞 0 分享

SEO常用到好用的工具有哪些?

做网站优化的一个瓶颈是SEO的自动化。到目前为止,绝大部分网站优化工作还得是人工去做。一些SEO工具可以辅助,但还没办法取代人工操作
收藏 0 赞 0 分享

大公司和小公司的产品推广方式有什么区别

在百度这样的大平台,获取流量和用户相对容易很多。我记得一个webapp的推广位,每天就能带来8K-12K的新增激活,像这样的位置至少有3-4个,虽然不同位置的量级大小不同,但每天2-3W的新增激活是很容易做到的,而且这只是我遇到的情况。
收藏 0 赞 0 分享

SEO优化的思维有哪些惯性陷井?

往往我们都会习惯性的分析网站的流量、查看网站的排名、网站的历史操作、现任的网站问题等等一系列状况,这对于大部份SEO来说这是习惯性的操作,但是这种习惯往往会潜伏着一个比较危险的信号,这个信号是隐藏,详情我们来看看吧
收藏 0 赞 0 分享

网站建设有哪些比较好的代码优化?

众所周知,现如今从搜索引擎的角度出发,我们都提倡使用div+css来布局网站,以此来更好的贴合搜索引擎的抓取习惯,但现在有一部分站长在网站建设中依然使用table来布局页面,下面小编就为大家介绍网站建设的代码优化,来看看吧
收藏 0 赞 0 分享

浅谈网站排名和文章的逻辑关系

对于搜索引擎的算,多数朋友都不会陌生,就像百度经历了链接投票算法、点击算法、到如今内容原创保护、和打击作弊等等各种算法,下面为大家浅谈网站排名和文章的逻辑关系,来看看吧
收藏 0 赞 0 分享

如何将优化做好?7天快速排名的基础SEO优化

如果网站的刚开始排名就不好那就要从自身的小细节做起了,所以大家一定要把基础优化做好,如何把一个行业地区词(郑州律师事务所)优化到前20名的,今天说的就是关于快速排名的基础优化的东西
收藏 0 赞 0 分享
查看更多