MySQL去重该使用distinct还是group by?

所属分类: 数据库 / Mysql 阅读数: 1202
收藏 0 赞 0 分享

前言

关于group by 与distinct 性能对比:网上结论如下,不走索引少量数据distinct性能更好,大数据量group by 性能好,走索引group by性能好。走索引时分组种类少distinct快。关于网上的结论做一次验证。

准备阶段屏蔽查询缓存

查看MySQL中是否设置了查询缓存。为了不影响测试结果,需要关闭查询缓存。

show variables like '%query_cache%';

在这里插入图片描述

查看是否开启查询缓存决定于query_cache_typequery_cache_size

  • 方法一:关闭查询缓存需要找到my.ini,修改query_cache_type需要修改C:\ProgramData\MySQL\MySQL Server 5.7\my.ini配置文件,修改query_cache_type=0或2
  • 方法二:设置query_cache_size为0,执行以下语句。
set global query_cache_size = 0;

方法三:如果你不想关闭查询缓存,也可以在使用RESET QUERY CACHE

现在测试环境中query_cache_type=2代表按需进行查询缓存,默认的查询方式是不会进行缓存,如需缓存则需要在查询语句中加上sql_cache

数据准备

t0表存放10W少量种类少的数据

drop table if exists t0;
create table t0(
id bigint primary key auto_increment,
a varchar(255) not null
) engine=InnoDB default charset=utf8mb4 collate=utf8mb4_bin;
1
2
3
4
5
drop procedure insert_t0_simple_category_data_sp;
delimiter //
create procedure insert_t0_simple_category_data_sp(IN num int)
begin
set @i = 0;
while @i < num do
	insert into t0(a) value(truncate(@i/1000, 0));
 set @i = @i + 1;
end while;
end
//
call insert_t0_simple_category_data_sp(100000);

t1表存放1W少量种类多的数据

drop table if exists t1;
create table t1 like t0;
1
2
drop procedure insert_t1_complex_category_data_sp;
delimiter //
create procedure insert_t1_complex_category_data_sp(IN num int)
begin
set @i = 0;
while @i < num do
	insert into t1(a) value(truncate(@i/10, 0));
 set @i = @i + 1;
end while;
end
//
call insert_t1_complex_category_data_sp(10000);

t2表存放500W大量种类多的数据

drop table if exists t2;
create table t2 like t1;
1
2
drop procedure insert_t2_complex_category_data_sp;
delimiter //
create procedure insert_t2_complex_category_data_sp(IN num int)
begin
set @i = 0;
while @i < num do
	insert into t1(a) value(truncate(@i/10, 0));
 set @i = @i + 1;
end while;
end
//
call insert_t2_complex_category_data_sp(5000000);

测试阶段

验证少量种类少数据

未加索引

set profiling = 1;
select distinct a from t0;
show profiles;
select a from t0 group by a;
show profiles;
alter table t0 add index `a_t0_index`(a);

在这里插入图片描述

由此可见:少量种类少数据下,未加索引,distinct和group by性能相差无几。

加索引

alter table t0 add index `a_t0_index`(a);

执行上述类似查询后

在这里插入图片描述

由此可见:少量种类少数据下,加索引,distinct和group by性能相差无几。

验证少量种类多数据未加索引

执行上述类似未加索引查询后

在这里插入图片描述

由此可见:少量种类多数据下,未加索引,distinct比group by性能略高,差距并不大。

加索引

alter table t1 add index `a_t1_index`(a);

执行类似未加索引查询后

在这里插入图片描述

由此可见:少量种类多数据下,加索引,distinct和group by性能相差无几。

验证大量种类多数据

未加索引

SELECT count(1) FROM t2;

在这里插入图片描述

执行上述类似未加索引查询后

在这里插入图片描述

由此可见:大量种类多数据下,未加索引,distinct比group by性能高。

加索引

alter table t2 add index `a_t2_index`(a);

执行上述类似加索引查询后

在这里插入图片描述

由此可见:大量种类多数据下,加索引,distinct和group by性能相差无几。

总结 性能比 少量种类少 少量种类多 大量种类多未加索引相差无几distinct略优distinct更优加索引相差无几相差无几相差无几

去重场景下,未加索引时,更偏向于使用distinct,而加索引时,distinct和group by两者都可以使用。

更多精彩内容其他人还在看

MariaDB(MySQL)创建、删除、选择及数据类型使用详解

这篇文章主要介绍了MariaDB(MySQL)创建、删除、选择及数据类型使用详解的相关资料,需要的朋友可以参考下
收藏 0 赞 0 分享

mysql索引学习教程

在mysql 中,索引可以分为两种类型 hash索引和 btree索引。这篇文章主要介绍了mysql索引的相关知识,非常不错,具有参考借鉴价值,感兴趣的朋友一起看看吧
收藏 0 赞 0 分享

MySQL修改默认字符集编码的方法

这篇文章主要介绍了MySQL修改默认字符集编码的方法的相关资料,非常不错,具有参考借鉴价值,需要的朋友可以参考下
收藏 0 赞 0 分享

MySQL中实现插入或更新操作(类似Oracle的merge语句)

这篇文章主要介绍了在MySQL中实现插入或更新操作(类似Oracle的merge语句)的相关资料,非常不错,具有参考借鉴价值,需要的朋友可以参考下
收藏 0 赞 0 分享

mysql5.x升级到mysql5.7后导入之前数据库date出错的快速解决方法

这篇文章主要介绍了mysql5.x升级到mysql5.7后导入之前数据库date出错的快速解决方法,非常不错,具有参考借鉴价值,需要的朋友可以参考下
收藏 0 赞 0 分享

LNMP下使用命令行导出导入MySQL数据库的方法

这篇文章主要介绍了LNMP下使用命令行导出导入MySQL数据库的方法,需要的朋友可以参考下
收藏 0 赞 0 分享

MySql中的IFNULL、NULLIF和ISNULL用法详解

在做项目中发现MySql里的isnull和mssql里的有点不同。接下来小编通过本文给大家介绍MySql中的IFNULL、NULLIF和ISNULL用法详解的相关资料,非常不错,具有参考借鉴价值,需要的朋友可以参考下
收藏 0 赞 0 分享

Mysql 5.7 服务下载安装图文教程(经典版)

MySQL 5.7在诸多方面都进行了大幅的改进,主要在于安全性、灵活性、易用性、可用性和性能等几个方面。这篇文章主要介绍了Mysql5.7服务下载安装图文教程(经典版),需要的朋友可以参考下
收藏 0 赞 0 分享

SQL重复记录查询 查询多个字段、多表查询、删除重复记录的方法

下面小编就为大家带来一篇SQL重复记录查询 查询多个字段、多表查询、删除重复记录的方法。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
收藏 0 赞 0 分享

mysql socket文件作用详解

这篇文章主要介绍了mysql socket文件作用的相关资料,需要的朋友可以参考下
收藏 0 赞 0 分享
查看更多