MySQL数据表合并去重的简单实现方法

所属分类: 数据库 / Mysql 阅读数: 941
收藏 0 赞 0 分享

场景:

爬取的数据生成数据表,结构与另一个主表相同,需要进行合并+去重

解决:(直接举例)

首先创建两个表pep,pep2,其中pep是主表

CREATE TABLE IF NOT EXISTS `pep/pep2`(
`id` INT UNSIGNED AUTO_INCREMENT,
`no` VARCHAR(100) NOT NULL,
PRIMARY KEY ( `id` )
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

然后向pep中插入两条数据,pep2中插入一条与pep中相同的一条数据

insert into pep(no) values('abc');
insert into pep(no) values('caa');

insert into pep2(no) values('abc');

将pep2的数据插入pep中

insert into pep (no) select no from pep2;

分组去重创建新的临时表tmp

create table tmp select id,no from pep group by no;

注意:创建完这个表的id字段类型已经不是主键自增

 可能也会报错
 ```Syntax error or access violation: 1055 Expression #1 of SELECT 
 list is not in GROUP BY clause and contains nonaggregated 
 column 'XXX.Y.ZZZZ' which is not functionally dependent on 
 columns in GROUP BY clause; this is incompatible with
 sql_mode=only_full_group_by
 ```
 解决:执行以下两个命令:
 ```
 mysql> set global sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
 
 mysql> set session sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
 ```

删除pep表,并将tmp表重命名为pep

drop table pep;
alter table tmp rename to pep;

查看desc结构和select * from pep发现id的字段类型变了,这里需要改回原来的类型;

alter table pep add primary key (id);
alter table pep modify id int auto_increment;

还有可以使用join来做去重,更快的还可以添加一个字段(可以是几个字段+起来的的md5值),给这个字段创建一个唯一索引unique,以后插入数据的时候,自动回过滤掉重复的数据。

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对脚本之家的支持。

更多精彩内容其他人还在看

MySQL 8.0.20 Window10免安装版配置及Navicat管理教程图文详解

这篇文章主要介绍了MySQL 8.0.20 Window10免安装版配置及Navicat管理,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
收藏 0 赞 0 分享

mysql安装navicat之后,出现2059,Authentication plugin及本地链接虚拟机docker,远程链接服务器

这篇文章主要介绍了mysql安装navicat之后,出现2059,Authentication plugin及本地链接虚拟机docker,远程链接服务器,需要的朋友可以参考下
收藏 0 赞 0 分享

SQL Server数据库错误5123解决方案

这篇文章主要介绍了SQL Server数据库错误5123解决方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
收藏 0 赞 0 分享

MySql 存储引擎和索引相关知识总结

这篇文章主要介绍了MySql 存储引擎和索引相关知识总结,文中讲解非常细致,代码帮助大家更好的理解和学习,感兴趣的朋友可以了解下
收藏 0 赞 0 分享

浅谈MySql 视图、触发器以及存储过程

这篇文章主要介绍了MySql 视图、触发器以及存储过程的的相关资料,文中讲解非常细致,代码帮助大家更好的理解和学习,感兴趣的朋友可以了解下
收藏 0 赞 0 分享

linux环境下安装mysql数据库的详细教程

这篇文章主要介绍了linux环境下安装mysql数据库的详细教程,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
收藏 0 赞 0 分享

MySQL语句执行顺序和编写顺序实例解析

这篇文章主要介绍了MySQL语句执行顺序和编写顺序实例解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
收藏 0 赞 0 分享

mysql数据库是做什么

在本篇文章里小编给大家分享的是一篇关于mysql数据库是做什么的基础性文章,有兴趣的朋友们可以学习下。
收藏 0 赞 0 分享

sql与mysql有哪些区别

在本篇文章里小编给大家分享了关于sql与mysql的区别的内容,有兴趣的朋友们可以学习参考下。
收藏 0 赞 0 分享

mysql属于关系型数据库吗

在本篇文章里小编给大家分享的是一篇关于mysql是否属于关系型数据库的相关文章,有兴趣的朋友们可以参考下。
收藏 0 赞 0 分享
查看更多