您当前的位置:首页 > 电脑百科 > 数据库 > 百科

group by慢查询优化

时间:2019-09-20 09:23:59  来源:  作者:

一、问题背景

现网出现慢查询,在500万数量级的情况下,单表查询速度在30多秒,需要对sql进行优化,sql如下:

记一次神奇的sql查询经历,group by慢查询优化

 

我在测试环境构造了500万条数据,模拟了这个慢查询。

简单来说,就是查询一定条件下,都有哪些用户的。很简单的sql,可以看到,查询耗时为37秒。

说一下App_account字段的分布情况,随机生成了5000个不同的随机数,然后分布到了这500万条数据里,平均来说,每个app_account都会有1000个是重复的值,种类共有5000个。

二、看执行计划

记一次神奇的sql查询经历,group by慢查询优化

 

可以看到,group by字段上我是加了索引的,也用到了。

三、优化

说实话,我是不知道该怎么优化的,这玩意还能怎么优化啊!先说下,下面的思路都是没用的。

思路一:

后面应该加上 order by null;避免无用排序,但其实对结果耗时影响不大,还是很慢。

记一次神奇的sql查询经历,group by慢查询优化

 

思路二:

where条件太复杂,没索引,导致查询慢,但其实哪怕where条件不动,只要把group by去掉,就非常快。所以应该也不是where条件的问题。

记一次神奇的sql查询经历,group by慢查询优化

 

思路三:

既然group by慢,换distinct试试??(这里就是本篇博客里说的神奇的地方了)

记一次神奇的sql查询经历,group by慢查询优化

 

卧槽???!!!这是什么情况,瞬间这么快了??!!!

虽然知道group by和distinct有很小的性能差距,但是真没想到,差距居然这么大!!!大发现啊!!

四、你以为这就结束了吗

我是真的希望就这么结束了,那这个问题就很简单的解决了,顺便还自以为是的发现了一个新知识。

但是!

这个bug转给测试后,测试一测,居然还是30多秒!?这是什么情况!!???

我当然是不信了,去测试电脑上执行sql,还真是30多秒。。。

我又回我的电脑上,连接同一个数据库,一执行sql,0.8秒!?

什么情况,同一个库,同一个sql,怎么在两台电脑执行的差距这么大!

后来直接在服务器上执行:

记一次神奇的sql查询经历,group by慢查询优化

 

醉了,居然还是30多秒。。。。

那看来就是我电脑的问题了。

后来我用多个同事的电脑实验,最后得出的结论是:

是因为我用的SQLyog!

哎,现在发现了,只有用sqlyog执行这个“优化后”的sql会是0.8秒,在navcat和服务器上直接执行,都是30多秒。

那就是sqlyog的问题了,现在也不清楚sqlyog是不是做什么优化了,这个慢查询的问题还在解决中(我觉得问题可能是出在MySQL自身的参数上吧)。

这里只是记录下这个坑,sqlyog执行sql速度,和服务器执行sql速度,在有的sql中差异巨大,并不可靠。



Tags:慢查询   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
SpringBoot整合Druid进行SQL监控、SQL慢查询
一、前言当我们在企业开发时,数据库连接池是一个至关重要的组成部分。一个优秀的数据库连接池可以显著提高应用程序的性能和可伸缩性。在Java生态系统中,有很多连接池:Druid、H...【详细内容】
2023-09-01  Search: 慢查询  点击:(351)  评论:(0)  加入收藏
Oracle 死锁与慢查询总结
查看死锁SELECT s.sid "会话ID",s.lockwait "等待锁",s.event "等待的资源/事件", -- 最近等待或正在等待的资源/事件DECODE(lo.locked_mode, 0, '尚未获得锁', 1,...【详细内容】
2023-05-22  Search: 慢查询  点击:(109)  评论:(0)  加入收藏
mysql 慢查询
1、查看慢查询相关参数show variables like 'slow_query%'; 2、慢查询时间//查看慢查询时间show variables like 'long_query_time'; 3、开启慢查询set glo...【详细内容】
2022-07-12  Search: 慢查询  点击:(374)  评论:(0)  加入收藏
MySQL慢查询风险指数模型设计
作者介绍钱芳园,专注数据库和数据库自动化领域的工程师,擅长MySQL、Redis运维以及基于go语言的数据库自动化开发。 一、背景 所谓 MySQL 慢查询,是指在 MySQL 中执行时间超过指...【详细内容】
2021-10-11  Search: 慢查询  点击:(256)  评论:(0)  加入收藏
MySQL慢查询日志总结
慢查询日志概念 MySQL的慢查询日志是MySQL提供的一种日志记录,它用来记录在MySQL中响应时间超过阀值的语句,具体指运行时间超过long_query_time值的SQL,则会被记录到慢查询...【详细内容】
2021-02-07  Search: 慢查询  点击:(310)  评论:(0)  加入收藏
mysql慢查询语句分析总结
我们经常会接触到MySQL,也经常会遇到一些MySQL的性能问题。我们可以借助慢查询日志和explain命令初步分析出SQL语句存在的性能问题通过SHOW FULL PROCESSLIST查看问题SHOW FU...【详细内容】
2020-09-12  Search: 慢查询  点击:(257)  评论:(0)  加入收藏
MySQL慢查询日志的配置与使用
MySQL慢查询日志是我们在日常工作中经常会遇到的一个功能,MySQL慢查询日志提供了超过指定时间阈值的查询信息,为性能优化提供了主要的参考依据,是一个非常实用的功能,MySQL慢查...【详细内容】
2020-07-10  Search: 慢查询  点击:(284)  评论:(0)  加入收藏
用Nginx实现接口慢查询并可示化展示TOP 20
相信很多小伙伴都见过一些商业产品中的url接口响应时间,实时汇总显示功能。可以理解为web接口的慢查询,与sql的慢查询有异曲同工之妙,但是想做却无从入手不知道怎么实现此功能,...【详细内容】
2020-05-29  Search: 慢查询  点击:(310)  评论:(0)  加入收藏
当生产环境出现慢查询sql时,如何触发邮件告警并推送慢查询?
概述今天主要介绍如何用slowquery工具来配置邮件告警,仅供参考。1、修改邮件配置进入到slowquery/alarm_mail/目录里,修改sendmail.php配置信息。<?php$get_mail_content = ge...【详细内容】
2019-12-04  Search: 慢查询  点击:(706)  评论:(0)  加入收藏
Redis 慢查询分析
慢查询,大家可能已经接触到了MySQL的慢查询。我们配置一个时间,如果查询时间超过了我们设置的时间,我们就认为这是一个慢查询. 如上图所示:Redis客户端一条命令执行分4个步骤: 发...【详细内容】
2019-11-29  Search: 慢查询  点击:(489)  评论:(0)  加入收藏
▌简易百科推荐
向量数据库落地实践
本文基于京东内部向量数据库vearch进行实践。Vearch 是对大规模深度学习向量进行高性能相似搜索的弹性分布式系统。详见: https://github.com/vearch/zh_docs/blob/v3.3.X/do...【详细内容】
2024-04-03  京东云开发者    Tags:向量数据库   点击:(9)  评论:(0)  加入收藏
原来 SQL 函数是可以内联的!
介绍在某些情况下,SQL 函数(即指定LANGUAGE SQL)会将其函数体内联到调用它的查询中,而不是直接调用。这可以带来显著的性能提升,因为函数体可以暴露给调用查询的规划器,从而规划器...【详细内容】
2024-04-03  红石PG  微信公众号  Tags:SQL 函数   点击:(5)  评论:(0)  加入收藏
如何正确选择NoSQL数据库
译者 | 陈峻审校 | 重楼Allied Market Research最近发布的一份报告指出,业界对于NoSQL数据库的需求正在持续上升。2022年,全球NoSQL市场的销售额已达73亿美元,预计到2032年将达...【详细内容】
2024-03-28    51CTO  Tags:NoSQL   点击:(18)  评论:(0)  加入收藏
为什么数据库连接池不采用 IO 多路复用?
这是一个非常好的问题。IO多路复用被视为是非常好的性能助力器。但是一般我们在使用DB时,还是经常性采用c3p0,tomcat connection pool等技术来与DB连接,哪怕整个程序已经变成以...【详细内容】
2024-03-27  dbaplus社群    Tags:数据库连接池   点击:(19)  评论:(0)  加入收藏
八个常见的数据可视化错误以及如何避免它们
在当今以数据驱动为主导的世界里,清晰且具有洞察力的数据可视化至关重要。然而,在创建数据可视化时很容易犯错误,这可能导致对数据的错误解读。本文将探讨一些常见的糟糕数据可...【详细内容】
2024-03-26  DeepHub IMBA  微信公众号  Tags:数据可视化   点击:(10)  评论:(0)  加入收藏
到底有没有必要分库分表,如何考量的
关于是否需要进行分库分表,可以根据以下考量因素来决定: 数据量和负载:如果数据量巨大且负载压力较大,单一库单一表可能无法满足性能需求,考虑分库分表。 数据增长:预估数据增长...【详细内容】
2024-03-20  码上遇见你  微信公众号  Tags:分库分表   点击:(17)  评论:(0)  加入收藏
在 SQL 中写了 in 和 not in,技术总监说要炒了我……
WHY?IN 和 NOT IN 是比较常用的关键字,为什么要尽量避免呢?1、效率低项目中遇到这么个情况:t1表 和 t2表 都是150w条数据,600M的样子,都不算大。但是这样一句查询 &darr;select *...【详细内容】
2024-03-18  dbaplus社群    Tags:SQL   点击:(8)  评论:(0)  加入收藏
应对慢SQL的致胜法宝:7大实例剖析+优化原则
大促备战,最大的隐患项之一就是慢SQL,对于服务平稳运行带来的破坏性最大,也是日常工作中经常带来整个应用抖动的最大隐患,在日常开发中如何避免出现慢SQL,出现了慢SQL应该按照什...【详细内容】
2024-03-14  京东云开发者    Tags:慢SQL   点击:(10)  评论:(0)  加入收藏
过去一年,我看到了数据库领域的十大发展趋势
作者 | 朱洁策划 | 李冬梅过去一年,行业信心跌至冰点2022 年中,红衫的一篇《适应与忍耐》的报告,对公司经营提出了预警,让各个公司保持现金流,重整团队,想办法增加盈利。这篇报告...【详细内容】
2024-03-12    InfoQ  Tags:数据库   点击:(35)  评论:(0)  加入收藏
SQL优化的七个方法,你会哪个?
一、插入数据优化 普通插入:在平时我们执行insert语句的时候,可能都是一条一条数据插入进去的,就像下面这样。INSERT INTO `department` VALUES(1, &#39;研发部(RD)&#39;, &#39...【详细内容】
2024-03-07  程序员恰恰  微信公众号  Tags:SQL优化   点击:(21)  评论:(0)  加入收藏
站内最新
站内热门
站内头条