您当前的位置:首页 > 电脑百科 > 数据库 > 百科

为什么?阿里规定超过 3 张表禁止 join

时间:2019-10-29 17:19:31  来源:  作者:

作者| e71hao

来源| blog.itpub.net/30393770/viewspace-2650450

上篇| Nginx从入门到实战

 

一,问题提出

《阿里巴巴JAVA开发手册》里面写超过三张表禁止join,这是为什么?

为什么?阿里规定超过 3 张表禁止 join

 

二,问题分析

对这个物体,你是否有怀疑呢?也不知道是哪位先哲说的不要人云亦云,今天我设计sql,来验证这个物体。(实验没有从代码角度分析,目前达不到。可以把MySQL当一个黑盒,使用角度来验证这个指标)验证验证的时候,会有很多发现,各位往后看。

 

三,实验环境

vmware10 + centos7.4 + mysql5.7.22

  • centos7内存4.5G,4核,50G硬盘

  • mysql配置为2G,特别说明硬盘是SSD。

 

四,我概述下我的实验

有4张表,student学生表,teacher老师表,course课程表,sc中间关系表,记录了学生选修课程以及分数。具体sql脚本,看文章结尾,我附上。中间我自己写了造数据的脚本,也在结尾。

为什么?阿里规定超过 3 张表禁止 join

实验是为解决一个问题的:查询选修“ tname553”老师所授课程的学生中,成绩最高的学生姓名及其成绩。

查询sql是:

为什么?阿里规定超过 3 张表禁止 join

我来分析一下这个语句:4张表等值join,还有一个子查询。算是比较简单的sql语句了(引用ERP动就10张表的哦,已经很简单了)。我即将分解这个语句成3个简单的sql:

为什么?阿里规定超过 3 张表禁止 join

我来分析下:第一句,就是查询最高分,得到最高分590分。第二句就是查询出最高分的学生id,得到

为什么?阿里规定超过 3 张表禁止 join

这样的3个语句的就可以查询出来成绩最高的学生姓名及其成绩。

接下来我会分别造数据:1千万选课记录(一个学生选修2门课),造500万学生,100万老师(一个老师带5个学生,挺高端的吧),1000门课,。。上面的查询语句查询。其中sc表我测试了下有索引和没有索引情况,具体见如何。

再接下来,我会造1亿选课记录(一个学生选修2门课),5000万学生,1000万老师,1000门课。然后分别执行上述语句。最后我会在oracle数据库上执行上述语句。

 

五,下面两张表是测试结果

为什么?阿里规定超过 3 张表禁止 join为什么?阿里规定超过 3 张表禁止 join

 

六,仔细看上表,可以发现:

1,步骤3.1没有在连接键上加索引,查询很慢,说明:“多表关联查询时,保证被关联的变量需要有索引”;

2,步骤6.1、6.2、6.3,换成简单sql,在数据量10亿以上,查询时间还能勉强接受。此时说明mysql查询有些吃力了,但是仍然嫩查询出来。

3,步骤5.1,mysql查询不出来,4表连接,对我本机mysql而言,1.5亿数据超过极限了(我调优过这个SQL,执行计划和索引都走了,没有问题,显示配置文件显示在发送数据。这个问题另外文章详谈。)

4,对比1.1和5.1步骤sql查询,4表连接,对我本机mysql而言,1.5千万数据查询很流利,是一个mysql数据量流利分水岭。表的容量)。

5,步骤5.1对比6.1,6.2,6.3,多表join对mysql来说,处理有些吃力。

6,超过三张表禁止联接,这个规则是针对mysql的。后续会看到我用同样的机器,同样数据量,同样内存,可以完美计算1.5亿数据量join。针对这样一个规则,对开发来说,需要把一些逻辑放到应用层去查询。

总结这个规则超过三张表禁止加入,由于数据量太大的时候,mysql根本查询不出来,导致阿里出了这样一个规定。(实际上如果表数据量少,10张表也不成问题,你自己可以试试)而我们公司支付系统朝着大规模并发目标设计的,所以,遵循这个规定。

在业务层面上,写简单sql,把更多逻辑放到应用层,我的需求我会更了解,在应用层实现特定的加入也容易整合。

温馨提示:欢迎关注微信公众号:Java Java,获取更多技术博文推送。

 

七,让我们来看看oracle数据库的优秀表现:

为什么?阿里规定超过 3 张表禁止 join

看步骤7.1,就是没有索引,join表很多的情况下,oracle仍然26秒查询出结果来。所以我会说mysql的join很弱。那么问题来了,为什么现在使用很多人使用mysql呢?这是另外一个问题,我会另外说下我的思考。

看完本篇文章,另外我还附加附件,所谓搂草打兔子。就是快速造数据。你可以自己先写脚本造数据,看看我是怎么造数据的,就知道我的技巧了。

 

八,附上部分截图

为什么?阿里规定超过 3 张表禁止 join为什么?阿里规定超过 3 张表禁止 join为什么?阿里规定超过 3 张表禁止 join为什么?阿里规定超过 3 张表禁止 join

 

九,附上sql语句和造数据脚本

use stu;
drop table if exists student;
create table student
( s_id int(11) not auto_increment ,
sno int(11),
sname varchar(50),
sage int(11),
ssex varchar(8) ,
father_id int(11),
mather_id int(11),
note varchar(500),
primary key (s_id),
unique key uk_sno (sno)
) engine=innodb default charset=utf8mb4;
truncate table student;
delimiter $$
drop function if exists insert_student_data $$
create function insert_student_data
returns int deterministic
begin
declare i int;
set i=1;
while i<50000000 do
insert into student values(i ,i, concat('name',i),i,case when floor(rand*10)%2=0 then 'f' else 'm' end,floor(rand*100000),floor(rand*1000000),concat('note',i) );
set i=i+1;
end while;
return 1;
end$$
delimiter ;
select insert_student_data;
select count(*) from student;
use stu;
create table course
(
c_id int(11) not auto_increment ,
cname varchar(50)
note varchar(500), primary key (c_id)
) engine=innodb default charset=utf8mb4;
truncate table course;
delimiter $$
drop function if exists insert_course_data $$
create function insert_course_data
returns int deterministic
begin
declare i int;
set i=1;
while i<=1000 do
insert into course values(i , concat('course',i),floor(rand*1000),concat('note',i) );
set i=i+1;
end while;
return 1;
end$$
delimiter ;
select insert_course_data;
select count(*) from course;
use stu;
drop table if exists sc;
create table sc
(
s_id int(11),
c_id int(11),
t_id int(11),
score int(11)
) engine=innodb default charset=utf8mb4;
truncate table sc;
delimiter $$
drop function if exists insert_sc_data $$
create function insert_sc_data
returns int deterministic
begin
declare i int;
set i=1;
while i<=50000000 do
insert into sc values( i,floor(rand*1000),floor(rand*10000000),floor(rand*750)) ;
set i=i+1;
end while;
return 1;
end$$
delimiter ;
select insert_sc_data;
commit;
select insert_sc_data;
commit;
create index idx_s_id on sc(s_id) ;
create index idx_t_id on sc(t_id) ;
create index idx_c_id on sc(c_id) ;
select count(*) from sc;
use stu;
drop table if exists teacher;
create table teacher
(
t_id int(11) not auto_increment ,
tname varchar(50) ,
note varchar(500),primary key (t_id)
) engine=innodb default charset=utf8mb4;

truncate table teacher;
delimiter $$
drop function if exists insert_teacher_data $$
create function insert_teacher_data
returns int deterministic
begin
declare i int;
set i=1;
while i<=10000000 do
insert into teacher values(i , concat('tname',i),concat('note',i) );
set i=i+1;
end while;
return 1;
end$$
delimiter ;
select insert_teacher_data;
commit;
select count(*) from teacher;

这个是oracle的测试和造数据脚本

create tablespace scott_data datafile '/home/oracle/oracle_space/sitpay1/scott_data.dbf' size 1024m autoextend on; 
create tablespace scott_index datafile '/home/oracle/oracle_space/sitpay1/scott_index.dbf' size 64m autoextend on;
create temporary tablespace scott_temp tempfile '/home/oracle/oracle_space/sitpay1/scott_temp.dbf' size 64m autoextend on;
drop user scott cascade;
create user scott identified by tiger default tablespace scott_data temporary tablespace scott_temp ;
grant resource,connect,dba to scott;
drop table student;
create table student
( s_id number(11) ,
sno number(11) ,
sname varchar2(50),
sage number(11),
ssex varchar2(8) ,
father_id number(11),
mather_id number(11),
note varchar2(500)
) nologging;
truncate table student;
create or replace procedure insert_student_data
is
q number(11);
begin
q:=0;
for i in 1..50 loop
insert /*+Append*/ into student select rownum+q as s_id,rownum+q as sno, concat('sutdent',rownum+q ) as sname,floor(dbms_random.value(1,100)) as sage,'f' as ssex,rownum+q as father_id,rownum+q as mather_id,concat('note',rownum+q ) as note from dual connect by level<=1000000;
q:=q+1000000;
commit;
end loop;
end insert_student_data;
/
call insert_student_data;
alter table student add constraint pk_student primary key (s_id);
commit;
select count(*) from student;
create table course
(
c_id number(11) primary key,
cname varchar2(50),
note varchar2(500)
) ;
truncate table course;
create or replace procedure insert_course_data
is
q number(11);
begin

for i in 1..1000 loop
insert /*+append*/ into course values(i , concat('name',i),concat('note',i) );
end loop;
end insert_course_data;
/
call insert_course_data;
commit;
select count(*) from course;
create table sc
(
s_id number(11),
c_id number(11),
t_id number(11),
score number(11)
) nologging;
truncate table sc;
create or replace procedure insert_sc_data
is
q number(11);
begin
q:=0;
for i in 1..50 loop
insert /*+append*/ into sc select rownum+q as s_id, floor(dbms_random.value(0,1000)) as c_id,floor(dbms_random.value(0,10000000)) t_id,floor(dbms_random.value(0,750)) as score from dual connect by level<=1000000;
q:=q+1000000;
commit;
end loop;
end insert_sc_data;
/
call insert_sc_data;
create index idx_s_id on sc(s_id) ;
create index idx_t_id on sc(t_id) ;
create index idx_c_id on sc(c_id) ;
select count(*) from sc;
create table teacher
(
t_id number(11) ,
tname varchar2(50) ,
note varchar2(500)
)nologging ;
truncate table teacher;
create or replace procedure insert_teacher_data
is
q number(11);
begin
q:=0;
for i in 1..10 loop
insert /*+append*/ into teacher select rownum+q as t_id, concat('teacher',rownum+q ) as tname,concat('note',rownum+q ) as note from dual connect by level<=1000000;
q:=q+1000000;
commit;
end loop;
end insert_teacher_data;
/
call insert_teacher_data;
alter table teacher add constraint pk_teacher primary key (t_id);
select count(*) from teacher;


Tags:join   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
一、前言SQL JOIN是软件开发者的必会知识点,这些JOIN有什么区别和联系呢,本文来一一剖析。要了解SQL,其实我们需要了解下关系代数。为什么这么说呢?数据库系统合并数据的原理其...【详细内容】
2021-10-15  Tags: join  点击:(68)  评论:(0)  加入收藏
为什么会新增这样一个string辅助类?原有的stringbuilder太死板,不支持分割,如果想让最终的字符串以逗号隔开,需要这样写StringBuilder sb = new StringBuilder();IntStream.ran...【详细内容】
2021-05-17  Tags: join  点击:(202)  评论:(0)  加入收藏
引言Join是SQL语句中的常用操作,良好的表结构能够将数据分散在不同的表中,使其符合某种范式,减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。对于Spark...【详细内容】
2021-04-12  Tags: join  点击:(180)  评论:(0)  加入收藏
1. 摘要关于这两种写法的重要知识点摘要如下: left-join 时,即使有相同的查询条件,二者的查询结果集也不同,原因是优先级导致的,on 的优先级比 where 高 on-and 是进行韦恩运算...【详细内容】
2021-04-12  Tags: join  点击:(183)  评论:(0)  加入收藏
文章来源: cnblogs.com/liboware/p/12740901.html1.对于mysql,不推荐使用子查询和join是因为本身join的效率就是硬伤,一旦数据量很大效率就很难保证,强烈推荐分别根据索引单表取...【详细内容】
2021-04-01  Tags: join  点击:(223)  评论:(0)  加入收藏
前言前面我们通过一篇文章讲过多线程应用开发过程中,我们遇到的如何对线程进行设计和应用的问题,其中我们提到了一个分离和联合线程模型。在Java的1.7版以后,它提供了一个Fork...【详细内容】
2021-03-05  Tags: join  点击:(261)  评论:(0)  加入收藏
大家好,我是历小冰,今天我们来学习和吐槽一下 MySQL 的 Join 功能。关于MySQL 的 join,大家一定了解过很多它的“轶事趣闻”,比如两表 join 要小表驱动大表,阿里开发者规范禁止三...【详细内容】
2020-11-27  Tags: join  点击:(97)  评论:(0)  加入收藏
面试官:有操作过Linux吗?我:有的呀面试官:我想查看内存的使用情况该用什么命令我:free 或者 top面试官:那你说一下用free命令都可以看到啥信息我:那,如下图所示 可以看到内存以及缓...【详细内容】
2020-10-10  Tags: join  点击:(140)  评论:(0)  加入收藏
现在随着各种数据库框架的盛行,在提高效率的同时也让我们忽略了很多底层的连接过程,这篇文章是对 SQL 连接过程梳理,并涉及到了现在常用的 SQL 标准。其实标准就是在不同的时间...【详细内容】
2020-06-21  Tags: join  点击:(40)  评论:(0)  加入收藏
这一系列讲述,两张表的 Join, 或许你都不一定知道的事儿。之前写过 SQL 的编译原理,很多朋友都不知道 SQL 背后,居然还有编译一说。SQL 用起来和 C#/Java 还是有些异样的。写好...【详细内容】
2020-06-21  Tags: join  点击:(141)  评论:(0)  加入收藏
▌简易百科推荐
1增1.1【插入单行】insert [into] <表名> (列名) values (列值)例:insert into Strdents (姓名,性别,出生日期) values (&#39;开心朋朋&#39;,&#39;男&#39;,&#39;1980/6/15&#3...【详细内容】
2021-12-27  快乐火车9d3    Tags:SQL   点击:(2)  评论:(0)  加入收藏
最近发现还有不少做开发的小伙伴,在写存储过程的时候,在参考已有的不同的写法时,往往很迷茫, 不知道各种写法孰优孰劣,该选用哪种写法,以及各种写法的优缺点,本文以一个简单的查询...【详细内容】
2021-12-23  linux上的码农    Tags:sql   点击:(9)  评论:(0)  加入收藏
《开源精选》是我们分享Github、Gitee等开源社区中优质项目的栏目,包括技术、学习、实用与各种有趣的内容。本期推荐的HasorDB 是一个全功能数据库访问工具,提供对象映射、丰...【详细内容】
2021-12-22  GitHub精选    Tags:HasorDB   点击:(5)  评论:(0)  加入收藏
作者丨Rafal Grzegorczyk译者丨陈骏策划丨孙淑娟【51CTO.com原创稿件】您是否还在手动对数据库执行各种脚本?您是否还在浪费时间去验证数据库脚本的正确性?您是否还需要将...【详细内容】
2021-12-22    51CTO  Tags:Liquibase   点击:(4)  评论:(0)  加入收藏
场景描述:由于生产环境的表比较复杂,字段很多。这里我们做下简化,只为说明今天要聊的问题。有两张表 tab1,tab2: tab1 数据如下: tab2 数据如下: 然后给你看下,我用来统计 name=&#3...【详细内容】
2021-12-20  Bald    Tags:SQL   点击:(7)  评论:(0)  加入收藏
前言知识无底,学海无涯,知识点虽然简单,但是比较多,所以将MySQL的基础写出来,方便自己以后查找,还有就是分享给大家。一、SQL简述1.SQL的概述Structure Query Language(结构化查...【详细内容】
2021-12-16  谣言止于独立思考    Tags:SQL基础   点击:(13)  评论:(0)  加入收藏
前言作为一名测试工程师,工作中在对测试结果进行数据比对的时候,或多或少要和数据库打交道的,要和数据库打交道,那么一些常用的 SQL 查询语法必须要掌握。最近有部分做测试小伙...【详细内容】
2021-12-14  柠檬班软件测试    Tags:SQL   点击:(15)  评论:(0)  加入收藏
话说C是面向内存的编程语言。数据要能存得进去,取得出来,且要考虑效率。不管是顺序存储还是链式存储,其寻址方式总是很重要。顺序存储是连续存储。同质结构的数组通过其索引表...【详细内容】
2021-12-08  小智雅汇    Tags:数据存储   点击:(18)  评论:(0)  加入收藏
概述DBConvert Studio 是一款强大的跨数据库迁移和同步软件,可在不同数据库格式之间转换数据库结构和数据。它将成熟、稳定、久经考验的 DBConvert 和 DBSync 核心与改进的现...【详细内容】
2021-11-17  雪竹聊运维    Tags:数据库   点击:(26)  评论:(0)  加入收藏
一、前言 大家好,我是小诚,《从0到1-全面深刻理解MySQL系列》已经来到第四章,这一章节的主要从一条SQL执行的开始,由浅入深的解析SQL语句由客户端到服务器的完整执行流程,最...【详细内容】
2021-11-09  woaker    Tags:SQL   点击:(35)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条