MySQL索引原理及慢查询优化

MySQL凭仗着出色的性能、低廉的本钱、丰富的资源，已成为绝大多数互联网公司的首选关系型数据库。虽然性能出色，但所谓“好马配好鞍”，如何能够更好的使用它，已成为开发工程师的必修课，我们常常会从职位描写上看到诸如“精通MySQL”、“SQL语句优化”、“了解数据库原理”等要求。我们知道1般的利用系统，读写比例在10:1左右，而且插入操作和1般的更新操作很少出现性能问题，遇到最多的，也是最容易出问题的，还是1些复杂的查询操作，所以查询语句的优化明显是重中之重。
本人从13年7月份起，1直在美团核心业务系统部做慢查询的优化工作，总计10余个系统，累计解决和积累了上百个慢查询案例。随着业务的复杂性提升，遇到的问题千奇百怪，5花8门，匪夷所思。本文旨在以开发工程师的角度来解释数据库索引的原理和如何优化慢查询。

1个慢查询引发的思考

select
   count(*) 
from
   task 
where
   status=2 
   and operator_id=20839 
   and operate_time>1371169729 
   and operate_time<1371174603 
   and type=2;

系统使用者反应有1个功能愈来愈慢，因而工程师找到了上面的SQL。
并且兴趣冲冲的找到了我，“这个SQL需要优化，给我把每一个字段都加上索引”
我很惊讶，问道“为何需要每一个字段都加上索引？”
“把查询的字段都加上索引会更快”工程师信心满满
“这类情况完全可以建1个联合索引，由于是最左前缀匹配，所以operate_time需要放到最后，而且还需要把其他相干的查询都拿来，需要做1个综合评估。”
“联合索引？最左前缀匹配？综合评估？”工程师不由堕入了寻思。
多数情况下，我们知道索引能够提高查询效力，但应当如何建立索引？索引的顺序如何？许多人却只知道大概。其实理解这些概念其实不难，而且索引的原理远没有想象的那末复杂。

MySQL索引原理

索引目的

索引的目的在于提高查询效力，可以类比字典，如果要查“mysql”这个单词，我们肯定需要定位到m字母，然后从下往下找到y字母，再找到剩下的sql。如果没有索引，那末你可能需要把所有单词看1遍才能找到你想要的，如果我想找到m开头的单词呢？或ze开头的单词呢？是否是觉得如果没有索引，这个事情根本没法完成？

索引原理

除词典，生活中随处可见索引的例子，如火车站的车次表、图书的目录等。它们的原理都是1样的，通过不断的缩小想要取得数据的范围来挑选出终究想要的结果，同时把随机的事件变成顺序的事件，也就是我们总是通过同1种查找方式来锁定数据。
数据库也是1样，但明显要复杂许多，由于不但面临着等值查询，还有范围查询(>、<、between、in)、模糊查询(like)、并集查询(or)等等。数据库应当选择怎样样的方式来应对所有的问题呢？我们回想字典的例子，能不能把数据分成段，然后分段查询呢？最简单的如果1000条数据，1到100分成第1段，101到200分成第2段，201到300分成第3段……这样查第250条数据，只要找第3段就能够了，1下子去除90%的无效数据。但如果是1千万的记录呢，分成几段比较好？稍有算法基础的同学会想到搜索树，其平均复杂度是lgN，具有不错的查询性能。但这里我们疏忽了1个关键的问题，复杂度模型是基于每次相同的操作本钱来斟酌的，数据库实现比较复杂，数据保存在磁盘上，而为了提高性能，每次又可以把部份数据读入内存来计算，由于我们知道访问磁盘的本钱大概是访问内存的10万倍左右，所以简单的搜索树难以满足复杂的利用场景。

磁盘IO与预读

前面提到了访问磁盘，那末这里先简单介绍1下磁盘IO和预读，磁盘读取数据靠的是机械运动，每次读取数据花费的时间可以分为寻道时间、旋转延迟、传输时间3个部份，寻道时间指的是磁臂移动到指定磁道所需要的时间，主流磁盘1般在5ms以下；旋转延迟就是我们常常听说的磁盘转速，比如1个磁盘7200转，表示每分钟能转7200次，也就是说1秒钟能转120次，旋转延迟就是1/120/2 = 4.17ms；传输时间指的是从磁盘读出或将数据写入磁盘的时间，1般在零点几毫秒，相对前两个时间可以疏忽不计。那末访问1次磁盘的时间，即1次磁盘IO的时间约等于5+4.17 = 9ms左右，听起来还挺不错的，但要知道1台500 -MIPS的机器每秒可以履行5亿条指令，由于指令依托的是电的性质，换句话说履行1次IO的时间可以履行40万条指令，数据库动辄10万百万乃至千万级数据，每次9毫秒的时间，明显是个灾害。下图是计算机硬件延迟的对照图，供大家参考：

斟酌到磁盘IO是非常高昂的操作，计算机操作系统做了1些优化，当1次IO时，不光把当前磁盘地址的数据，而是把相邻的数据也都读取到内存缓冲区内，由于局部预读性原理告知我们，当计算机访问1个地址的数据的时候，与其相邻的数据也会很快被访问到。每次IO读取的数据我们称之为1页(page)。具体1页有多大数据跟操作系统有关，1般为4k或8k，也就是我们读取1页内的数据时候，实际上才产生了1次IO，这个理论对索引的数据结构设计非常有帮助。

索引的数据结构

前面讲了生活中索引的例子，索引的基本原理，数据库的复杂性，又讲了操作系统的相干知识，目的就是让大家了解，任何1种数据结构都不是平空产生的，1定会有它的背景和使用处景，我们现在总结1下，我们需要这类数据结构能够做些甚么，其实很简单，那就是：每次查找数据时把磁盘IO次数控制在1个很小的数量级，最好是常数数量级。那末我们就想到如果1个高度可控的多路搜索树是不是能满足需求呢？就这样，b+树应运而生。

详解b+树

b+树
如上图，是1颗b+树，关于b+树的定义可以参见B+树，这里只说1些重点，浅蓝色的块我们称之为1个磁盘块，可以看到每一个磁盘块包括几个数据项（深蓝色所示）和指针（黄色所示），如磁盘块1包括数据项17和35，包括指针P1、P2、P3，P1表示小于17的磁盘块，P2表示在17和35之间的磁盘块，P3表示大于35的磁盘块。真实的数据存在于叶子节点即3、5、9、10、13、15、28、29、36、60、75、79、90、99。非叶子节点只不存储真实的数据，只存储指引搜索方向的数据项，如17、35其实不真实存在于数据表中。

b+树的查找进程

如图所示，如果要查找数据项29，那末首先会把磁盘块1由磁盘加载到内存，此时产生1次IO，在内存中用2分查找肯定29在17和35之间，锁定磁盘块1的P2指针，内存时间由于非常短（相比磁盘的IO）可以疏忽不计，通过磁盘块1的P2指针的磁盘地址把磁盘块3由磁盘加载到内存，产生第2次IO，29在26和30之间，锁定磁盘块3的P2指针，通过指针加载磁盘块8到内存，产生第3次IO，同时内存中做2分查找找到29，结束查询，总计3次IO。真实的情况是，3层的b+树可以表示上百万的数据，如果上百万的数据查找只需要3次IO，性能提高将是巨大的，如果没有索引，每一个数据项都要产生1次IO，那末总共需要百万次的IO，明显本钱非常非常高。

b+树性质

1.通过上面的分析，我们知道IO次数取决于b+数的高度h，假定当前数据表的数据为N，每一个磁盘块的数据项的数量是m，则有h=㏒(m+1)N，当数据量N1定的情况下，m越大，h越小；而m = 磁盘块的大小 / 数据项的大小，磁盘块的大小也就是1个数据页的大小，是固定的，如果数据项占的空间越小，数据项的数量越多，树的高度越低。这就是为何每一个数据项，即索引字段要尽可能的小，比如int占4字节，要比bigint8字节少1半。这也是为何b+树要求把真实的数据放到叶子节点而不是内层节点，1旦放到内层节点，磁盘块的数据项会大幅度降落，致使树增高。当数据项等于1时将会退化成线性表。
2.当b+树的数据项是复合的数据结构，比如(name,age,sex)的时候，b+数是依照从左到右的顺序来建立搜索树的，比如当(张3,20,F)这样的数据来检索的时候，b+树会优先比较name来肯定下1步的所搜方向，如果name相同再顺次比较age和sex，最后得到检索的数据；但当(20,F)这样的没有name的数据来的时候，b+树就不知道下1步该查哪一个节点，由于建立搜索树的时候name就是第1个比较因子，必须要先根据name来搜索才能知道下1步去哪里查询。比如当(张3,F)这样的数据来检索时，b+树可以用name来指定搜索方向，但下1个字段age的缺失，所以只能把名字等于张3的数据都找到，然后再匹配性别是F的数据了， 这个是非常重要的性质，即索引的最左匹配特性。

慢查询优化
关于MySQL索引原理是比较枯燥的东西，大家只需要有1个感性的认识，其实不需要理解得非常透彻和深入。我们回头来看看1开始我们说的慢查询，了解完索引原理以后，大家是否是有甚么想法呢？先总结1下索引的几大基本原则

建索引的几大原则
1.最左前缀匹配原则，非常重要的原则，mysql会1直向右匹配直到遇到范围查询(>、<、between、like)就停止匹配，比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)顺序的索引，d是用不到索引的，如果建立(a,b,d,c)的索引则都可以用到，a,b,d的顺序可以任意调剂。
2.=和in可以乱序，比如a = 1 and b = 2 and c = 3 建立(a,b,c)索引可以任意顺序，mysql的查询优化器会帮你优化成索引可以辨认的情势
3.尽可能选择辨别度高的列作为索引,辨别度的公式是count(distinct col)/count(*)，表示字段不重复的比例，比例越大我们扫描的记录数越少，唯1键的辨别度是1，而1些状态、性别字段可能在大数据眼前辨别度就是0，那可能有人会问，这个比例有甚么经验值吗？使用处景不同，这个值也很难肯定，1般需要join的字段我们都要求是0.1以上，即平均1条扫描10条记录
4.索引列不能参与计算，保持列“干净”，比如from_unixtime(create_time) = ’2014-05⑵9’就不能使用到索引，缘由很简单，b+树中存的都是数据表中的字段值，但进行检索时，需要把所有元素都利用函数才能比较，明显本钱太大。所以语句应当写成create_time = unix_timestamp(’2014-05⑵9’);
5.尽可能的扩大索引，不要新建索引。比如表中已有a的索引，现在要加(a,b)的索引，那末只需要修改原来的索引便可

回到开始的慢查询
根据最左匹配原则，最开始的sql语句的索引应当是status、operator_id、type、operate_time的联合索引；其中status、operator_id、type的顺序可以颠倒，所以我才会说，把这个表的所有相干查询都找到，会综合分析；
比如还有以下查询

select * from task where status = 0 and type = 12 limit 10;
select count(*) from task where status = 0 ;

那末索引建立成(status,type,operator_id,operate_time)就是非常正确的，由于可以覆盖到所有情况。这个就是利用了索引的最左匹配的原则

查询优化神器 - explain命令
关于explain命令相信大家其实不陌生，具体用法和字段含义可以参考官网explain-output，这里需要强调rows是核心指标，绝大部份rows小的语句履行1定很快（有例外，下面会讲到）。所以优化语句基本上都是在优化rows。

慢查询优化基本步骤
0.先运行看看是不是真的很慢，注意设置SQL_NO_CACHE
1.where条件单表查，锁定最小返回记录表。这句话的意思是把查询语句的where都利用到表中返回的记录数最小的表开始查起，单表每一个字段分别查询，看哪一个字段的辨别度最高
2.explain查看履行计划，是不是与1预期1致（从锁定记录较少的表开始查询）
3.order by limit 情势的sql语句让排序的表优先查
4.了解业务方使用处景
5.加索引时参照建索引的几大原则
6.视察结果，不符合预期继续从0分析

几个慢查询案例
下面几个例子详细解释了如何分析和优化慢查询

复杂语句写法
很多情况下，我们写SQL只是为了实现功能，这只是第1步，不同的语句书写方式对效力常常有本质的差别，这要求我们对mysql的履行计划和索引原则有非常清楚的认识，请看下面的语句
select
distinct cert.emp_id
from
cm_log cl
inner join
(
select
emp.id as emp_id,
emp_cert.id as cert_id
from
employee emp
left join
emp_certificate emp_cert
on emp.id = emp_cert.emp_id
where
emp.is_deleted=0
) cert
on (
cl.ref_table='Employee'
and cl.ref_oid= cert.emp_id
)
or (
cl.ref_table='EmpCertificate'
and cl.ref_oid= cert.cert_id
)
where
cl.last_upd_date >='2013⑴1-07 15:03:00'
and cl.last_upd_date<='2013⑴1-08 16:00:00';
0.先运行1下，53条记录 1.87秒，又没有用聚合语句，比较慢

53 rows in set (1.87 sec)
1.explain

+----+-------------+------------+-------+---------------------------------+-----------------------+---------+-------------------+-------+--------------------------------+
| id | select_type | table      | type  | possible_keys                   | key                   | key_len | ref               | rows  | Extra                          |
+----+-------------+------------+-------+---------------------------------+-----------------------+---------+-------------------+-------+--------------------------------+
|  1 | PRIMARY     | cl         | range | cm_log_cls_id,idx_last_upd_date | idx_last_upd_date     | 8       | NULL              |   379 | Using where; Using temporary   |
|  1 | PRIMARY     | <derived2> | ALL   | NULL                            | NULL                  | NULL    | NULL              | 63727 | Using where; Using join buffer |
|  2 | DERIVED     | emp        | ALL   | NULL                            | NULL                  | NULL    | NULL              | 13317 | Using where                    |
|  2 | DERIVED     | emp_cert   | ref   | emp_certificate_empid           | emp_certificate_empid | 4       | meituanorg.emp.id |     1 | Using index                    |
+----+-------------+------------+-------+---------------------------------+-----------------------+---------+-------------------+-------+--------------------------------+

简述1下履行计划，首先mysql根据idx_last_upd_date索引扫描cm_log表取得379条记录；然后查表扫描了63727条记录，分为两部份，derived表示构造表，也就是不存在的表，可以简单理解成是1个语句构成的结果集，后面的数字表示语句的ID。derived2表示的是ID = 2的查询构造了虚拟表，并且返回了63727条记录。我们再来看看ID = 2的语句究竟做了写甚么返回了这么大量的数据，首先全表扫描employee表13317条记录，然后根据索引emp_certificate_empid关联emp_certificate表，rows = 1表示，每一个关联都只锁定了1条记录，效力比较高。取得后，再和cm_log的379条记录根据规则关联。从履行进程上可以看出返回了太多的数据，返回的数据绝大部份cm_log都用不到，由于cm_log只锁定了379条记录。
如何优化呢？可以看到我们在运行完后还是要和cm_log做join,那末我们能不能之前和cm_log做join呢？仔细分析语句不难发现，其基本思想是如果cm_log的ref_table是EmpCertificate就关联emp_certificate表，如果ref_table是Employee就关联employee表，我们完全可以拆成两部份，并用union连接起来，注意这里用union，而不用union all是由于原语句有“distinct”来得到唯1的记录，而union恰好具有了这类功能。如果原语句中没有distinct不需要去重，我们就能够直接使用union all了，由于使用union需要去重的动作，会影响SQL性能。
优化过的语句以下

select
   emp.id 
from
   cm_log cl 
inner join
   employee emp 
      on cl.ref_table = 'Employee' 
      and cl.ref_oid = emp.id  
where
   cl.last_upd_date >='2013⑴1-07 15:03:00' 
   and cl.last_upd_date<='2013⑴1-08 16:00:00' 
   and emp.is_deleted = 0  
union
select
   emp.id 
from
   cm_log cl 
inner join
   emp_certificate ec 
      on cl.ref_table = 'EmpCertificate' 
      and cl.ref_oid = ec.id  
inner join
   employee emp 
      on emp.id = ec.emp_id  
where
   cl.last_upd_date >='2013⑴1-07 15:03:00' 
   and cl.last_upd_date<='2013⑴1-08 16:00:00' 
   and emp.is_deleted = 0

4.不需要了解业务场景，只需要改造的语句和改造之前的语句保持结果1致

5.现有索引可以满足，不需要建索引

6.用改造后的语句实验1下，只需要10ms 下降了近200倍！

+----+--------------+------------+--------+---------------------------------+-------------------+---------+-----------------------+------+-------------+
| id | select_type  | table      | type   | possible_keys                   | key               | key_len | ref                   | rows | Extra       |
+----+--------------+------------+--------+---------------------------------+-------------------+---------+-----------------------+------+-------------+
|  1 | PRIMARY      | cl         | range  | cm_log_cls_id,idx_last_upd_date | idx_last_upd_date | 8       | NULL                  |  379 | Using where |
|  1 | PRIMARY      | emp        | eq_ref | PRIMARY                         | PRIMARY           | 4       | meituanorg.cl.ref_oid |    1 | Using where |
|  2 | UNION        | cl         | range  | cm_log_cls_id,idx_last_upd_date | idx_last_upd_date | 8       | NULL                  |  379 | Using where |
|  2 | UNION        | ec         | eq_ref | PRIMARY,emp_certificate_empid   | PRIMARY           | 4       | meituanorg.cl.ref_oid |    1 |             |
|  2 | UNION        | emp        | eq_ref | PRIMARY                         | PRIMARY           | 4       | meituanorg.ec.emp_id  |    1 | Using where |
| NULL | UNION RESULT | <union1,2> | ALL    | NULL                            | NULL              | NULL    | NULL                  | NULL |             |
+----+--------------+------------+--------+---------------------------------+-------------------+---------+-----------------------+------+-------------+
53 rows in set (0.01 sec)

明确利用场景
举这个例子的目的在于颠覆我们对列的辨别度的认知，1般上我们认为辨别度越高的列，越容易锁定更少的记录，但在1些特殊的情况下，这类理论是有局限性的

select
   * 
from
   stage_poi sp 
where
   sp.accurate_result=1 
   and (
      sp.sync_status=0 
      or sp.sync_status=2 
      or sp.sync_status=4
   );

0.先看看运行多长时间,951条数据6.22秒，真的很慢

951 rows in set (6.22 sec)
1.先explain，rows到达了361万，type = ALL表明是全表扫描

+----+-------------+-------+------+---------------+------+---------+------+---------+-------------+
| id | select_type | table | type | possible_keys | key  | key_len | ref  | rows    | Extra       |
+----+-------------+-------+------+---------------+------+---------+------+---------+-------------+
|  1 | SIMPLE      | sp    | ALL  | NULL          | NULL | NULL    | NULL | 3613155 | Using where |
+----+-------------+-------+------+---------------+------+---------+------+---------+-------------+

2.所有字段都利用查询返回记录数，由于是单表查询 0已做过了951条

3.让explain的rows 尽可能逼近951

看1下accurate_result = 1的记录数

select count(*),accurate_result from stage_poi  group by accurate_result;
+----------+-----------------+
| count(*) | accurate_result |
+----------+-----------------+
|     1023 |              ⑴ |
|  2114655 |               0 |
|   972815 |               1 |
+----------+-----------------+

我们看到accurate_result这个字段的辨别度非常低，全部表只有⑴,0,13个值，加上索引也没法锁定特别少许的数据

再看1下sync_status字段的情况

select count(*),sync_status from stage_poi  group by sync_status;
+----------+-------------+
| count(*) | sync_status |
+----------+-------------+
|     3080 |           0 |
|  3085413 |           3 |
+----------+-------------+

一样的辨别度也很低，根据理论，也不合适建立索引

问题分析到这，好像得出了这个表没法优化的结论，两个列的辨别度都很低，即使加上索引也只能适应这类情况，很难做普遍性的优化，比如当sync_status 0、3散布的很平均，那末锁定记录也是百万级别的

4.找业务方去沟通，看看使用处景。业务方是这么来使用这个SQL语句的，每隔5分钟会扫描符合条件的数据，处理完成后把sync_status这个字段变成1,5分钟符合条件的记录数其实不会太多，1000个左右。了解了业务方的使用处景后，优化这个SQL就变得简单了，由于业务方保证了数据的不平衡，如果加上索引可以过滤掉绝大部份不需要的数据

5.根据建立索引规则，使用以下语句建立索引

alter table stage_poi add index idx_acc_status(accurate_result,sync_status);

6.视察预期结果,发现只需要200ms，快了30多倍。

952 rows in set (0.20 sec)
我们再来回顾1下分析问题的进程，单表查询相对来讲比较好优化，大部份时候只需要把where条件里面的字段依照规则加上索引就好，如果只是这类“无脑”优化的话，明显1些辨别度非常低的列，不应当加索引的列也会被加上索引，这样会对插入、更新性能造成严重的影响，同时也有可能影响其它的查询语句。所以我们第4步调差SQL的使用处景非常关键，我们只有知道这个业务场景，才能更好地辅助我们更好的分析和优化查询语句。

没法优化的语句

select
   c.id,
   c.name,
   c.position,
   c.sex,
   c.phone,
   c.office_phone,
   c.feature_info,
   c.birthday,
   c.creator_id,
   c.is_keyperson,
   c.giveup_reason,
   c.status,
   c.data_source,
   from_unixtime(c.created_time) as created_time,
   from_unixtime(c.last_modified) as last_modified,
   c.last_modified_user_id  
from
   contact c  
inner join
   contact_branch cb 
      on  c.id = cb.contact_id  
inner join
   branch_user bu 
      on  cb.branch_id = bu.branch_id 
      and bu.status in (
         1,
      2)  
   inner join
      org_emp_info oei 
         on  oei.data_id = bu.user_id 
         and oei.node_left >= 2875 
         and oei.node_right <= 10802 
         and oei.org_category = - 1  
   order by
      c.created_time desc  limit 0 ,
      10;

还是几个步骤
0.先看语句运行多长时间，10条记录用了13秒，已不可忍耐

10 rows in set (13.06 sec)
1.explain

+----+-------------+-------+--------+-------------------------------------+-------------------------+---------+--------------------------+------+----------------------------------------------+
| id | select_type | table | type   | possible_keys                       | key                     | key_len | ref                      | rows | Extra                                        |
+----+-------------+-------+--------+-------------------------------------+-------------------------+---------+--------------------------+------+----------------------------------------------+
|  1 | SIMPLE      | oei   | ref    | idx_category_left_right,idx_data_id | idx_category_left_right | 5       | const                    | 8849 | Using where; Using temporary; Using filesort |
|  1 | SIMPLE      | bu    | ref    | PRIMARY,idx_userid_status           | idx_userid_status       | 4       | meituancrm.oei.data_id   |   76 | Using where; Using index                     |
|  1 | SIMPLE      | cb    | ref    | idx_branch_id,idx_contact_branch_id | idx_branch_id           | 4       | meituancrm.bu.branch_id  |    1 |                                              |
|  1 | SIMPLE      | c     | eq_ref | PRIMARY                             | PRIMARY                 | 108     | meituancrm.cb.contact_id |    1 |                                              |
+----+-------------+-------+--------+-------------------------------------+-------------------------+---------+--------------------------+------+----------------------------------------------+

从履行计划上看，mysql先查org_emp_info表扫描8849记录，再用索引idx_userid_status关联branch_user表，再用索引idx_branch_id关联contact_branch表，最后主键关联contact表。
rows返回的都非常少，看不到有甚么异常情况。我们在看1下语句，发现后面有order by + limit组合，会不会是排序量太大弄的？因而我们简化SQL，去掉后面的order by 和 limit，看看到底用了多少记录来排序

select
  count(*)
from
   contact c  
inner join
   contact_branch cb 
      on  c.id = cb.contact_id  
inner join
   branch_user bu 
      on  cb.branch_id = bu.branch_id 
      and bu.status in (
         1,
      2)  
   inner join
      org_emp_info oei 
         on  oei.data_id = bu.user_id 
         and oei.node_left >= 2875 
         and oei.node_right <= 10802 
         and oei.org_category = - 1  
+----------+
| count(*) |
+----------+
|   778878 |
+----------+
1 row in set (5.19 sec)

发现排序之前竟然锁定了778878条记录，如果针对70万的结果集排序，将是灾害性的，怪不得这么慢，那我们能不能换个思路，先根据contact的created_time排序，再来join会不会比较快呢？
因而改造成下面的语句，也能够用straight_join来优化

select
c.id,
c.name,
c.position,
c.sex,
c.phone,
c.office_phone,
c.feature_info,
c.birthday,
c.creator_id,
c.is_keyperson,
c.giveup_reason,
c.status,
c.data_source,
from_unixtime(c.created_time) as created_time,
from_unixtime(c.last_modified) as last_modified,
c.last_modified_user_id
from
contact c
where
exists (
select
1
from
contact_branch cb
inner join
branch_user bu
on cb.branch_id = bu.branch_id
and bu.status in (
1,
2)
inner join
org_emp_info oei
on oei.data_id = bu.user_id
and oei.node_left >= 2875
and oei.node_right <= 10802
and oei.org_category = - 1
where
c.id = cb.contact_id
)
order by
c.created_time desc limit 0 ,
10;

验证1下效果 预计在1ms内，提升了13000多倍！

10 rows in set (0.00 sec)
本以为至此大工告成，但我们在前面的分析中漏了1个细节，先排序再join和先join再排序理论上开消是1样的，为什么提升这么多是由于有1个limit！大致履行进程是：mysql先按索引排序得到前10条记录，然后再去join过滤，当发现不够10条的时候，再次去10条，再次join，这明显在内层join过滤的数据非常多的时候，将是灾害的，极端情况，内层1条数据都找不到，mysql还傻乎乎的每次取10条，几近遍历了这个数据表！
用不同参数的SQL实验下

select
sql_no_cache c.id,
c.name,
c.position,
c.sex,
c.phone,
c.office_phone,
c.feature_info,
c.birthday,
c.creator_id,
c.is_keyperson,
c.giveup_reason,
c.status,
c.data_source,
from_unixtime(c.created_time) as created_time,
from_unixtime(c.last_modified) as last_modified,
c.last_modified_user_id
from
contact c
where
exists (
select
1
from
contact_branch cb
inner join
branch_user bu
on cb.branch_id = bu.branch_id
and bu.status in (
1,
2)
inner join
org_emp_info oei
on oei.data_id = bu.user_id
and oei.node_left >= 2875
and oei.node_right <= 2875
and oei.org_category = - 1
where
c.id = cb.contact_id
)
order by
c.created_time desc limit 0 ,
10;
“`

Empty set (2 min 18.99 sec)
2 min 18.99 sec！比之前的情况还糟很多。由于mysql的nested loop机制，遇到这类情况，基本是没法优化的。这条语句终究也只能交给利用系统去优化自己的逻辑了。
通过这个例子我们可以看到，其实不是所有语句都能优化，而常常我们优化时，由于SQL用例回归时落掉1些极端情况，会造成比原来还严重的后果。所以，第1：不要期望所有语句都能通过SQL优化，第2：不要过于自信，只针对具体case来优化，而疏忽了更复杂的情况。

慢查询的案例就分析到这儿，以上只是1些比较典型的案例。我们在优化进程中遇到过超过1000行，触及到16个表join的“垃圾SQL”，也遇到过线上线下数据库差异致使利用直接被慢查询拖死，也遇到过varchar等值比较没有写单引号，还遇到过笛卡尔积查询直接把从库弄死。再多的案例其实也只是1些经验的积累，如果我们熟习查询优化器、索引的内部原理，那末分析这些案例就变得特别简单了。

写在后面的话
本文以1个慢查询案例引入了MySQL索引原理、优化慢查询的1些方法论;并针对遇到的典型案例做了详细的分析。其实做了这么长时间的语句优化后才发现，任何数据库层面的优化都抵不上利用系统的优化，一样是MySQL，可以用来支持Google/FaceBook/Taobao利用，但可能连你的个人网站都撑不住。套用最近比较流行的话：“查询容易，优化不容易，且写且珍惜！”

参考
参考文献以下：
1.《高性能MySQL》
2.《数据结构与算法分析》