MySQL 查询语句的 limit, offset 是怎么实现的?

在写 select 语句的时候,使用 limit, offset 可能就像是我们吃饭喝水一样自然了。

刚开始工作的时候也经常听前辈们教导:使用 limit, offset,当 offset 变大的时候执行效率会越来越低。

相信在前辈们的言传身教,和自己的实战过程中,大家也都知道了为什么会这样。

因为 select 在执行过程中,对于存储引擎返回的记录,经过 server 层的 WHERE 条件筛选之后,符合条件的前 offset条记录,会被直接无情的抛弃,直到符合条件的第 offset + 1 条记录,才开始发送给客户端,发送了 limit 条记录之后,查询结束。

虽然知道了是什么,也知道了为什么,但是我也一直好奇底层是怎么实现的,所以今天我们来扒一扒它的庐山真面目。

1. 语法回顾

先来简单的回顾一下 select 语句中 limit, offset 的语法,MySQL 支持 3 种形式:

  • LIMIT limit: 因为没有指定 offset,所以 offset = 0,表示读取符合 WHERE 条件的第 1 ~ limit 条记录。
  • LIMIT offset, limit: 我们常用的就是这种了。
  • LIMIT limit OFFSET offset: 这种不常用。

offset 和 limit 的值都不能为负数,在源码里这两个属性定义的是无符号整数,并且在解析阶段就做了限制,如果为负数,直接报语法错误了。

2. 语法解析阶段

在读取数据的过程中,对于符合条件的前 offset 条记录,会直接忽略,不发送给客户端,从符合条件的第 offset + 1 条记录开始,发送 limit 条记录给客户端。

所以,server 层实际上需要从存储引擎读取 offset + limit 条记录,源码里也是这么实现的,语法解析阶段,在验证了 offset 和 limit 都是大于等于 0 的整数之后,就把 offset + limit 的计算结果保存到一个叫做 select_limit_cnt 的属性里,offset 也会保存到一个叫做 offset_limit_cnt 的属性里。

3. 发送数据阶段

来到发送数据阶段,此时的记录已经通过了 WHERE 条件的筛选,接下来就是判断这条记录是不是要发送给客户端。

第 1 步

因为 offset 已经保存到 offset_limit_cnt 中了,先来判断 offset_limit_cnt 是否大于 0,如果大于 0,这条记录就会被抛弃了,不发送给客户端;如果等于 0,记录就具备了发送给客户端的资格了,然后接着进入第 2 步。

在抛弃记录之前,还会干一件事:对一个叫做 send_records 的属性进行加 1 操作,就是假装这条记录已经发送了(为什么这样干?第 2 步会用到这个属性)。

offset_limit_cnt 是保证不会小于 0 的,所以在这一步只需要判断是大于 0 还是等于 0 就可以了。

第 2 步

来到这一步,记录就具备了发送给客户端的资格了,至于要不要发,就看客户端想不想要它了,而客户端想不想要它,取决于 select_limit_cnt。

所以,在这一步要判断已发送记录数量(send_records)和需要发送记的录数量(select_limit_cnt)之间的关系,如果已发送记录数量大于等于需要发送的记录数量,则结束查询,否则就接着进入第 3 步。

第 3 步

在这里,记录愉快的等待着被发送给客户端。

是的,还要愉快的等着,因为要排队,毕竟运输也是需要成本的,不能来一条记录,就发一趟车,要等一辆车装满之后,才会发车的。这里的车指的是网络缓冲区,以后也会写文章介绍,敬请期待。

4. 最佳实践

既然在 offset 变大之后,使用 limit, offset 效率越来越低,那应该怎么办呢?对于实战经验丰富的小伙伴来说,这是相当简单了,但是以防万一刚看到本文的小伙伴是刚刚开始用 SQL 写 Bug,所以还是要大概的写一下的。

以一个 SQL 为例:

select * from t2where i1 > 90000000 limit 8888, 10

为了取到 10 条记录,要先找到 8888 条记录,然后取到需要的 10 条,前面 8888 条记录都白找了,太浪费了,可以这样修改一下:

select * from t2 where i1 > 90000000 and id > LAST_MAX_IDlimit 10

LAST_MAX_ID 是上一次执行 SQL 时读取到的主键 ID 的最大值,如果是第一次执行语句,LAST_MAX_ID = 0。

不过这种方案也有个问题,不支持跳着翻页,只支持顺序翻页(就是每次都点下一页的这种)。

如果要支持跳着翻页,怎么办?

只用 MySQL 这把锤子显然有点不够用了,还要再找一把锤子(Redis),可以把符合条件的记录的主键 ID 都读取出来,存入到 Redis 的有序集合(zset)中,用 zset 相应的函数读取到某一页应该展示的数据对应的那些主键 ID,然后用这些主键 ID 去 MySQL 中查询对应的数据,从而用两把锤子间接的实现了分页功能。

当然,这个方案也是有适用场景的,比如,这个方案明显就不适用于这些场景:符合条件的记录非常非常多导致存主键 ID 到 Redis 要占用很大的内存、记录更新频繁导致存主键 ID 的缓存经常被清除。如果碰到更复杂的场景,就要结合业务具体情况具体分析了

以上就是本文的全部内容了,如果本文对你有所帮助,还请帮忙 转发、点赞,谢谢 ^_^

郑重声明:本文内容及图片均整理自互联网,不代表本站立场,版权归原作者所有,如有侵权请联系管理员(admin#wlmqw.com)删除。
(0)
用户投稿
上一篇 2022年6月20日
下一篇 2022年6月20日

相关推荐

  • 让中小企业成为智能制造的主体

    智能制造是我国数字化转型的主攻方向,也是数字经济战略在制造业层面落实的主要体现。作为新一代信息技术与制造业的融合手段,企业通过在设计、制造、物流、经营、服务等模块实施智能制造,实现…

    2022年8月3日
  • sessionid、token、jwt之sessionid篇

    作为前端,你是不是很好奇后端是如何处理用户登陆的。今天我找后端大佬们咨询了相关知识,先用代码简单演示一下sessionId的登录流程。有错误的地方欢迎大佬们在评论区里指正,大家相互…

    2022年6月18日
  • 曝特斯拉中国开始裁员!裁减幅度或达10%:有员工拿到“N+3”赔偿

    近日有消息称,特斯拉中国在国内开启了大约10%比例的裁员计划,但这一裁员计划并不涉及与其电动汽车生产相关的职位。 在某工作社交平台上,有认证特斯拉公司的员工表示,已有交付岗位的同事…

    2022年6月27日
  • 学龄前越早开始数学启蒙,将来理科成绩越好!但重在培养数学思维

    文 凝妈悟语 《跟早教专家学儿童潜能开发》一书中介绍说,美国西北大学曾对35000名孩子进行过跟踪研究,发现那些在学龄前越早开始数学启蒙的孩子,后来的理科成绩更好,阅读能力也更好。…

    2022年8月31日
  • 这就是荷兰,带你看看“最”真实的荷兰

    荷兰在众人的印象中,属于欧洲经济发展较好的国家之一。 然而我们对于真实的荷兰到底怎样? (此处已添加小程序,请到今日头条客户端查看) 可能人们在空闲的时候来,到荷兰旅游观光,告别了…

    2022年8月21日
  • 量子威胁:量子计算和密码学

    没有人知道什么时候,但威胁加密的量子机器即将到来。以下是研究人员如何使用量子力学破解非对称密码学中的大整数。 量子计算继续存在于实际应用和理论推测之间的模糊空间,但它正在接近现实世…

    2022年8月14日
  • 7月全球手游下载量排行:《Stumble Guys》超《地铁跑酷》登顶

    IT之家 8 月 17 日消息,Sensor Tower 最新数据显示,2022 年 7 月,全球手游在 App Store 和 Google Play 的下载量为 48 亿次,同…

    2022年8月18日
  • 有没有必要公布清华北大所有学生的去向?

    有没有必要公布清华北大所有毕业学生的去向? 完全没有必要! 栽有梧桐树,凤凰自然来! 人谁不想吃好、穿好、用好、住好加上事业有成? 现在是商品社会,不要总是用爱国不爱国来要求别人。…

    2022年7月18日
  • “抖音第一网红”悄悄换人:资本来了

    近日,大众都沉浸在明星刘畊宏半个月左右涨粉超3000万的顶流案例中,很少有人注意到抖音“第一网红”的身份已经易主。 3月底,搞笑剧情达人“疯狂小杨哥 ”粉丝量已突破7000万,成为…

    2022年7月22日
  • 接口自动化测试之Mock

    1.Mock实现原理和实现机制 在某些时候,后端在开发接口的时候,处理逻辑非常复杂,在测试的时候,后端在未完成接口的情况下该如何去测试呢? 我们需要测试,但是有些请求又需要修改一下…

    2022年7月4日

联系我们

联系邮箱:admin#wlmqw.com
工作时间:周一至周五,10:30-18:30,节假日休息