MySQL中经典的too many connection怎么破

2017 年 11 月 19 日 DBAplus社群 兰春


作者介绍

兰春58安居客资深DBA,专注于MySQL领域的运维与运营。


一、什么是too many connection


1、重要参数


max_connections : The maximum permitted number of simultaneous client connections

允许的最大的链接数,如果超过这个数值,则会报:ERROR 1040 (HY000): Too many connections


max_user_connections: The maximum number of simultaneous connections permitted to any given MySQL user account

允许的每个用户最大链接数,如果超过这个数值,则会报: ERROR 1203 (42000): User dba already has more than 'max_user_connections' active connections。


一般这样的报错只会出现在业务机器上,并不会在DB server层报错,这样的话DBA就无法真正感知到错误,MySQL也非常贴心的推出了一个status供DBA查看:Connection_errors_max_connections


Connection_errors_max_connections : The number of connections refused because the server max_connections limit was reached.

细心的同学就会发现:那如果出现'max_user_connections' 的报错,就无法发现啦,这块目前我还没找到对应status。


二、什么情况下会发生too many connection


1、slow query 引起


  • 真正的slow:该query的确非常慢

  • 伪装的slow:该query本身并不慢,是受其它因素的影响导致


2、sleep 空连接引起


  • 没有任何query,只是sleep,这种情况一般是代码里面没有主动及时释放链接导致。


三、实战案例


1、sleep 空链接引起的TMC(too many connection简称)


原因


由于代码没有主动及时的释放链接,那么在DB Server中存在大量的sleep链接,一旦超过max_connections则报错。


解决方案


(1)遇到这样的报错,如果没有及时解决,则会导致后面的业务都一直连不上数据库,影响面很大。


(2)所以我们第一件事情必须是保护数据库,kill掉这些sleep链接。关于kill这件事,又有很多技巧可以谈:


  • 如果是人工kill,这简直无法完成这样艰巨的任务,因为业务会时刻产生这样的sleep链接,有无尽头

  • 如果自己写脚本,没秒去kill,当然可行。但是我们却碰到过非常极端的情况,那就是MySQL无法响应你的kill请求。

  • 所以,这里还有一个更加靠谱的方案就是:设置wait_timeout, 它会自动帮你完成这项庞大且艰巨的任务,且一定可以kill掉


(3)完成上面几个步骤之后,只能保证你的数据库不会被压到,且你有机会登陆进去做一些管理事情,但要彻底解决还必须让业务方处理这些sleep链接。


  • 业务团队排查没有释放链接的原因。

  • 通常,如果可以,DBA协助业务方提供TMC期间top ip,让业务方排查服务哪里异常。


(4)启用thread_pool功能可能可以解决这个问题,但是由于种种原因没有使用。


  • MySQL官方社区版不支持

  • 无法解决slow query引起的TMC

  • 可能因为该组件导致其本身的问题


2、 slow query 引起的TMC


(1)先来说说真正的slow query


一般这种情况,也非常清晰明了,找到它,优化它,当然前提是你的数据库还活着。


我们通常有SQL防火墙保护,大大降低了这样的风险。预知SQL防火墙为何物,且听下回分享。


(2)伪装的slow query


好了,终于开始介绍这种最难的故障场景。


难点就是:因为它不是真正的slow,优化点难以寻找,所谓对症下药,就是要找到对应的症状,这也是难点所在。


废话不多说,这里介绍下前一段时间遇到的一次真实的案例。


故障症状


  1. too many connection error

  2. threads_runnig 非常多

  3. 几乎找不到有问题的query,没有明显慢的query

  4. 几乎任何语句都变得非常慢

  5. 服务器IO压力并不大


故障分析



重要参数详解


官方文档的解释我不多说,这里简单介绍下自己的理解。


  • innodb_thread_concurrency : 进入innodb存储引擎的线程数量,如果数量满了,就要排队

  • innodb_thread_sleep_delay : 排队等候进入innoDB的时候需要睡眠多长时间

  • innodb_adaptive_max_sleep_delay : 设置一个自适应的最大睡眠时间

  • innodb_concurrency_tickets: 一旦进入innoDB,就会获取一个票据tickets,在票据期间可以随意进入innoDB不需要排队,如果用完了,理论上则要排队(实测后发现并不是严格这套机制)


测试故障重现


表结构



关键参数设置


set global innodb_thread_concurrency = 1; --方便模拟


测试用例,三个语句开始执行时间不差1秒



跟踪结果



总结


1. 通过以上测试和结果分析得出:当query超过innodb_thread_concurrency时,其余query会等待,及时这样的query非常快,也还是会等待,这就是所谓的伪装的slow query。


2. 通过trx_started,now()分析得出:这些query直接的切换轮询并不是真正意义上的平均公平分配,里面有一套自己的自适应算法,这里面我没有深究下去,有兴趣的同学可以继续了解源码。


3. 既然真正的原因找到,那么解决方案也就很快出来,那就是让并发线程少一点,通过我们的omega平台可以很方便地得出这段时间哪些query和connect最多,那么协助业务一起沟通业务场景和优化方案,问题得到解决。


文章来源:云栖社区,经同意授权转载

链接:https://yq.aliyun.com/articles/226984?spm=5176.8091938.0.0.nCksaV


-AND-

不过瘾?没关系!

来2017 Gdevops广州站

杨建荣老师将开设《MySQL优化实战》的深度课程


近期热文:

Redis服务端优化实践:配置优化、主从切换、持久化

PaaS调研:GAE与AWS哪家强?

从MySQL和MongoDB的对比,看SQL与NoSQL的较量

为什么说解耦的战术,决定了架构的高度?

请自查!这些优秀日志实践准则,你做到了几点?


新世界的大门由此打开!

登录查看更多
1

相关内容

【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
155+阅读 · 2020年5月26日
专知会员服务
31+阅读 · 2020年5月20日
模型压缩究竟在做什么?我们真的需要模型压缩么?
专知会员服务
27+阅读 · 2020年1月16日
【斯坦福&Google】面向机器人的机器学习,63页PPT
专知会员服务
25+阅读 · 2019年11月19日
PC微信逆向:两种姿势教你解密数据库文件
黑客技术与网络安全
16+阅读 · 2019年8月30日
一文看懂怎么用 Python 做数据分析
大数据技术
24+阅读 · 2019年5月5日
经验分享 | SLAM、3D vision笔试面试问题
计算机视觉life
24+阅读 · 2019年5月1日
亿级订单数据的访问与存储,怎么实现与优化?
码农翻身
16+阅读 · 2019年4月17日
Python | Jupyter导出PDF,自定义脚本告别G安装包
程序人生
7+阅读 · 2018年7月17日
深度学习面试100题(第31-35题)
七月在线实验室
8+阅读 · 2018年7月16日
Python 杠上 Java、C/C++,赢面有几成?
CSDN
6+阅读 · 2018年4月12日
step-by-step: 夕小瑶版神经网络调参指南(上)
夕小瑶的卖萌屋
6+阅读 · 2018年3月20日
10 小时到 10 分钟,一步步优化巨量关键词的匹配
Linux爱好者
3+阅读 · 2017年7月29日
Arxiv
9+阅读 · 2020年2月15日
Conceptualize and Infer User Needs in E-commerce
Arxiv
3+阅读 · 2019年10月8日
A General and Adaptive Robust Loss Function
Arxiv
8+阅读 · 2018年11月5日
Efficient and Effective $L_0$ Feature Selection
Arxiv
5+阅读 · 2018年8月7日
Arxiv
5+阅读 · 2017年12月14日
VIP会员
相关资讯
PC微信逆向:两种姿势教你解密数据库文件
黑客技术与网络安全
16+阅读 · 2019年8月30日
一文看懂怎么用 Python 做数据分析
大数据技术
24+阅读 · 2019年5月5日
经验分享 | SLAM、3D vision笔试面试问题
计算机视觉life
24+阅读 · 2019年5月1日
亿级订单数据的访问与存储,怎么实现与优化?
码农翻身
16+阅读 · 2019年4月17日
Python | Jupyter导出PDF,自定义脚本告别G安装包
程序人生
7+阅读 · 2018年7月17日
深度学习面试100题(第31-35题)
七月在线实验室
8+阅读 · 2018年7月16日
Python 杠上 Java、C/C++,赢面有几成?
CSDN
6+阅读 · 2018年4月12日
step-by-step: 夕小瑶版神经网络调参指南(上)
夕小瑶的卖萌屋
6+阅读 · 2018年3月20日
10 小时到 10 分钟,一步步优化巨量关键词的匹配
Linux爱好者
3+阅读 · 2017年7月29日
Top
微信扫码咨询专知VIP会员