有时候,由于业务的复杂性,在JVM中拼装一些数据,会造成资源的极大浪费。举个例子,从MySQL中查询出一个List,然后在代码里循环查询数据库,进行一些字段的填充。
这种数据组装方式,除了执行效率的问题,往往会有更多的内存占用,对整个JVM计算节点造成了比较大的压力,有时候甚至造成内存溢出。于是,一些比较牛X的开发人员,使用非常复杂的SQL,来把这些耗时的操作,转嫁给数据库。
可怜的数据库,成了最后一道屏障。谁让数据库的配置普遍都比较高呢?活该。
但是可惜的是,数据库完成这些动作,同样要经历耗时的操作。JAVA线程等的不耐烦了,就会对用户直接返回超时,懵逼的用户会在这种情况下,再次发起重试。
要知道,Java端超时,并不代表发起的请求就结束运行了,这在一些高并发的场景中,可怜的数据库会空跑一些耗时的慢查询,计算着一些无人能知的数据。
可怜的数据库。
对于mysql数据库,有两个可用的参数:
connectTimeout
默认值:0,单位:毫秒
配置连接超时时间,通过 Socket 对象的 connect(SocketAddress endpoint, int timeout) 方法来配置
socketTimeout
默认值:0,单位:ms
配置socket的超时时间,通过 Socket 对象的 setSoTimeout(int timeout) 方法来配置
示例:
jdbc:mysql://xxx.xx.xxx.xxx:3306/database?connectTimeout=60000&socketTimeout=60000
当数据库出现宕机或网络异常时,jdbc 驱动的 socket 超时是必须的。由于TPC/IP 的结构,socket 没有办法检测到网络错误,因此应用也不能检测到与数据库之间的连接是否已经断开。如果没有设置 socket 超时,应用程序会一直等待数据库返回结果。为了避免死连接,socket 必须设置超时时间,通过设置超时时间可以防止出现网络错误时一直等待的情况并缩短故障时间。
一般的数据库连接池都会提供链接检查的功能,但对于已经在使用中的连接往往不会再进行检测。
当设置 connectTimeout=1时,在建立数据库连接时即发生了错误。该值在建立数据库连接时有效。
构造一个慢查,并设置socketTimeout小于慢查的时间,如:socketTimeout=1000&connectTimeout=1000,慢查执行时间100S。
执行查询时,关键异常日志:
...WARN o.s.jdbc.support.SQLErrorCodesFactory 218 - Error while extracting database name - falling back to empty error codes
org.springframework.jdbc.support.MetaDataAccessException: Error while extracting DatabaseMetaData; nested exception is com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: No operations allowed after connection closed.
Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: No operations allowed after connection closed.
Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
The last packet successfully received from the server was 1,029 milliseconds ago. The last packet sent successfully to the server was 1,006 milliseconds ago.
Caused by: java.net.SocketTimeoutException: Read timed out
at java.net.SocketInputStream.socketRead0(Native Method)
at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
at java.net.SocketInputStream.read(SocketInputStream.java:171)
at java.net.SocketInputStream.read(SocketInputStream.java:141)
at com.mysql.jdbc.util.ReadAheadInputStream.fill(ReadAheadInputStream.java:101)
at com.mysql.jdbc.util.ReadAheadInputStream.readFromUnderlyingStreamIfNecessary(ReadAheadInputStream.java:144)
at com.mysql.jdbc.util.ReadAheadInputStream.read(ReadAheadInputStream.java:174)
at com.mysql.jdbc.MysqlIO.readFully(MysqlIO.java:3008)
at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3469)
... 137 common frames omitted
1)异常链 socket read timeout -→ CommunicationsException -→ Error while extracting database name - falling back to empty error codes。因为没有返回error codes,spring SQLErrorCodesFactory 异常转换失败
2)connectTimeout 参数在建立连接后不会再生效
3)SHOW PROCESSLIST 查看mysql上正在执行的查询,发现慢查仍然在执行,也就是说对于慢查而言,此时断开连接并不能终止慢查的执行。
这就像你找个女孩结婚,种下了一粒种子,最后却因为门不当户不对一拍两散。但这例种子,却静悄悄的结出了果实。
socketTimeout 参数有设置的意义,在查询时间超过一定的阈值后,断开连接可以防止客户端的连接被一直占用。
另外对于慢查监控而言,此种异常不方面直接统计运行时间(因为客户端连接被断开,sql未执行完毕),但可以根据异常类型来单独判断,对于这种严重的慢查监控有很重要的现实意义。
作者简介:小姐姐味道 (xjjdog),一个不允许程序员走弯路的公众号。聚焦基础架构和linux。十年架构,日百亿流量,与你探讨高并发世界,给你不一样的味道。我的个人微信xjjdog0,欢迎添加好友,进一步交流。