您当前的位置:首页 > 电脑百科 > 程序开发 > 架构

架构师总结的9种OOM常见原因及解决方案

时间:2020-03-14 10:41:06  来源:  作者:

译者:涯海

当 JVM 内存严重不足时,就会抛出 JAVA.lang.OutOfMemoryError 错误。本文总结了常见的 OOM 原因及其解决方法,如下图所示。如有遗漏或错误,欢迎补充指正。

 

架构师总结的9种OOM常见原因及解决方案

 

1、Java heap space

当堆内存(Heap Space)没有足够空间存放新创建的对象时,就会抛出 java.lang.OutOfMemoryError:Javaheap space 错误(根据实际生产经验,可以对程序日志中的 OutOfMemoryError 配置关键字告警,一经发现,立即处理)。

原因分析

Javaheap space 错误产生的常见原因可以分为以下几类:

1、请求创建一个超大对象,通常是一个大数组。

2、超出预期的访问量/数据量,通常是上游系统请求流量飙升,常见于各类促销/秒杀活动,可以结合业务流量指标排查是否有尖状峰值。

3、过度使用终结器(Finalizer),该对象没有立即被 GC。

4、内存泄漏(Memory Leak),大量对象引用没有释放,JVM 无法对其自动回收,常见于使用了 File 等资源没有回收。

解决方案

针对大部分情况,通常只需要通过 -Xmx 参数调高 JVM 堆内存空间即可。如果仍然没有解决,可以参考以下情况做进一步处理:

1、如果是超大对象,可以检查其合理性,比如是否一次性查询了数据库全部结果,而没有做结果数限制。

2、如果是业务峰值压力,可以考虑添加机器资源,或者做限流降级。

3、如果是内存泄漏,需要找到持有的对象,修改代码设计,比如关闭没有释放的连接。

2、GC overhead limit exceeded

当 Java 进程花费 98% 以上的时间执行 GC,但只恢复了不到 2% 的内存,且该动作连续重复了 5 次,就会抛出 java.lang.OutOfMemoryError:GC overhead limit exceeded 错误。简单地说,就是应用程序已经基本耗尽了所有可用内存, GC 也无法回收。

此类问题的原因与解决方案跟 Javaheap space 非常类似,可以参考上文。

3、Permgen space

该错误表示永久代(Permanent Generation)已用满,通常是因为加载的 class 数目太多或体积太大。

原因分析

永久代存储对象主要包括以下几类:

1、加载/缓存到内存中的 class 定义,包括类的名称,字段,方法和字节码;

2、常量池;

3、对象数组/类型数组所关联的 class;

4、JIT 编译器优化后的 class 信息。

PermGen 的使用量与加载到内存的 class 的数量/大小正相关。

解决方案

根据 Permgen space 报错的时机,可以采用不同的解决方案,如下所示:

1、程序启动报错,修改 -XX:MaxPermSize 启动参数,调大永久代空间。

2、应用重新部署时报错,很可能是没有应用没有重启,导致加载了多份 class 信息,只需重启 JVM 即可解决。

3、运行时报错,应用程序可能会动态创建大量 class,而这些 class 的生命周期很短暂,但是 JVM 默认不会卸载 class,可以设置 -XX:+CMSClassUnloadingEnabled 和 -XX:+UseConcMarkSweepGC这两个参数允许 JVM 卸载 class。

如果上述方法无法解决,可以通过 jmap 命令 dump 内存对象 jmap-dump:format=b,file=dump.hprof<process-id> ,然后利用 Eclipse MAT https://www.eclipse.org/mat 功能逐一分析开销最大的 classloader 和重复 class。

4、Metaspace

JDK 1.8 使用 Metaspace 替换了永久代(Permanent Generation),该错误表示 Metaspace 已被用满,通常是因为加载的 class 数目太多或体积太大。

此类问题的原因与解决方法跟 Permgenspace 非常类似,可以参考上文。需要特别注意的是调整 Metaspace 空间大小的启动参数为 -XX:MaxMetaspaceSize。

5、Unable to create new native thread

每个 Java 线程都需要占用一定的内存空间,当 JVM 向底层操作系统请求创建一个新的 native 线程时,如果没有足够的资源分配就会报此类错误。

原因分析

JVM 向 OS 请求创建 native 线程失败,就会抛出 Unableto createnewnativethread,常见的原因包括以下几类:

1、线程数超过操作系统最大线程数 ulimit 限制;

2、线程数超过 kernel.pid_max(只能重启);

3、native 内存不足;

该问题发生的常见过程主要包括以下几步:

1、JVM 内部的应用程序请求创建一个新的 Java 线程;

2、JVM native 方法代理了该次请求,并向操作系统请求创建一个 native 线程;

3、操作系统尝试创建一个新的 native 线程,并为其分配内存;

4、如果操作系统的虚拟内存已耗尽,或是受到 32 位进程的地址空间限制,操作系统就会拒绝本次 native 内存分配;

5、JVM 将抛出 java.lang.OutOfMemoryError:Unableto createnewnativethread 错误。

解决方案

1、升级配置,为机器提供更多的内存;

2、降低 Java Heap Space 大小;

3、修复应用程序的线程泄漏问题;

4、限制线程池大小;

5、使用 -Xss 参数减少线程栈的大小;

6、调高 OS 层面的线程最大数:执行 ulimia-a 查看最大线程数限制,使用 ulimit-u xxx 调整最大线程数限制。

ulimit -a .... 省略部分内容 ..... max user processes (-u) 16384

6、Out of swap space?

该错误表示所有可用的虚拟内存已被耗尽。虚拟内存(Virtual Memory)由物理内存(Physical Memory)和交换空间(Swap Space)两部分组成。当运行时程序请求的虚拟内存溢出时就会报 Outof swap space? 错误。

原因分析

该错误出现的常见原因包括以下几类:

1、地址空间不足;

2、物理内存已耗光;

3、应用程序的本地内存泄漏(native leak),例如不断申请本地内存,却不释放。

4、执行 jmap-histo:live<pid> 命令,强制执行 Full GC;如果几次执行后内存明显下降,则基本确认为 Direct ByteBuffer 问题。

解决方案

根据错误原因可以采取如下解决方案:

1、升级地址空间为 64 bit;

2、使用 Arthas 检查是否为 Inflater/Deflater 解压缩问题,如果是,则显式调用 end 方法。

3、Direct ByteBuffer 问题可以通过启动参数 -XX:MaxDirectMemorySize 调低阈值。

4、升级服务器配置/隔离部署,避免争用。

7、 Kill process or sacrifice child

有一种内核作业(Kernel Job)名为 Out of Memory Killer,它会在可用内存极低的情况下“杀死”(kill)某些进程。OOM Killer 会对所有进程进行打分,然后将评分较低的进程“杀死”,具体的评分规则可以参考 Surviving the linux OOM Killer。

不同于其他的 OOM 错误, Killprocessorsacrifice child 错误不是由 JVM 层面触发的,而是由操作系统层面触发的。

原因分析

默认情况下,Linux 内核允许进程申请的内存总量大于系统可用内存,通过这种“错峰复用”的方式可以更有效的利用系统资源。

然而,这种方式也会无可避免地带来一定的“超卖”风险。例如某些进程持续占用系统内存,然后导致其他进程没有可用内存。此时,系统将自动激活 OOM Killer,寻找评分低的进程,并将其“杀死”,释放内存资源。

解决方案

1、升级服务器配置/隔离部署,避免争用。

2、OOM Killer 调优。

8、Requested array size exceeds VM limit

JVM 限制了数组的最大长度,该错误表示程序请求创建的数组超过最大长度限制。

JVM 在为数组分配内存前,会检查要分配的数据结构在系统中是否可寻址,通常为 Integer.MAX_VALUE-2。

此类问题比较罕见,通常需要检查代码,确认业务是否需要创建如此大的数组,是否可以拆分为多个块,分批执行。

9、Direct buffer memory

Java 允许应用程序通过 Direct ByteBuffer 直接访问堆外内存,许多高性能程序通过 Direct ByteBuffer 结合内存映射文件(Memory MApped File)实现高速 IO。

原因分析

Direct ByteBuffer 的默认大小为 64 MB,一旦使用超出限制,就会抛出 Directbuffer memory 错误。

解决方案

1、Java 只能通过 ByteBuffer.allocateDirect 方法使用 Direct ByteBuffer,因此,可以通过 Arthas 等在线诊断工具拦截该方法进行排查。

2、检查是否直接或间接使用了 NIO,如 netty,jetty 等。

3、通过启动参数 -XX:MaxDirectMemorySize 调整 Direct ByteBuffer 的上限值。

4、检查 JVM 参数是否有 -XX:+DisableExplicitGC 选项,如果有就去掉,因为该参数会使 System.gc() 失效。

5、检查堆外内存使用代码,确认是否存在内存泄漏;或者通过反射调用 sun.misc.Cleaner 的 clean()方法来主动释放被 Direct ByteBuffer 持有的内存空间。

6、内存容量确实不足,升级配置。

推荐工具&产品

JVM 内存分析工具 mat

1、Eclipse Memory Analyzer

https://www.eclipse.org/mat

阿里云 APM 产品,支持 OOM 异常关键字告警

2、ARMS

https://help.aliyun.com/document_detail/42966.html?spm=a2c4g.11174283.6.685.d69b668cuztvff

阿里 Java 在线诊断工具 Arthas(阿尔萨斯)

3、alibaba Arthas

https://github.com/alibaba/arthas

原文:https://github.com/StabilityMan/StabilityGuide



Tags:OOM   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
Zoom的windows界面自从疫情爆发后,人们被迫在家办公,使得Zoom视频软件迅速普及。不过如果参会者超过100人,需要购买专业版,专业版的费用为14.99美元美元或者149.9美元每年。如...【详细内容】
2021-10-08  Tags: OOM  点击:(249)  评论:(0)  加入收藏
一、前言程序访问 MySQL 数据库时,当查询出来的数据量特别大时,数据库驱动把加载到的数据全部加载到内存里,就有可能会导致内存溢出(OOM)。其实在 MySQL 数据库中提供了流式查询,...【详细内容】
2021-01-05  Tags: OOM  点击:(132)  评论:(0)  加入收藏
JVM的OOM分为多种情况,下面会针对java.lang.OutOfMemoryError: Java heap space这种情况讲解一下发生的原因与解决方案。在JAVA应用启动时,会限制应用的使用空间。也就说,任何...【详细内容】
2020-08-27  Tags: OOM  点击:(109)  评论:(0)  加入收藏
在《Java虚拟机规范》的规定里,除了程序计数器外,虚拟机内存的其他几个运行时区域都有发生 OutOfMemoryError 异常的可能。本篇主要包括如下 OOM 的介绍和示例: java.lang.Sta...【详细内容】
2020-07-09  Tags: OOM  点击:(105)  评论:(0)  加入收藏
Apple 苹果 iPhone SE2智能手机Apple 苹果 iPhone SE2智能手机iPhone SE2是苹果今年上半年唯一的手机新品,虽然售价只有3000元左右,却用上了和高端机相同性能的A13仿生处理器...【详细内容】
2020-07-04  Tags: OOM  点击:(108)  评论:(0)  加入收藏
在本月20日,百睿德远程视频会议官网(brdyun)发布消息。该消息源引外媒《网络视频会议语言产品市场调研》报道,视频会议应用市场独角兽Zoom公司已宣布禁止中国个人用户注册,并不再...【详细内容】
2020-05-25  Tags: OOM  点击:(526)  评论:(0)  加入收藏
Microsoft Research成员今天推出了用于在线会议的虚拟机器人系统(VROOM),它是一种将AR和VR技术结合在一起,并通过远程呈现机器人将真人大小的化身带入工作场所的方法。 VROOM的...【详细内容】
2020-05-07  Tags: OOM  点击:(98)  评论:(0)  加入收藏
作者:孙祚龙爱可生南区分公司交付服务部成员,实习工程师。负责公司产品问题排查及日常运维工作。本文来源:原创投稿*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联...【详细内容】
2020-04-27  Tags: OOM  点击:(73)  评论:(0)  加入收藏
HUAWEI 华为 P40 Pro智能手机 - 对比Mate30 ProHUAWEI 华为 P40 Pro智能手机P40 Pro是华为上半年P系列的高端产品,配置了海思麒麟990处理器,内置双模5G基带,也很赶上时代用上...【详细内容】
2020-04-19  Tags: OOM  点击:(66)  评论:(0)  加入收藏
一波未平一波又起,被爆出大量隐私问题的Zoom,现在成了一家被西方人用枪口瞄准的“中国公司”。 多伦多大学旗下的实验室Citizen Lab,爆出了一则消息:中国人袁征在美国创办的这...【详细内容】
2020-04-06  Tags: OOM  点击:(119)  评论:(0)  加入收藏
▌简易百科推荐
为了构建高并发、高可用的系统架构,压测、容量预估必不可少,在发现系统瓶颈后,需要有针对性地扩容、优化。结合楼主的经验和知识,本文做一个简单的总结,欢迎探讨。1、QPS保障目标...【详细内容】
2021-12-27  大数据架构师    Tags:架构   点击:(5)  评论:(0)  加入收藏
前言 单片机开发中,我们往往首先接触裸机系统,然后到RTOS,那么它们的软件架构是什么?这是我们开发人员必须认真考虑的问题。在实际项目中,首先选择软件架构是非常重要的,接下来我...【详细内容】
2021-12-23  正点原子原子哥    Tags:架构   点击:(7)  评论:(0)  加入收藏
现有数据架构难以支撑现代化应用的实现。 随着云计算产业的快速崛起,带动着各行各业开始自己的基于云的业务创新和信息架构现代化,云计算的可靠性、灵活性、按需计费的高性价...【详细内容】
2021-12-22    CSDN  Tags:数据架构   点击:(10)  评论:(0)  加入收藏
▶ 企业级项目结构封装释义 如果你刚毕业,作为Java新手程序员进入一家企业,拿到代码之后,你有什么感觉呢?如果你没有听过多模块、分布式这类的概念,那么多半会傻眼。为什么一个项...【详细内容】
2021-12-20  蜗牛学苑    Tags:微服务   点击:(9)  评论:(0)  加入收藏
我是一名程序员关注我们吧,我们会多多分享技术和资源。进来的朋友,可以多了解下青锋的产品,已开源多个产品的架构版本。Thymeleaf版(开源)1、采用技术: springboot、layui、Thymel...【详细内容】
2021-12-14  青锋爱编程    Tags:后台架构   点击:(21)  评论:(0)  加入收藏
在了解连接池之前,我们需要对长、短链接建立初步认识。我们都知道,网络通信大部分都是基于TCP/IP协议,数据传输之前,双方通过“三次握手”建立连接,当数据传输完成之后,又通过“四次挥手”释放连接,以下是“三次握手”与“四...【详细内容】
2021-12-14  架构即人生    Tags:连接池   点击:(17)  评论:(0)  加入收藏
随着移动互联网技术的快速发展,在新业务、新领域、新场景的驱动下,基于传统大型机的服务部署方式,不仅难以适应快速增长的业务需求,而且持续耗费高昂的成本,从而使得各大生产厂商...【详细内容】
2021-12-08  架构驿站    Tags:分布式系统   点击:(23)  评论:(0)  加入收藏
本系列为 Netty 学习笔记,本篇介绍总结Java NIO 网络编程。Netty 作为一个异步的、事件驱动的网络应用程序框架,也是基于NIO的客户、服务器端的编程框架。其对 Java NIO 底层...【详细内容】
2021-12-07  大数据架构师    Tags:Netty   点击:(17)  评论:(0)  加入收藏
前面谈过很多关于数字化转型,云原生,微服务方面的文章。虽然自己一直做大集团的SOA集成平台咨询规划和建设项目,但是当前传统企业数字化转型,国产化和自主可控,云原生,微服务是不...【详细内容】
2021-12-06  人月聊IT    Tags:架构   点击:(23)  评论:(0)  加入收藏
微服务看似是完美的解决方案。从理论上来说,微服务提高了开发速度,而且还可以单独扩展应用的某个部分。但实际上,微服务带有一定的隐形成本。我认为,没有亲自动手构建微服务的经历,就无法真正了解其复杂性。...【详细内容】
2021-11-26  GreekDataGuy  CSDN  Tags:单体应用   点击:(35)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条