在docker中使用java的内存情况

前言

微服务和docker的结合应该是现在服务端的主流技术,随着springboot的出现,有很多公司已经把微服务迁移到了docker容器中,我们也不甘寂寞,也尝试了一把新技术,把以前的整体服务进行拆分以后,也全部上到了docker容器中。

问题

很久之前,业务部门利用springboot开发好一个app以后,就可以通过java -jar 的命令把程序丢给docker,然后在容器中启动起来,也不管到底系统给这个应用分配了多少内存。

后来由于java默认使用的内存是docker实体机器1/4的内存,导致部署了很多应用以后,经常出现内存不足的情况,然后公司要求应用在启动的时候通过jvm的启动参数来限制java使用的内存来缓解内存消耗过快的问题。

再后来,我们的docker平台进行了升级, 有了可以让应用限制cpu个数和mem大小的参数设置,后面应用方把app的 -Xmx和docker的内存大小设置成同样大小, 比如2g。后面发现跑了一段时间以后,应用经常出现oom的情况,而被杀掉。

因为java使用的内存不仅仅是 -Xmx设置的大小, -Xmx设置的大小只是java进程堆的最大占用内存,

原因

为什么会出现上面这个问题呢?通过监控系统可以知道,docker获得的mem_usage的大小是从外部得到的java进程的内存大小,不仅仅是 -Xmx设置的大小,如果 -Xmx和docker分配的内存一致的话,由于java应用其他的地方还要占用不少的内存,导致还没有到达 -Xmx的时候就没有可以用的内存了,所以被docker容器给干掉了,从而出现了oom的情况。

那么java程序启动的时候需要哪些方面的内存呢?

  1. java程序的堆内存,最大就是 -Xmx设置的这个值
  2. Garbage collection在垃圾回收的时候使用的内存
  3. JIT optimization使用的内存
  4. java程序的Off-heap所使用的内存
  5. java程序的Metaspace所使用的内存
  6. JNI Code所占用的内存
  7. jvm启动的时候所占用的内存。

如何大体估算java进程使用的内存呢?

Max memory = [-Xmx] + [-XX:MaxPermSize] + number_of_threads * [-Xss]

上面的公式大体得到了内存的占用,但是不是全部占用,网上有一些人做了一些试验,有两篇比较好的介绍文章:
https://plumbr.eu/blog/memory-leaks/why-does-my-java-process-consume-more-memory-than-xmx

http://trustmeiamadeveloper.com/2016/03/18/where-is-my-memory-java/

所以猜测在设置jvm启动参数的时候 -Xmx的这个值一般要小于docker限制内存数,个人觉得 -Xmx:docker的比例为 4/5 - 3/4

目前正在试验和观察,这里仅仅保存一下记录,以免忘记。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Docker — 云时代的程序分发方式 要说最近一年云计算业界有什么大事件?Google Compute Engi...
    ahohoho阅读 15,704评论 15 147
  • 从三月份找实习到现在,面了一些公司,挂了不少,但最终还是拿到小米、百度、阿里、京东、新浪、CVTE、乐视家的研发岗...
    时芥蓝阅读 42,469评论 11 349
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,491评论 19 139
  • 似水流年,青春总有尽头。青春就是一场远行,经过了就再也回不去了。时光易逝,友情却有归宿。友情就是一坛烈酒,越发酵越...
    笨企鹅1990阅读 2,849评论 0 4
  • 有的人挣扎着活一天是一天 有的人有期待的等待痊愈 有的人健健康康努力避免死亡 有的人与死无虞追求精神生活
    浮华浪荡一场空阅读 1,319评论 0 1