概述
垃圾收集器主要完成三件事情:
1、哪些内存需要回收
2、什么时候回收
3、如何回收
在Java内存运行时区域的各个部分,其中程序计数器、虚拟机栈、本地方法栈3个区域随线程而生,随线程而灭,栈中的栈帧随着方法的进入和退出而有条不紊的执行着出栈和入栈操作。每一个栈帧中分配多少内存基本上是在类结构确定下来时就已知的,因此这几个区域的内存分配和回收都具备确定性,在这几个区域内就不需要过多考虑如何回收的问题,当方法结束或者线程结束时,内存自然就跟着回收了。
而Java堆和方法区这两个区域则有着很显著的不确定性:一个接口的多个实现类需要的内存可能会不一样,一个方法所执行的不同条件分支所需要的内存也可能不一样,只有处于运行期间,我们才能知道程序究竟会创建哪些对象,创建多少个对象,这部分内存的分配和回收是动态的。垃圾收集器所关注的正是这部分内存该如何管理。
如何判断对象是否存活
在堆里面存放着几乎所有的对象实例,垃圾收集器在堆进行回收前,第一件事情就是要确定这些对象之中哪些对象还存活,哪些对象已经死去。
可达性分析算法
可达性分析算法的基本思路就是通过一系列称为GC Roots的根对象作为起始节点集,从这些节点开始,根据引用关系向下搜索,搜索过程所走过的路径称为引用链Reference Chain,如果某个对象到GC Roots间没有任何引用链相连,或者用图论的话来说就是从GC Roots到这个对象不可达时,则证明此对象不可能再被使用的。
在Java技术体系里面,固定可作为GC Roots的对象包括以下几种:
1、在虚拟机栈(栈帧中的本地变量表)中引用的对象,譬如各个线程被调用的方法堆栈中使用到的参数、局部变量、临时变量等。
2、在方法区中类静态属性引用的对象,譬如Java类的引用类型静态变量。
3、在方法区中常量引用的对象,譬如字符串常量池(String table)里的引用。
4、在本地方法栈中JNI(即通常所说的Native方法)引用的对象。
5、Java虚拟机内部的引用,如基本数据类型对应的Class对象,一些常驻的异常对象等,还有系统类加载器。
6、所有被同步锁(synchronized关键字)持有的对象。
7、反映Java虚拟机内部情况的JMXBean、JVMTI中注册的回调、本地代码缓存等。
引用
无论是通过引用计数算法判断对象的饮用数量,还是通过可达性分析算法判断对象是否引用链可达,判定对象是否存活都和引用离不开关系。在JDK1.2版之前,Java里面的引用是很传统的定义:如果reference类型的数据中存储的数值代表的是另外一块内存的起始地址,就称该reference数据是代表某块内存、某个对象的引用。这种定义并没有什么不对,只是现在看来过于狭隘了。
在JDK1.2版本之后,Java对引用的概念进行了扩充,将引用分为强引用(Strong Reference)、软引用(Soft Reference)、弱引用(Weak Reference)和虚引用(Phantom Reference)4种,这4种引用强度依次逐渐减弱。
1、强引用是最传统的引用的定义,是指在程序代码之中普遍存在的引用赋值,即类似Object obj = new Object()这种引用关系。无论任何情况下,只要强引用关系还存在,垃圾回收器就永远不会回收掉被引用的对象。
2、软引用是用来描述一些还有用,但非必须的对象。只被软引用关联着的对象,在系统将要发生内存溢出异常前,会把这些对象列进回收范围之中进行第二次回收,如果这次回收还没有足够的内存,才会抛出内存溢出异常。在JDK1.2版本之后提供了SoftReference类来实现软引用。
3、弱引用也是用来描述那些非必须的对象,但是它的强度比软引用更弱一些,被弱引用关联的对象只能生存到下一次垃圾收集发生为止。当垃圾收集器开始工作,无论当前内存是否足够,都会回收掉只被弱引用关联的对象。在JDK1.2版本之后提供了WeakReference类来实现弱引用。
4、虚引用也称为幽灵引用,它是最弱的一种引用关系。一个对象是否有虚引用的存在,完全不会对其生存时间构成影响,也无法通过虚引用来取得一个对象的实例。为一个对象设置虚引用关联的唯一的目的只是为了能在这个对象被收集器回收时收到一个系统的通知。在JDK1.2版本之后提供了PhantomReference来实现虚引用。
引用被销毁流程
即使在可达性分析算法中判定为不可达的对象,需要有一个流程,要真正回收一个对象,至少要经历两次标记的过程:如果对象在进行可达性分析后发现没有与GC Roots相连接的引用链,那么它将会被第一次标记,随后进行一次筛选,筛选条件是此对象是否有必要执行finalize()方法。假如对象没有覆盖finalize()方法,或者finalize方法已经被虚拟机调用过,那么虚拟机将这两种情况都视为没有必要执行。
如果这个对象被判定为确有必要执行finalize方法,那么该对象将会被放置在一个名为F-Queue的队列之中,并在稍后由一条虚拟机自动建立的、低调度优先级的Finalizer线程去执行它们的finalize方法。这里所说的执行是指虚拟机会触发这个方法开始运行,但不承诺一定会等待它结束。这样做的原因是,如果某个对象的finalize方法执行缓慢,或者更极端地发生了死循环,将很可能导致F-queue队列中的其他对象永久处于等待,甚至导致整个内存回收子系统崩溃。finalize方法是对象逃脱死亡的最后一次机会,稍后收集器将对F-Queue中的对象进行第二次小规模的标记,如果对象要在finalize中成功拯救了自己,只要重新与引用链上的任何一个对象建立关联即可,那么在第二次标记时它将会被移除即将回收集合,如果对象这个时候还没逃脱,那基本上就真的要被回收了。
回收方法区
方法区的垃圾收集主要回收两部分内容:废弃的常量和不再使用的类型。
判定一个常量是否废弃还是相对简单,而要判定一个类型是否属于不再被使用的类的条件就比较苛刻了。需要同时满足下面三个条件。
1、该类的所有的实例都已经被回收,也就是Java堆中不存在该类及其任何派生子类的实例。
2、加载该类的类加载器已经被回收,这个条件除非是经过精心设计的可替换类加载器的场景,否则通常很难达成的。
3、该类对应的java.lang.Class对象没有在任何地方被引用,无法在任何地方通过反射访问该类的方法。
垃圾收集算法
分代收集理论
当前商业虚拟机的垃圾收集器,大多数都遵循了分代收集(Generational Collection)的理论进行设计,分代收集实质上是一套符合大多数程序运行实际情况的经验法则,它建立在两个分代假说之上:
1、弱分代假说:绝大多数对象都是朝生夕死的。
2、强分代假说:熬过越多次垃圾收集过程的对象就越难以消亡。
这两个分代假说共同奠定了多款常用的垃圾收集器的一致的设计原则:收集器应该将Java堆划分出不同的区域,然后将回收对象依据其年龄(年龄即对象熬过垃圾收集过程的次数)分配到不同的区域之中进行存储。显而易见,如果一个区域中大多数对象都是朝生夕死,难以熬过垃圾收集过程的话,那么把它们集中放一起,每次回收时只关注如何保留少量存活而不是去标记那些大量将要被回收的对象,就能以较低代价回收到大量的空间。如果剩下的都是难以消亡的对象,那把它们集中放在一块,虚拟机便可以使用较低的频率来回收这个区域,这就同时兼顾了垃圾收集的时间开销和内存的空间有效利用。
把分代收集理论具体放到现在的商用Java虚拟机里,设计者一般至少会把Java堆划分为新生代(young Generation)和老年代(Old Generation)两个区域。顾名思义,在新生代中,每次垃圾收集时都发现大批对象死去,而每次回收后存活的少量对象,将会逐步晋升到老年代中存放。
部分收集(Partial GC):指目标不是完整收集整个Java堆的垃圾收集,其中又分为:
- 新生代收集(Minor GC/Young GC):指目标只是新生代的垃圾收集。
- 老年代收集(Major GC/Old GC):指目标只是老年代的垃圾收集。比如CMS
- 混合收集(Mixed GC):指目标是收集整个新生代和部分老年代的垃圾收集。比如G1。
整堆收集(Full GC):收集整个Java堆和方法区的垃圾收集。
标记-清除算法
算法分为标记和清除两个阶段:首先标记出所有需要回收的对象,在标记完成后,统一回收掉所有被标记的对象,也可以反过来,标记存活对象,统一回收所有未被标记的对象。标记的过程就是对象是否属于垃圾的判定过程。
它的缺点主要有两个:第一个是执行效率不稳定,如果Java堆中包含大量对象,而且其中大部分是需要被回收的,这时必须进行大量标记和清除的动作,导致标记和清除两个过程的执行效率都随对象数量增长而降低;第二个是内存碎片化的问题,标记、清除之后会产生大量不连续的内存碎片,空间碎片太多可能会导致以后的程序运行过程中需要分配较大对象时无法找到足够的连续内存而不得不提前触发另一次垃圾收集动作。
标记-复制算法
标记-复制算法的原理是:它将可用内存按容量划分为大小相等的两块,每次只使用其中的一块。当这一块的内存用完了,就将还存活着的对象复制到另外一块上面,然后再把已使用过的内存空间一次清理掉。如果内存中多数对象都是存活的,这种算法将会产生大量的内存复制开销,但对于多数对象都是可回收的情况,算法需要复制的就是占少数的存活对象,而且每次都是针对整个半区进行内存回收,分配内存时也就不用考虑有空间碎片的问题,只需要移动堆顶指针,按顺序分配即可。这种复制算法的代价是将可用的内存缩小为了原来的一半,空间浪费。
Appel回收的具体做法就是把新生代分为一块较大的Eden空间和两块较小的Survivor空间,每次分配内存只使用Eden和其中一块Survivor空间上。发生垃圾收集时,将Eden和Survivor中仍然存活的对象一次性复制到另外一个Survivor空间上,然后直接清理掉Eden和已用过的那块Survivor空间。
标记-整理算法
针对老年代对象的死亡特征,标记整理算法其中的标记过程仍然与标记清除算法一样,但后续步骤不是直接对可回收对象进行清理,而是让所有存活的对象都向空间一端移动,然后直接清理掉边界以外的内存。
Hotspot算法细节
根节点枚举
所有收集器在根节点枚举(即确定GC Roots)时都会 Stop The World,但查找引用链的过程可以做到和用户线程并发
确定GC Roots并不需要遍历所有执行上下文和全局引用,准确式内存管理的HotSpot使用OopMap
- 在类加载时记录对象内什么偏移量上是什么类型的数据
- 在即时编译时记录栈里和寄存器里哪些位置是引用
安全点
并非在代码指令流的任意位置都能够停顿下来开始垃圾收集,而是要求必须执行到达安全点后才能够暂停
安全点既不能太少以至于gc间隔时间过长,也不能太多以至于多次gc增大运行时的内存负荷,一般在长时间执行的指令序列复用(如循环)才会产生安全点
需要在线程跑到安全点时对其中断:
抢先式中断:当gc时先中断所有线程,若有线程不在安全点,则恢复让它跑到安全点(已无虚拟机使用此方式)
主动式中断:设置一个标志位,线程会轮询该标志位,为真时在最近的安全点主动中断挂起
安全区域
安全点保证程序执行时的垃圾收集,但当线程Sleep或Blocked时,线程无法响应虚拟机的中断请求,不能跑到安全点中断挂起,虚拟机也不太可能持续等待该线程被重新唤醒
安全区域是指能够确保在某一段代码片段之中,引用关系不会发生变化,因此在这个区域中任意地方gc都是安全的
当线程执行到安全区域里面的代码会标识自己,gc时不用管已在安全区域的线程,当线程离开时要检查虚拟机是否结束Stop The World,若未结束则需等待
记忆集和卡表
记忆集(Remembered Set)是一种用于记录从非收集区域指向收集区域的指针集合的抽象数据结构,其记录精度有:
字长精度:精确到一个机器字长,其包含跨代指针
对象精度:精确到一个对象,其字段含有跨代指针
卡精度(卡表):精确到一块内存区域,其内有对象含有跨代指针
HotSpot的卡表为字节数组,数组元素对应的内存块称为卡页(大小为2的n次幂),如下表示每个卡页占512字节
CARD_TABLE [this address >> 9] = 0;
若卡页内有对象存在跨代引用指针,就将值置为1,称为Dirty,gc时把Dirty的内存块加入GC Roots
写屏障(Write Barrier)
卡表需在非收集区域指向收集区域时(即在赋值时),将对应元素Dirty,利用写屏障,在引用对象赋值时会产生一个环形通知,供程序执行额外的动作,在赋值前叫作写前屏障,在赋值后叫作写后屏障
伪共享:缓存以行为单位存储,当多线程修改的变量在同一缓存行,就会彼此影响(写回、无效化或者同步)而导致性能降低
多个卡表可能共享一个缓存行并出现伪共享,故在写入前需检查卡表标记,而不是无条件的写屏障
Serial收集器
客户端下默认的垃圾收集器。新生代参数复制算法,老年代采用标记整理算法。
这个收集器是一个单线程工作的收集器,但它的单线程的意义并不仅仅是说明它只会使用一个处理器或一条收集线程去完成垃圾收集工作,更重要的是强调它进行垃圾收集时,必须暂停其他所有工作线程,直到它收集结束。
Serial在执行过程中需要STW
ParNew收集器
ParNew收集器实质上是Serial收集器的多线程版本,除了同时使用多条线程进行垃圾收集之外,其余的行为包括Serial收集器可用的所有控制参数、收集算法、对象分配规则、回收策略都与Serial收集器完全一致。
ParNew在服务端通常与CMS一起工作。ParNew在执行过程中需要STW。
Parallel Scavenge收集器
吞吐量收集器。
Serial Old收集器
Serial收集器的老年代版本。单线程收集器。作为CMS收集器发生失败时的后备预案,在并发收集发生失效Concurrent Mode Failure时使用。采用并发整理算法
Parallel Old收集器
Parallel Scavenge收集器的老年代版本。支持多线程并发收集。基于标记整理算法实现。
CMS收集器
CMS(Concurrent Mark Sweep)收集器是一种以获取最短回收停顿时间为目标的收集器。
从名字上可以看出,CMS收集器是基于标记-清除算法实现的,它的运作过程相对于前面几种收集器来说更复杂一些,整个过程分为四个步骤:
1、初始标记(CMS initial mark)
2、并发标记(CMS concurrent mark)
3、重新标记(CMS remark)
4、并发清除(CMS concurrent sweep)
其中初始标记、重新标记这两个步骤仍然需要STW。初始标记仅仅只是标记一下GC Roots能直接关联到的对象,速度很快;并发标记阶段就是从GC Roots的直接关联对象开始遍历整个对象图的过程,这个过程耗时较长但是不需要停顿用户线程,可以与垃圾收集线程一起并发运行;而重新标记阶段则是为了修正并发标记期间,因用户程序继续运作而导致标记产生变动的那一部分对象的标记记录,这个阶段的停顿时间通常会比初始标记阶段稍长一些,但也远比并发标记阶段的时间短;最后是并发清除阶段,清理删除掉标记阶段判断的已经死亡的对象,由于不需要移动存活对象,所以这个阶段也可以与用户线程同时并发的。
CMS垃圾收集器至少有以下三个明显的缺点:
首先,CMS收集器对处理器资源非常敏感。事实上,面向并发设计的程序都对处理器资源比较敏感。在并发阶段,它虽然不会导致用户线程停顿,但却会因为占用了一部分线程而导致应用程序变慢,降低总吞吐量。CMS默认启动的回收线程数是(处理器核心数量 + 3)/4,也就是说,如果处理器核心数在四个或以上,并发回收时垃圾收集线程只占用不超过25%的处理器运算资源,并且会随着处理器核心数量的增加而下降。但是当处理器核心数量不满足四个时,CMS对用户程序的影响就可能变得很大,就可能导致用户程序的执行速度忽然大幅降低。为了缓解这种情况,在并发标记、清理的时候让收集器线程、用户线程交替进行,尽量减少垃圾收集器的独占资源的时间,这样整个垃圾收集的过程会更长,但对用户程序的影响就会显得较少一些。
然后,由于CMS收集器无法处理浮动垃圾,有可能出现Concurrent Mode Failure失败进而导致另一次完全Stop the world的Full GC产生。在CMS并发标记和并发清理阶段,用户线程还在继续运行,程序在运行自然就还会伴随着有新的垃圾对象不断产生,但这一部分垃圾对象是出现在标记过程结束以后,CMS无法在当次收集中处理掉它们,只好等待下一次垃圾收集时在清理掉。这一部分垃圾就被称为浮动垃圾。同样也是由于在垃圾收集阶段用户线程还需要持续运行,那就还需要预留足够的内存空间提供给用户线程使用,因此CMS收集器不能像其他收集器那样等待到老年代几乎完全满了再进行收集,必须预留一部分空间供并发收集时的程序运行使用。在JDK1.5的默认设置下,CMS收集器当老年代使用了68%的空间后就会被激活。如果在实际应用中老年代增长并不是太快,可以适当调高参数-XX:CMSInitiatingOccupancyFraction的值来提高CMS触发的百分比,降低内存回收频率,获取更好的性能。但是到了JDK1.6时,CMS的启动阈值就已经默认提升到了92%。但这又会更容易面临另一种风险:要是CMS运行期间预留的内存无法满足程序分配新对象的需要,就会出现一次并发失败(Concurrent Mode Failure),这时候虚拟机将不得不启动后备预案:冻结用户线程的执行,临时启动Serial Old收集器来重新进行老年代的垃圾收集,但这样停顿时间就很长了。所以参数-XX:CMSInitiatingOccupancyFraction设置的太高将会很容易导致大量的并发失败产生,性能反而降低,用户应在生产环境中根据实际应用情况来权衡设置。
还有最后一个缺点CMS是一款基于标记清除算法实现的收集器,这就意味着收集结束时会有大量的空间碎片产生。空间碎片过多时,将会给大对象的分配带来很大的麻烦,往往会出现老年代还有很多剩余空间,但就是无法找到足够大的连续空间分配当前对象,而不得不提前触发一次Full GC的情况。为了解决这个问题,CMS收集器提供了一个-XX:+UseCMSCompactAtFullCollection开关参数用于在CMS收集器不得不进行Full GC时开启内存碎片的合并整理过程,由于这个内存整理必须移动存活对象,是无法并发的。这样空间问题解决了,但是停顿时间又会变长。
Garbage First收集器
G1收集器的运作过程大致可划分为以下四个步骤:
1、初始标记(Initial Marking):仅仅只是标记一下GC Roots能直接关联到的对象,并且修改TAMS指针的值,让下一个阶段用户线程并发运行时,能正确地在可用的Region中分配对象。这个阶段需要停顿线程,但耗时很短,而且是借用进行Minor GC的时候同步完成的,所以G1收集器在这个阶段并没有额外的停顿。
2、并发标记(Concurrent Marking):从GC Roots开始对堆中对象进行可达性分析,递归扫描整个堆里的对象图,找出要回收的对象,这个阶段耗时较长,但可与用户程序并发执行。当对象图扫描完成后,还要重新处理SATB记录下的在并发时有引用变动的对象。
3、最终标记(Final Marking):对用户线程做另一个短暂的暂停,用于处理并发阶段结束后仍遗留下来的最后那少量的SATB记录。
4、筛选回收(Live Data Counting and Evacuation):负责更新Region的统计数据,对各个Region的回收价值和成本进行排序,根据用户所期望的停顿时间来制定回收计划,可以自由选择任意多个Region构成回收集,然后把决定回收的那一部分Region的存活对象复制到空的Region中,再清理掉旧Region的全部空间。这里的操作涉及存活对象的移动,是必须暂停用户线程,由多条收集器线程并行完成的。
从上述阶段的描述可以看出,G1收集器除了并发标记外,其余阶段也是要完全暂停用户线程的,换言之,它并非纯粹地追求低延迟,官方给它设定的目标是在延迟可控的情况下获得尽可能高的吞吐量。