（2）JVM

    所有Spark程序都是运行在JVM中的，因此需要对JVM进行可靠的学习。而且在Spark使用过程中会设计数据存在哪里（堆内还是堆外），是否序列化（数据大于10G则缓存序列化后的数据否则缓存原始数据），以及是否需要缓存的问题，了解JVM原理，有助于合理分配数据内存和排除问题。

    JVM启动时，会有一个非守护线程即用户线程启动，调用指定类的Main方法，即执行Main方法时，是作为一个线程来运行的，即main线程。

    Java中线程分为守护线程和非守护线程。JVM垃圾回收和内存管理就是守护线程。JRE判断程序是否执行结束的标准是前台进程执行完毕，而不管后台的守护进行，当所有的非守护进程运行结束，即使仍有守护进程，进程也会结束。守护线程用setDemo（）设置。创建的线程默认是用户线程。SetDemo()必须在线程启动前调用。

（1）Java对象的内存布局

        对象在内存中可以分为三个区域：对象头、实例数据、对齐填充。

        其中对象投包括：运行时数据结构MarkWord（哈希码、GC分带年龄、锁状态标志，线程持有的锁、时间戳）和类型指针。

        而对齐填充指的是对象在存储时必须时8字节的整数倍。

（2）对象的访问方式

        java 对象的定位方法主要有两种，使用句柄和直接指针。如下图所示

使用句柄的内存定位 使用直接指针的内存定位

        使用句柄池时，在对象移动过程中，只需要改变句柄中的指针；而使用直接指针则速度快，省去一次指针定位的开销。

（3）类加载机制

        类从被加载到虚拟机内存中开始，到卸载出内存位置，整个生命周期包括：加载、链接（验证、准备、解析）、初始化、使用、卸载。

        加载由类加载器完成，做的事情有3个：

            ①根据全限定名获取此类的二进制字节流；

            ②将这个字节流代表的静态存储结构转化为方法区的运行时数据结构；

            ③在内存中生成一个代表这个类的Class对象，作为方法区这个类的各种数据的访问入口。

        链接

                验证检查待加载的class文件的正确性，目的是为了确保class文件的字节流中包含的信息符合当前虚拟机的要求，并且不会危害虚拟机自身的安全。格式检查（是否是class文件、）元数据检查（是否继承了final的类，是否实现了接口中的所有方法）字节码验证、符号引用验证（访问性 private protected）

                准备在方法区内为类中的静态变量分配存储空间。准备阶段是正式为类变量(被static修饰的变量)分配内存并设置类变量初始值的阶段，这些变量所使用的内存都将在方法区中分配。

                解析将虚拟机常量池中的符号引用替换为直接引用的过程。符号引用以一组符号来描述所引用的目标，符号可以是任何形式的字面量，只要使用时可以无歧义地定位到目标即可。符号引用和虚拟机实现的内存布局无关。直接引用可以是直接指向目标的指针、相对偏移量或是一个能间接定位到目标的句柄。直接引用和虚拟机实现的内存布局有关。

        初始化  如果该类具有超类，则对其初始化，执行静态初始化变量和静态初始化代码块。

        Class文件是一组以8位字节为基础单位的二进制流，各个数据项目严格按照顺序紧凑地排列在Class文件中，中间没有添加任何分隔符，这使得整个Class文件中存储的内容几乎全部是程序运行的必要数据，没有空隙存在，当遇到需要占用8位字节以上空间的数据项时，则会按照高位在前的方式分割成若干个8位字节进行存储。

        每个class文件的头4个字节称为魔数，它的唯一作用就是确定这个文件是否为一个能被虚拟机接收的Class文件。紧着着魔数之后的4个字节存储的class文件的版本号，后面是常量池入口。后面是代表访问标志的两个字节，这个表示用于识别一些类或者接口层次的访问信息。再往后就是类索引、父索引与接口索引集合。字段表集合用户描述接口或者类中声明的变量。方法表集合、属性表集合。

（4）Java内存模型

        首先，JVM将内存组织为主内存和工作内存两个部分。

        主内存主要包括本地方法区和堆。每个线程都有一个工作内存，工作内存中主要包括两个部分，一个是属于该线程私有的栈和对主存部分变量拷贝的寄存器(包括程序计数器PC和cup工作的高速缓存区)。 

Java内存模型

        1、堆

                堆是最大内存区域，线程共享，分配对象和数组，物理上即可不连续。GC堆——OutofMemoryError.不停的new对象，或者在容器中一致持有，无法回收。

         2、方法区

                线程共享，存放类数据信息、静态变量、常量。又被称为永久带。——OutofMemoryError

        3、虚拟机栈

                线程私有，与线程生命周期一致。是描述Java方法执行的内存模型。每个方法都会创建一个栈帧。在活动线程中，只有栈顶栈帧有效，被称为当前栈帧，其关联方法为当前方法

        4、本地方法栈

                用于调用本地操作系统的（native）方法服务

        5、程序计数器

                线程所执行的字节码的行号指示器。为线程私有，没有异常

        6、 直接内存。

                NIO中，堆外分配。它的回收只能等待老年代Full GC时候顺便清理，若有大量NIO，则会有OutOfMemoryError。

（5）垃圾回收机制

        GC主要发生在Java堆和方法区中。

        通过引用计数和可达性分析来判断对象是否存活。引用计数存在循环引用的问题。

        1、回收算法

                标记复制

                        内存分为大小相同的两个块。内存利用率低。对于生长期长的对象存在来回复制的问题。——新生代回收算法.

                        将可用的内存按容量大小分为两块大小相等的两块，每次只使用其中的一块。当某一块的内存使用完了，就把还存活的对象移到另一块内存上，然后把当前这块做清理掉。

                        优点：实现简单，运行高效。

                        缺点：代价太大，将原来的内存缩小为原来的一半。

                标记清除

                        先标记，再清除，效率不高。内存碎片多。——CMS回收器

                        首先标记出所有需要回收的对象，在标记完成后统一回收所有被标记的对象。

                        主要的不足：①效率问题：标记和清除的效率都不高；②空间问题：标记清除后，空间内会有大量不连续的内存碎片，空间碎片太多会导致以后在程序运行过程中需要分配较大对象时，无法找到足够大的内存而不得不提前触发一次垃圾回收操作。

                标记压缩

                        老年代回收算法

                        标记过程与”标记-清除算法“一样，但是后续步骤不是直接对可回收的对象进行清理，而是把所有存活的对象都移到一端，然后直接清理掉端边界以外的内存。

                分代回收

                        将内存区域分为新生代，老年代。新生代老年代比例1:2.通过-XX newRatio设置。新生代又分为Eden、FromSurvive、ToSurvive。比例大小为8:1:1. 新生代采用复制的方式收集内存，将内存分为一块较大的Eden区和两个较小的Survivor区。新建对象总是在Eden区，当Eden区已满，就触发一次young GC，将还存活的对象复制到From Survivor空间。这样Eden区都是未被使用的空间，可供继续创建对象，当Eden区再次被使用满，就会触发一次young GC，当回收时，将Eden区和Survivor区中还存活的对象一次性地复制到另外一个Survivor区上。后面就是每次使用Eden区和一个survivor区，当回收时，将Eden区和Survivor区中还存活的对象一次性地复制到另外一个Survivor区上。如果超过某个阈值对象还未被释放，则将该对象复制到老年代。

                分别使用不同的垃圾回收器来回收。