Android内存管理机制

Linux 的虚拟内存、物理内存、磁盘

为什么要有虚拟内存的概念

• 进程创建时，会分配4G的虚拟内存，如果分配物理内存的话，物理内存很快就会分配完。
• 由于指令都是直接访问物理内存的，那么我这个进程就可以修改其他进程的数据，甚至会修改内核地址空间的数据，这是我们不想看到的。
• 因为内存时随机分配的，所以程序运行的地址也是不正确的。

什么是页表

进程需要知道哪些地址空间上的数据在物理内存上，哪些不在（可能这部分存储在磁盘上），还有在物理内存上的哪里，这就需要通过页表来记录
页表的每一个表项分两部分，第一部分记录此页是否在物理内存上，第二部分记录物理内存页的地址（如果在的话）

20180830114901391.png

虚拟内存、页表、物理内存、磁盘的工作方式

在进程创建时，内核会分配4G虚拟内存，当进程没有开始运行时，是不会将磁盘上的程序数据和代码等拷贝到物理内存中，只是建立好虚拟内存和磁盘之间的映射关系。

1. 每次我要访问地址空间上的某一个地址，都需要把地址翻译为实际物理内存地址
   所有进程共享这整一块物理内存，每个进程只把自己目前需要的虚拟地址空间映射到物理内存上
2. 当进程访问某个虚拟地址的时候，就会先去看页表，如果发现对应的数据不在物理内存上，就会发生缺页异常
3. 缺页异常的处理过程，操作系统立即阻塞该进程，并将硬盘里对应的页换入内存，然后使该进程就绪，如果内存已经满了，没有空地方了，那就找一个页覆盖，至于具体覆盖的哪个页，就需要看操作系统的页面置换算法是怎么设计的了。

20180830111258836.png

mmap

在LINUX中我们可以使用mmap用来在进程虚拟内存地址空间中分配地址空间，创建和物理内存的映射关系。

映射关系

映射的内容

• 文件映射： 磁盘文件映射进程的虚拟地址空间，第一次使用时使用文件内容初始化物理内存。
• 匿名映射：初始化全为0的内存空间。

映射是否共享

• 私有映射(MAP_PRIVATE) ： 多进程间数据共享，修改不反应到磁盘实际文件，是一个copy-on-write（写时复制）的映射方式。
• 共享映射(MAP_SHARED)： 多进程间数据共享，修改反应到磁盘实际文件中。

总共4种映射关系

1. 私有文件映射：
   多个进程使用同样的物理内存页进行初始化，但是各个进程对内存文件的修改不会共享，也不会反应到物理文件中

2. 私有匿名映射：
   mmap会创建一个新的映射，各个进程不共享，这种使用主要用于分配内存(malloc分配大内存会调用mmap)。
   例如开辟新进程时，会为每个进程分配虚拟的地址空间，这些虚拟地址映射的物理内存空间各个进程间读的时候共享，写的时候会copy-on-write。

3. 共享文件映射：
   多个进程通过虚拟内存技术共享同样的物理内存空间，对内存文件 的修改会反应到实际物理文件中，他也是进程间通信(IPC)的一种机制。

4. 共享匿名映射：
   这种机制在进行fork的时候不会采用写时复制，父子进程完全共享同样的物理内存页，这也就实现了父子进程通信(IPC).

mmap和new/malloc 的关系

new/malloc 是C++/C语言层面的事情，实际在类linux的操作系统层面，给用户提供的申请内存的函数只有brk/sbrk和mmap函数。

• sbrk 作用就是扩展heap的上界，可以传入一个分配大小，并返回新的brk的地址。
• Malloc函数当申请小内存时使用sbrk来分配内存，大内存则使用mmap申请，如果是这种情况，这时的malloc并没有申请物理内存的占用 。但实际上大部分malloc的实现都会在操作系统内再维护一个内存池，它会预先申请一块较大的连续内存复用，最终都是走的mmap。

QQ图片20200904163539.png

mmap在write和read时会发生什么

write

1. 进程(用户态)将需要写入的数据直接copy到对应的mmap地址(内存copy)
2. 若mmap地址未对应物理内存，则产生缺页异常，由内核处理
3. 若已对应，则直接copy到对应的物理内存
4. 由操作系统调用，将脏页回写到磁盘（通常是异步的）

read

image.png

从图中可以看出，mmap要比普通的read系统调用少了一次copy的过程。因为read调用，进程是无法直接访问kernel space的，所以在read系统调用返回前，内核需要将数据从内核复制到进程指定的buffer。但mmap之后，进程可以直接访问mmap的数据(page cache)。

mmap 性能总结

优点

• 对文件的读取操作跨过了页缓存，减少了数据的拷贝次数，用内存读写取代I/O读写，提高了文件读取效率。

• 实现了用户空间和内核空间的高效交互方式。两空间的各自修改操作可以直接反映在映射的区域内，从而被对方空间及时捕捉。

• 提供进程间共享内存及相互通信的方式。不管是父子进程还是无亲缘关系的进程，都可以将自身用户空间映射到同一个文件或匿名映射到同一片区域。从而通过各自对映射区域的改动，达到进程间通信和进程间共享的目的。同时，如果进程A和进程B都映射了区域C，当A第一次读取C时通过缺页从磁盘复制文件页到内存中；但当B再读C的相同页面时，虽然也会产生缺页异常，但是不再需要从磁盘中复制文件过来，而可直接使用已经保存在内存中的文件数据。

• 可用于实现高效的大规模数据传输。内存空间不足，是制约大数据操作的一个方面，解决方案往往是借助硬盘空间协助操作，补充内存的不足。但是进一步会造成大量的文件I/O操作，极大影响效率。这个问题可以通过mmap映射很好的解决。换句话说，但凡是需要用磁盘空间代替内存的时候，mmap都可以发挥其功效。

缺点

• 文件如果很小，是小于4096字节的，比如10字节，由于内存的最小粒度是页，而进程虚拟地址空间和内存的映射也是以页为单位。虽然被映射的文件只有10字节，但是对应到进程虚拟地址区域的大小需要满足整页大小，因此mmap函数执行后，实际映射到虚拟内存区域的是4096个字节，11~4096的字节部分用零填充。因此如果连续mmap小文件，会浪费内存空间。
• 对变长文件不适合，文件无法完成拓展，因为mmap到内存的时候，你所能够操作的范围就确定了。
• 如果更新文件的操作很多，会触发大量的脏页回写及由此引发的随机IO上。所以在随机写很多的情况下，mmap方式在效率上不一定会比带缓冲区的一般写快。

进程中的内存

android 系统给app进程分配的的内存都有上限，如果需要增大内存限制，有以下方案：

• 则在AndroidManifest.xml中的application标签加上 android:largeHeap="true"
• 创建子进程。创建一个新的进程，那么我们就可以把一些对象分配到新进程的heap上了，从而达到一个应用程序使用更多的内存的目的。
• 使用jni在native heap上申请空间（推荐使用）。nativeheap的增长并不受dalvik vm heapsize的限制。只要RAM有剩余空间，程序员可以一直在native heap上申请空间，当然如果 RAM快耗尽，memory killer会杀进程释放RAM。
• 使用显存。使用 OpenGL textures 等 API ， texture memory 不受 dalvik vm heapsize 限制。

内存示例（图中的所占内存都是指物理内存）

adb shell dumpsys meminfo [包名]

企业微信截图_3a99991d-5dac-432d-a168-90395d55d651.png 企业微信截图_3524d35d-e233-43bc-96ce-b04fa4692f82.png

名词解释

• Pss（proportional[比例的] set size）Total:进程实际占用的物理内存大小，但是android内存涉及到在系统中同其他进程共享一部分库（可能是so，可能是字体文件等的mmap），所以这里面会考虑这个因素计算你的进程平摊的这部分共享库的大小，这里的p就意味着统计了这个平摊后的物理内存。这是衡量进程占用内存的最真实指标。

• Private Dirty 和 Private Clean:则是完全该进程自己（而不包括和别人共享部分）占用的物理内存，clean是指那部分可能被swap的内存部分（即前面说到的拥有backup文件，mmap之后一直保持只读状态，他们具有被swap out的可能，比如你的so库文件。），而dirty部分就是除clean之外那些不能被swap的内存。Private Dirty通常是你的进程内存最需要优化的地方，因为他们是大头。

• Swapped Dirty：指的并不是被swap-out出去的内存，而是android系统中zram机制压缩掉的部分Private Dirty部分的不常用物理内存，这个重要度等同于Private Dirty，因为哪些Private Dirty会被压缩不能被控制，所以这部分多通常也是Private Dirty 的。

• Native Heap:这是C/C++层直接通过malloc分配的内存

• Dalvik Heap:虚拟机堆，由java层new出来的对象放在这里

• Dalvik other:？？？

• Stack: 栈分配内存

• Ashmem: 进程的匿名共享内存 Anonymous Shared Memory ，通常不会很大，和操作系统有关系

• GFX dev :通俗来说是你的显存，android 显存和内存在同样的物理设备上，所以统计的总内存是包括显存

• Other Dev: 除显卡外所有其他硬件设备的mmap后的物理内存，可能包括声卡等，通常不多。

• .so mmap: 这个就是so库本身文件mmap占用的物理内存，我们随着游戏进度会逐渐的读取我们的so文件，造成和缺页的部分就是在物理内存产生占用，这部分大就是so库太大了，但是这部分因为有很多是readonly的mmap，所以有更大的机会被swap-out出去。

• .apk .dex oat .art mmap: 这些都是android 程序文件本身被mmap占用的内存，和so的性质差不多。

• Other mmap: 是所有除了上面的之外其他的所有非匿名方式的mmap

• Unkonwn: 所有的匿名mmap

注意点：

• PSS中已经包含了Private Dirty和Private Clean，但是没包含swapped dity，所以最终衡量你的进程对物理内存的占用应该是取PSS+Swapped Dirty

JAVA 虚拟机进程中的内存结构

2718191-c237aac8fe972243.png

• 程序计数器（Program Counter Register）：

  • 是一块较小的内存空间，它可以看作是当前线程所执行的Java字节码的行号指示器。在虚拟机的概念模型里，字节码解释器工作时就是通过改变这个计数器的值来选取下一条需要执行的字节码指令，分支、循环、跳转、异常处理、线程恢复等基础功能都需要依赖这个计数器来完成。
  • 由于Java虚拟机的多线程是通过线程轮流切换并分配处理器执行时间的方式来实现的，在任何一个确定的时刻，一个处理器都只会执行一条线程中的指令。因此，为了线程切换后能恢复到正确的执行位置，每条线程都需要有一个独立的程序计数器，各条线程之间计数器互不影响，独立存储，我们称这类内存区域为“线程私有”的内存。
  • 如果线程正在执行的是一个Java方法，这个计数器记录的是正在执行的虚拟机字节码指令的地址；如果正在执行的是Native方法，这个计数器值则为空（Undefined）。此内存区域是唯一 一个在Java虚拟机规范中没有规定OutOfMemoryError情况的区域。

• Java虚拟机栈

  • 与程序计数器一样，Java虚拟机栈（Java Virtual Machine Stacks）也是线程私有的，它的生命周期与线程相同。虚拟机栈描述的是Java方法执行的内存模型：每个方法在执行的同时都会创建一个栈帧（Stack Frame）用于存储局部变量表、操作数栈、动态链接、方法出口等信息。每一个方法从调用直至执行完成的过程，就对应着一个栈帧在虚拟机栈中入栈到出栈的过程。
  • 经常有人把Java内存区分为堆内存（Heap）和栈内存（Stack），其中所指的“堆”就是Java堆，而所指的“栈”就是现在所讲的虚拟机栈，或者说是虚拟机栈中局部变量表部分。
  • 局部变量表存放了编译期可知的各种基本数据类型（boolean、byte、char、short、int、float、long、double）、对象引用（reference类型，它不等同于对象本身，可能是一个指向对象起始地址的引用指针，也可能是指向一个代表对象的句柄或其他与此对象相关位置）和returnAddress类型（指向了一条字节码指令的地址）。
  • 其中64为长度的long和double类型的数据会占用2个局部变量空间（Slot），其余的数据类型只占用1个。局部变量表所需的内存空间在编译期间完成分配，当进入一个方法时，这个方法需要在帧中分配多大的局部变量空间是完全确定的，在方法运行期间不会改变局部变量表的大小。
  • 在Java虚拟机规范中，对这个区域规定了两种异常状况：如果线程请求的栈深度大于虚拟机所允许的深度，将抛出StackOverflowError异常；如果虚拟机栈可以动态扩展（当前大部分的Java虚拟机都可动态扩展，只不过Java虚拟机规范中也允许固定长度的虚拟机栈），如果扩展时无法申请到足够的内存，就会抛出OutOfMemoryError异常。

• 本地方法栈

  • 本地方法栈（Native Method Stack）与虚拟机栈所发挥的作用是非常相似的，它们之间的区别不过是虚拟机栈为虚拟机执行Java方法（也就是字节码）服务，而本地方法栈则为虚拟机使用到的Native方法服务。在虚拟机规范中对本地方法栈中方法使用的语言、使用方式与数据结构并没有强制规定。HotSpot虚拟机直接把本地方法栈和虚拟机栈合二为一。与虚拟机栈一样，本地方法栈区域也会抛出StackOverflowError和OutOfMemoryError异常。

• Java堆

  • 对于大多数应用来说，Java堆（Java Heap）是Java虚拟机所管理的内存中最大的一块。Java堆是被所有线程共享的一块内存区域，在虚拟机启动时创建。此内存区域的唯一目的就是存放对象实例，几乎所有的对象实例都在这里分配内存。这一点在Java虚拟机规范中的描述是：所有的对象实例以及数组都要在堆上分配，但是随着JIT编译器的发展以及逃逸分析技术逐渐成熟，栈上分配、标量替换优化技术将会导致一些微妙的变化发生，所有的对象都分配在堆上也渐渐变得不是那么“绝对”了。
  • Java堆是垃圾收集器管理的主要区域，因此很多时候也被称做“GC堆”（Garbage Collected Heap）。从内存回收的角度来看，由于现在收集器基本都采用分代收集算法，所以Java堆中还可以细分为：新生代和老年代；再细致一点的，新生代可以有Eden空间、From Survivor空间、To Survivor空间等。从内存分配的角度来看，线程共享的Java堆中可能划分出多个线程私有的分配缓冲区（Thread Local Allocation Buffer，TLAB）。不过无论如何划分，都与存放内容无关，无论哪个区域，存储的都仍然是对象实例，进一步划分的目的是为了更好地回收内存，或者更快地分配内存。
  • 根据Java虚拟机规范的规定，Java堆可以处于物理上不连续的内存空间中，只要逻辑上是连续的即可，就像我们的磁盘空间一样。在实现时，既可以实现成固定大小的，也可以是扩展的，不过当前主流的虚拟机都是按照可扩展来实现的（通过-Xmx和-Xms控制）。如果在堆中没有内存完成实例分配，并且堆也无法再扩展时，将会抛出OutOfMemoryError异常。

• 方法区 （永久代）
  方法区（Method Area）与Java堆一样，是各个线程共享的内存区域，它用于存储已被虚拟机加载的类信息、常量、静态变量、即时编译器编译后的代码等数据，即存放静态文件，如Java类、方法等。虽然Java虚拟机规范把方法区描述为堆的一个逻辑部分，但是它却有一个别名叫做Non-Heap（非堆），目的应该是与Java堆区分开来。

  • jdk7 以前的实现如下：

    
    1217276-20190418165715298-666699733.png
  • jdk7:
    在目前已经发布的JDK1.7的HotSpot中，已经把原本放在永久代的字符串常量池移到了Java堆中。

  • jdk8：
    jdk8版本中则把永久代给完全删除了，取而代之的是MetaSpace。
    运行时常量池和静态变量都存储到了堆中，MetaSpace存储类的元数据，MetaSpace直接在本地内存中（Native memory），这样类的元数据分配只受本地内存大小的限制，OOM问题就不存在了。

    
    1217276-20190418171349818-952181838.png

• 运行时常量池

  • 运行时常量池（Runtime Constant Pool）是方法区的一部分。Class文件中除了有类的版本、字段、方法、接口等描述信息外，还有一项信息是常量池（Constant Pool Table），用于存放编译期生成的各种字面量和符号引用，这部分内容将在类加载后进入方法区的运行时常量池中存放。
  • 运行时常量池相对于Class文件常量池的另外一个重要特征是具备动态性，Java语言并不要求常量一定只有编译期才能产生，也就是并非预置入Class文件中常量池的内容才能进入方法区运行时常量池，运行期间也可能将新的常量放入池中，这种特性被开发人员利用得比较多的便是String类的intern()方法。
  • 既然运行时常量池是方法区的一部分，自然受到方法区内存的限制，当常量池无法再申请到内存时会抛出OutOfMemoryError异常。

• 直接内存（堆外内存）

  • 直接内存（Direct Memory），也叫堆外内存，它并不是虚拟机运行时数据区的一部分，也不是Java虚拟机规范中定义的内存区域，而是Java虚拟机的堆以外的内存，直接受操作系统管理。但是这部分内存也被频繁地使用，而且也可能导致OutOfMemoryError异常出现。使用堆外内存有两个优势，一是减少了垃圾回收，二是提升复制速度，如NIO就是采用堆外内存。可以使用未公开的Unsafe和NIO包下ByteBuffer来创建堆外内存。
  • 在JDK1.4中新加入了NIO（New Input/Output）类，引入了一种基于通道（Channel）与缓冲区（Buffer）的I/O方式，它可以使用Native函数库直接分配堆外内存，然后通过一个存储在Java堆中的DirectByteBuffer对象作为这块内存的引用进行操作。这样能在一些场景中显著提高性能，因为避免了在Java堆和Native堆中来回复制数据。
  • 显然，本机直接内存的分配不会受到Java堆大小的限制，但是，既然是内存，肯定还是会受到本机总内存（包括RAM以及SWAP区或者分页文件）大小以及处理寻址空间的限制。服务器管理员在配置虚拟机参数时，会根据实际内存设置-Xmx等参数信息，但经常忽略直接内存，使得各个内存区域总和大于物理内存限制（包括物理的和操作系统级的限制），从而导致动态扩展时出现OutOfMemoryError异常。

android LowMemoryKiller原理

进程的优先级

前台进程(Foreground process)

• 包含正在交互的Activity（resumed
• 包含绑定到正在交互的Activity的Service
• 包含正在“前台”运行的Service（服务已调用startForeground()）
• 包含正执行一个生命周期回调的Service（onCreate()、onStart() 或 onDestroy()）
• 包含一个正执行其onReceive()方法的BroadcastReceiver

可见进程(Visible process)

• 包含不在前台、但仍对用户可见的 Activity（已调用其 onPause() 方法）。例如，如果前台 Activity 启动了一个对话框，允许在其后显示上一Activity，则有可能会发生这种情况。
• 包含绑定到可见（或前台）Activity 的 Service。

服务进程(Service process)

• 正在运行已使用 startService() 方法启动的服务且不属于上述两个更高类别进程的进程。尽管服务进程与用户所见内容没有直接关联，但是它们通常在执行一些用户关心的操作（例如，在后台播放音乐或从网络下载数据）。因此，除非内存不足以维持所有前台进程和可见进程同时运行，否则系统会让服务进程保持运行状态。

后台进程(Background process)

• 包含目前对用户不可见的 Activity 的进程（已调用 Activity 的 onStop() 方法）。这些进程对用户体验没有直接影响，系统可能随时终止它们，以回收内存供前台进程、可见进程或服务进程使用。 通常会有很多后台进程在运行，因此它们会保存在 LRU （最近最少使用）列表中，以确保包含用户最近查看的 Activity 的进程最后一个被终止。如果某个 Activity 正确实现了生命周期方法，并保存了其当前状态，则终止其进程不会对用户体验产生明显影响，因为当用户导航回该 Activity 时，Activity会恢复其所有可见状态。 有关保存和恢复状态、或者异常杀死恢复可以参考前两篇 文章。

空进程(Empty process)

• 不含任何活动应用组件的进程。保留这种进程的的唯一目的是用作缓存，以缩短下次在其中运行组件所需的启动时间，这就是所谓热启动 。为了使系统资源在进程缓存和底层内核缓存之间保持平衡，系统往往会终止这些进程。

Android进程的优先级是如何更新的

这里是通过了Linux中的一个proc文件体统，proc文件系统可以简单的看多是内核空间映射成用户可以操作的文件系统，当然不是所有进程都有权利操作，通过proc文件系统，用户空间的进程就能够修改内核空间的数据，比如修改进程的优先级。

version 5.0之前

AMS进程直接修改proc，

version 5.0之后

修改优先级的操作被封装成了一个独立的服务-lmkd，lmkd服务位于用户空间，其作用层次同AMS、WMS类似，就是一个普通的系统服务。AMS 和 lmkd 通过socket通信。

Android 系统是如何回调低内存方法

• kswapd的内核线程，当linux回收存放分页的时候，kswapd线程将会遍历一张shrinker链表，并执行回调，或者某个app启动，发现可用内存不足时，则内核会阻塞请求分配内存的进程分配内存的过程，并在该进程中去执行lowmemorykiller来释放内存

Android进程如何被杀死

• LomemoryKiller属于一个内核驱动模块，主要功能是：在系统内存不足的时候扫描进程队列，找到低优先级（也许说性价比低更合适）的进程并杀死，以达到释放内存的目的。

被动扫描。找到低优先级的进程杀死。

refrence

https://blog.csdn.net/c10WTiybQ1Ye3/article/details/107723950

虚拟内存与物理内存的联系与区别
[关于 mmap解析]（https://www.jianshu.com/p/755338d11865）
[Android性能优化-内存篇]（https://www.jianshu.com/p/829477754c19）
UE高级性能剖析技术（三）-- Android内存分布和优化
【腾讯优测干货分享】如何降低App的待机内存（四）——进阶：内存原理

# Java虚拟机—Java8内存模型（整理版）