內(nèi)存是計(jì)算機(jī)中必不可少的資源,因?yàn)?CPU 只能直接讀取內(nèi)存中的數(shù)據(jù),所以當(dāng) CPU 需要讀取外部設(shè)備(如硬盤)的數(shù)據(jù)時(shí),必須先把數(shù)據(jù)加載到內(nèi)存中。
我們來(lái)看看可愛(ài)的內(nèi)存長(zhǎng)什么樣子的吧,如圖所示:
一、內(nèi)存申請(qǐng)
通常使用高級(jí)語(yǔ)言(如Go、Java 或 Python 等)都不需要自己管理內(nèi)存(因?yàn)橛欣厥諜C(jī)制),但 C/C++ 程序員就經(jīng)常要與內(nèi)存打交道。
當(dāng)我們使用 C/C++ 編寫程序時(shí),如果需要使用內(nèi)存,就必須先調(diào)用 malloc
函數(shù)來(lái)申請(qǐng)一塊內(nèi)存。但是,malloc
真的是申請(qǐng)了內(nèi)存嗎?
我們通過(guò)下面例子來(lái)觀察 malloc
到底是不是真的申請(qǐng)了內(nèi)存:
1#include <stdlib.h>
2
3int main(int argc, char const *argv[])
4{
5 void *ptr;
6
7 ptr = malloc(1024 * 1024 * 1024); // 申請(qǐng) 1GB 內(nèi)存
8
9 sleep(3600); // 睡眠3600秒, 方便調(diào)試
10
11 return 0;
12}
上面的程序主要通過(guò)調(diào)用 malloc
函數(shù)來(lái)申請(qǐng)了 1GB 的內(nèi)存,然后睡眠 3600 秒,方便我們查看其內(nèi)存使用情況。
現(xiàn)在,我們編譯上面的程序并且運(yùn)行,如下:
1$ gcc malloc.c -o malloc
2$ ./malloc
并且我們打開(kāi)一個(gè)新的終端,然后查看其內(nèi)存使用情況,如圖 2 所示:
圖2 中的 VmRSS
表示進(jìn)程使用的物理內(nèi)存大小,但我們明明申請(qǐng)了 1GB 的內(nèi)存,為什么只顯示使用 404KB 的內(nèi)存呢?這里就涉及到 虛擬內(nèi)存
和 物理內(nèi)存
的概念了。
二、物理內(nèi)存與虛擬內(nèi)存
下面先來(lái)介紹一下 物理內(nèi)存
與 虛擬內(nèi)存
的概念:
物理內(nèi)存
:也就是安裝在計(jì)算機(jī)中的內(nèi)存條,比如安裝了 2GB 大小的內(nèi)存條,那么物理內(nèi)存地址的范圍就是 0 ~ 2GB。虛擬內(nèi)存
:虛擬的內(nèi)存地址。由于 CPU 只能使用物理內(nèi)存地址,所以需要將虛擬內(nèi)存地址轉(zhuǎn)換為物理內(nèi)存地址才能被 CPU 使用,這個(gè)轉(zhuǎn)換過(guò)程由MMU(Memory Management Unit,內(nèi)存管理單元)
來(lái)完成。虛擬內(nèi)存
大小不受物理內(nèi)存
大小的限制,在 32 位的操作系統(tǒng)中,每個(gè)進(jìn)程的虛擬內(nèi)存空間大小為 0 ~ 4GB。
程序中使用的內(nèi)存地址都是虛擬內(nèi)存地址,也就是說(shuō),我們通過(guò) malloc
函數(shù)申請(qǐng)的內(nèi)存都是虛擬內(nèi)存。實(shí)際上,內(nèi)核會(huì)為每個(gè)進(jìn)程管理其虛擬內(nèi)存空間,并且會(huì)把虛擬內(nèi)存空間劃分為多個(gè)區(qū)域,如 圖3 所示:
我們來(lái)分析一下這些區(qū)域的作用:
代碼段
:用于存放程序的可執(zhí)行代碼。數(shù)據(jù)段
:用于存放程序的全局變量和靜態(tài)變量。堆空間
:用于存放由malloc
申請(qǐng)的內(nèi)存。棧空間
:用于存放函數(shù)的參數(shù)和局部變量。內(nèi)核空間
:存放 Linux 內(nèi)核代碼和數(shù)據(jù)。
三、brk指針
由此可知,通過(guò) malloc
函數(shù)申請(qǐng)的內(nèi)存地址是由 堆空間
分配的(其實(shí)還有可能從 mmap
區(qū)分配,這種情況暫時(shí)忽略)。在內(nèi)核中,使用一個(gè)名為 brk
的指針來(lái)表示進(jìn)程的 堆空間
的頂部,如 圖4 所示:
所以,通過(guò)移動(dòng) brk
指針就可以達(dá)到申請(qǐng)(向上移動(dòng))和釋放(向下移動(dòng))堆空間的內(nèi)存。例如申請(qǐng) 1024 字節(jié)時(shí),只需要把 brk
向上移動(dòng) 1024 字節(jié)即可,如 圖5 所示:
事實(shí)上,malloc
函數(shù)就是通過(guò)移動(dòng) brk
指針來(lái)實(shí)現(xiàn)申請(qǐng)和釋放內(nèi)存的,Linux 提供了一個(gè)名為 brk()
的系統(tǒng)調(diào)用來(lái)移動(dòng) brk
指針。
四、內(nèi)存映射
現(xiàn)在我們知道,malloc
函數(shù)只是移動(dòng) brk
指針,但并沒(méi)有申請(qǐng)物理內(nèi)存。前面我們介紹虛擬內(nèi)存和物理內(nèi)存的時(shí)候介紹過(guò),虛擬內(nèi)存地址必須映射到物理內(nèi)存地址才能被使用。如 圖6 所示:
如果對(duì)沒(méi)有進(jìn)行映射的虛擬內(nèi)存地址進(jìn)行讀寫操作,那么將會(huì)發(fā)生 缺頁(yè)異常
。Linux 內(nèi)核會(huì)對(duì) 缺頁(yè)異常
進(jìn)行修復(fù),修復(fù)過(guò)程如下:
獲取觸發(fā)
缺頁(yè)異常
的虛擬內(nèi)存地址(讀寫哪個(gè)虛擬內(nèi)存地址導(dǎo)致的)。查看此虛擬內(nèi)存地址是否被申請(qǐng)(是否在
brk
指針內(nèi)),如果不在brk
指針內(nèi),將會(huì)導(dǎo)致 Segmention Fault 錯(cuò)誤(也就是常見(jiàn)的coredump),進(jìn)程將會(huì)異常退出。如果虛擬內(nèi)存地址在
brk
指針內(nèi),那么將此虛擬內(nèi)存地址映射到物理內(nèi)存地址上,完成缺頁(yè)異常
修復(fù)過(guò)程,并且返回到觸發(fā)異常的地方進(jìn)行運(yùn)行。
從上面的過(guò)程可以看出,不對(duì)申請(qǐng)的虛擬內(nèi)存地址進(jìn)行讀寫操作是不會(huì)觸發(fā)申請(qǐng)新的物理內(nèi)存。所以,這就解釋了為什么申請(qǐng) 1GB 的內(nèi)存,但實(shí)際上只使用了 404 KB 的物理內(nèi)存。
五、總結(jié)
本文主要解釋了內(nèi)存申請(qǐng)的原理,并且了解到 malloc
申請(qǐng)的只是虛擬內(nèi)存,而且物理內(nèi)存的申請(qǐng)延遲到對(duì)虛擬內(nèi)存進(jìn)行讀寫的時(shí)候,這樣做可以減輕進(jìn)程對(duì)物理內(nèi)存使用的壓力。