其實(shí)，glibc的內(nèi)存分配庫ptmalloc也可以看做是一個內(nèi)存池，出于性能考慮，每次內(nèi)存申請都是先從ptmalloc中進(jìn)行分配，如果沒有合適的則通過系統(tǒng)分配函數(shù)進(jìn)行申請；在釋放的時候，也是將被釋放內(nèi)存先方式內(nèi)存池中，內(nèi)存池根據(jù)一定的策略，來決定是否進(jìn)行shrink以歸還OS。
那么，現(xiàn)一個內(nèi)存池？我們該怎么實(shí)現(xiàn)呢？今天，借助這篇文章，我們一起來設(shè)計和實(shí)現(xiàn)一個內(nèi)存池(文末附有g(shù)ithub地址)。
背景
首先需要說明的是，該內(nèi)存池是筆者在10年前完成的，下面先說下當(dāng)時此項目的背景。
09年，在某所的時候，參與了某個國家級項目，該項目是防DDOS攻擊相關(guān)，因此更多的是跟IP相關(guān)，所以每次分配和釋放內(nèi)存都是固定大小，經(jīng)過測試，性能不是很滿意，所以，經(jīng)過代碼分析以及性能攻擊分析，發(fā)現(xiàn)里面有大量的malloc/free，所以，當(dāng)時就決定是否從malloc/free入手，能否優(yōu)化整個項目的性能。
所以，決定實(shí)現(xiàn)一個Memory Pool，在做了調(diào)研以及研究了相關(guān)論文后，決定實(shí)現(xiàn)一個內(nèi)存池，先試試水，所幸運(yùn)的是，性能確實(shí)比glibc自帶的malloc/free要高，所以也就應(yīng)用于項目上了。
?本文所講的Memory Pool為C語言實(shí)現(xiàn)，旨在讓大家都能看懂，看明白(至少能夠完全理解本文所講的Memory Pool的實(shí)現(xiàn)原理)。
?
概念
首先，我們介紹下什么是內(nèi)存池？
?預(yù)先在內(nèi)存中申請一定數(shù)量的內(nèi)存塊留作備用，當(dāng)有新的內(nèi)存需求時，就先從內(nèi)存池中分配內(nèi)存返回，在釋放的時候，將內(nèi)存返回給內(nèi)存池而不是OS，在下次申請的時候，重新進(jìn)行分配
?
那么為什么要有內(nèi)存池呢？這就需要從傳統(tǒng)內(nèi)存分配的特點(diǎn)來進(jìn)行分析，傳統(tǒng)內(nèi)存分配釋放的優(yōu)點(diǎn)無非就是 通用性強(qiáng)，應(yīng)用廣泛，但是傳統(tǒng)的內(nèi)存分配、釋放在某些特定的項目中，其不一定是最優(yōu)、效率最高的方案。
傳統(tǒng)內(nèi)存分配、釋放的缺點(diǎn)總結(jié)如下：
1、調(diào)用malloc/new,系統(tǒng)需要根據(jù)“最先匹配”、“最優(yōu)匹配”或其他算法在內(nèi)存空閑塊表中查找一塊空閑內(nèi)存，調(diào)用free/delete,系統(tǒng)可能需要合并空閑內(nèi)存塊，這些會產(chǎn)生額外開銷
2、頻繁的在堆上申請和釋放內(nèi)存必然需要大量時間，降低了程序的運(yùn)行效率。對于一個需要頻繁申請和釋放內(nèi)存的程序來說，頻繁調(diào)用new/malloc申請內(nèi)存，delete/free釋放內(nèi)存都需要花費(fèi)系統(tǒng)時間，頻繁的調(diào)用必然會降低程序的運(yùn)行效率。
3、經(jīng)常申請小塊內(nèi)存，會將物理內(nèi)存“切”得很碎，導(dǎo)致內(nèi)存碎片。申請內(nèi)存的順序并不是釋放內(nèi)存的順序，因此頻繁申請小塊內(nèi)存必然會導(dǎo)致內(nèi)存碎片，造成“有內(nèi)存但是申請不到大塊內(nèi)存”的現(xiàn)象。
從上圖中，可以看出，應(yīng)用程序會調(diào)用glibc運(yùn)行時庫的malloc函數(shù)進(jìn)行內(nèi)存申請，而malloc函數(shù)則會根據(jù)具體申請的內(nèi)存塊大小，根據(jù)實(shí)際情況最終從sys_brk或者sys_mmap_pgoff系統(tǒng)調(diào)用申請內(nèi)存，而大家都知道，跟os打交道，_性能損失_是毋庸置疑的。
其次，glibc作為通用的運(yùn)行時庫，malloc/free需要滿足各種場景需求，比如申請的字節(jié)大小不一，多線程訪問等。
沒有比傳統(tǒng)malloc/free性能更優(yōu)的方案呢？
答案是：有。
在程序啟動的時候，我們預(yù)分配特定數(shù)量的固定大小的塊，這樣每次申請的時候，就從預(yù)分配的塊中獲取，釋放的時候，將其放入預(yù)分配塊中以備下次復(fù)用，這就是所謂的_內(nèi)存池技術(shù)_，每個內(nèi)存池對應(yīng)特定場景，這樣的話，較傳統(tǒng)的傳統(tǒng)的malloc/free少了很多復(fù)雜邏輯，性能顯然會提升不少。
結(jié)合傳統(tǒng)malloc/free的缺點(diǎn)，我們總結(jié)下使用內(nèi)存池方案的優(yōu)點(diǎn)：
1、比malloc/free進(jìn)行內(nèi)存申請/釋放的方式快
2、不會產(chǎn)生或很少產(chǎn)生堆碎片
3、可避免內(nèi)存泄漏
分類
根據(jù)分配出去的字節(jié)大小是否固定，分為 固定大小內(nèi)存池 和 可變大小內(nèi)存池 兩類。
而可變大小內(nèi)存池，可分配任意大小的內(nèi)存池，比如ptmalloc、jemalloc以及google的tcmalloc。
固定大小內(nèi)存池，顧名思義，每次申請和釋放的內(nèi)存大小都是固定的。每次分配出去的內(nèi)存塊大小都是程序預(yù)先定義的值，而在釋放內(nèi)存塊時候，則簡單的掛回內(nèi)存池鏈表即可。
?本文主要講的是固定大小的內(nèi)存池。
?
原理
內(nèi)存池，重點(diǎn)在”池“字上，之所以稱之為內(nèi)存池，是在真正使用之前，先預(yù)分配一定數(shù)量、大小預(yù)設(shè)的塊，如果有新的內(nèi)存需求時候，就從內(nèi)存池中根據(jù)申請的內(nèi)存大小，分配一個內(nèi)存塊，若當(dāng)前內(nèi)存塊已經(jīng)被完全分配出去，則繼續(xù)申請一大塊，然后進(jìn)行分配。
當(dāng)進(jìn)行內(nèi)存塊釋放的時候，則將其歸還內(nèi)存池，后面如果再有申請的話，則將其重新分配出去。
上圖是本文所要設(shè)計的結(jié)構(gòu)圖，下面在具體的設(shè)計之前，我們先講下本內(nèi)存池的原理：
創(chuàng)建并初始化頭結(jié)點(diǎn)MemoryPool 通過MemoryPool進(jìn)行內(nèi)存分配，如果發(fā)現(xiàn)MemoryPool所指向的第一塊MemoryBlock或者現(xiàn)有MemoryPool沒有空閑內(nèi)存塊，則創(chuàng)建一個新的MemoryBlock初始化之后將其插入MemoryPool的頭 在內(nèi)存分配的時候，遍歷MemoryPool中的單鏈表MemoryBlock，根據(jù)地址判斷所要釋放的內(nèi)存屬于哪個MemoryBlock，然后根據(jù)偏移設(shè)置MemoryBlock的第一塊空閑塊索引，同時將空閑塊個數(shù)+1
上述只是一個簡單的邏輯講解，比較宏觀，下面我們將通過圖解和代碼的方式來進(jìn)行講解。
設(shè)計
在上圖中，我們畫出了內(nèi)存池的結(jié)構(gòu)圖，從圖中，可以看出，有兩個結(jié)構(gòu)變量，分別為MemoryPool和MemoryBlock。
下面我們將從數(shù)據(jù)結(jié)構(gòu)和接口兩個部分出發(fā)，詳細(xì)講解內(nèi)存池的設(shè)計。
數(shù)據(jù)結(jié)構(gòu)
MemoryBlock
本文中所講述的內(nèi)存塊的分配和釋放都是通過該結(jié)構(gòu)進(jìn)行操作，下面是MemoryBlock的示例圖：
在上圖中，Header存儲該MemoryBlock的內(nèi)存塊情況，比如可用的內(nèi)存塊索引、當(dāng)前MemoryBlock中可用內(nèi)存塊的個數(shù)等等。
定義如下所示：
struct MemoryBlock {
unsigned int size;
unsigned int free_size;
unsigned int first_free;
struct MemoryBlock *next;
char a_data[0];
};
其中：
size為MemoryBlock下內(nèi)存塊的個數(shù) free_size為MemoryBlock下空閑內(nèi)存塊的個數(shù) first_free為MemoryBlock中第一個空閑塊的索引 next指向下一個MemoryBlock a_data是一個柔性數(shù)組
?柔性數(shù)組即數(shù)組大小待定的數(shù)組， C語言中結(jié)構(gòu)體的最后一個元素可以是大小未知的數(shù)組，也就是所謂的0長度，所以我們可以用結(jié)構(gòu)體來創(chuàng)建柔性數(shù)組。
它的主要用途是為了滿足需要變長度的結(jié)構(gòu)體，為了解決使用數(shù)組時內(nèi)存的冗余和數(shù)組的越界問題。
?
MemoryPool
MemoryPool為內(nèi)存池的頭，里面定義了該內(nèi)存池的信息，比如本內(nèi)存池分配的固定對象的大小，第一個MemoryBlock等
struct MemoryPool {
unsigned int obj_size;
unsigned int init_size;
unsigned int grow_size;
MemoryBlock *first_block;
};
其中：
obj_size為內(nèi)存池分配的固定內(nèi)存塊的大小 init_size初始化內(nèi)存池時候創(chuàng)建的內(nèi)存塊的個數(shù) grow_size當(dāng)初始化內(nèi)存塊使用完后，再次申請內(nèi)存塊時候的個數(shù) first_block指向第一個MemoryBlock
接口
memory_pool_create
MemoryPool *memory_pool_create(unsigned int init_size,
unsigned int grow_size,
unsigned int size);
本函數(shù)用來創(chuàng)建一個MemoryPool，并對其進(jìn)行初始化，下面是參數(shù)說明：
init_size 表示第一個MemoryBlock中創(chuàng)建塊的個數(shù) grow_size 表示當(dāng)MemoryPool中沒有空閑塊可用，則創(chuàng)建一個新的MemoryBlock時其塊的個數(shù) size 為塊的大小(即每次分配相同大小的固定size)
memory_alloc
void *memory_alloc(MemoryPool *mp);
本函數(shù)用了從mp中申請一塊內(nèi)存返回
mp 為MemoryPool類型指針，即內(nèi)存池的頭 如果內(nèi)存分配失敗，則返回NULL
memory_free
void* memory_free(MemoryPool *mp, void *pfree);
本函數(shù)用來釋放內(nèi)存
mp 為MemoryPool類型指針，即內(nèi)存池的頭 pfree 為要釋放的內(nèi)存
free_memory_pool
void free_memory_pool(MemoryPool *mp);
本函數(shù)用來釋放內(nèi)存池
實(shí)現(xiàn)
在講解整個實(shí)現(xiàn)之前，我們先看先內(nèi)存池的詳細(xì)結(jié)構(gòu)圖。
初始化內(nèi)存池
MemoryPool是整個內(nèi)存池的入口結(jié)構(gòu)，該函數(shù)主要是用來創(chuàng)建MemoryPool對象，并使用參數(shù)對其內(nèi)部的成員變量進(jìn)行初始化。
函數(shù)定義如下:
MemoryPool *memory_pool_create(unsigned int init_size, unsigned int grow_size, unsigned int size)
{
MemoryPool *mp;
mp = (MemoryPool*)malloc(sizeof(MemoryPool));
mp->first_block = NULL;
mp->init_size = init_size;
mp->grow_size = grow_size;
if(size < sizeof(unsigned int))
mp->obj_size = sizeof(unsigned int);
mp->obj_size = (size + (MEMPOOL_ALIGNMENT-1)) & ~(MEMPOOL_ALIGNMENT-1);
return mp;
}
內(nèi)存分配
void *memory_alloc(MemoryPool *mp) {
unsigned int i;
unsigned int length;
if(mp->first_block == NULL) {
MemoryBlock *mb;
length = (mp->init_size)*(mp->obj_size) + sizeof(MemoryBlock);
mb = malloc(length);
if(mb == NULL) {
perror("memory allocate failed!\n");
return NULL;
}
/* init the first block */
mb->next = NULL;
mb->free_size = mp->init_size - 1;
mb->first_free = 1;
mb->size = mp->init_size*mp->obj_size;
mp->first_block = mb;
char *data = mb->a_data;
/* set the mark */
for(i=1; i<mp->init_size; ++i) {
*(unsigned long *)data = i;
data += mp->obj_size;
}
return (void *)mb->a_data;
}
MemoryBlock *pm_block = mp->first_block;
while((pm_block != NULL) && (pm_block->free_size == 0)) {
pm_block = pm_block->next;
}
if(pm_block != NULL) {
char *pfree = pm_block->a_data + pm_block->first_free * mp->obj_size;
pm_block->first_free = *((unsigned long *)pfree);
pm_block->free_size--;
return (void *)pfree;
} else {
if(mp->grow_size == 0)
return NULL;
MemoryBlock *new_block = (MemoryBlock *)malloc((mp->grow_size)*(mp->obj_size) + sizeof(MemoryBlock));
if(new_block == NULL)
return NULL;
char *data = new_block->a_data;
for(i=1; i<mp->grow_size; ++i) {
*(unsigned long *)data = i;
data += mp->obj_size;
}
new_block->size = mp->grow_size*mp->obj_size;
new_block->free_size = mp->grow_size-1;
new_block->first_free = 1;
new_block->next = mp->first_block;
mp->first_block = new_block;
return (void *)new_block->a_data;
}
}
內(nèi)存塊主要在MemoryBlock結(jié)構(gòu)中，也就是說申請的內(nèi)存，都是從MemoryBlock中進(jìn)行獲取，流程如下：
獲取MemoryPool中的first_block指針 如果該指針為空，則創(chuàng)建一個MemoryBlock，first_block指向新建的MemoryBlock，并返回 否則，從first_block進(jìn)行單鏈表遍歷，查找第一個free_size不為0的MemoryBlock，如果找到，則對該MemoryBlock的相關(guān)參數(shù)進(jìn)行設(shè)置，然后返回內(nèi)存塊 否則，創(chuàng)建一個新的MemoryBlock，進(jìn)行初始化分配之后，將其插入到鏈表的頭部(這樣做的目的是為了方便下次分配效率，即減小了鏈表的遍歷)
在上述代碼中，需要注意的是第30-33行或者67-70行，這兩行的功能一樣，都是對新申請的內(nèi)存塊進(jìn)行初始化，這幾行的意思，是要將空閑塊連接起來，但是，并沒有使用傳統(tǒng)意義上的鏈表方式，而是通過index方式進(jìn)行連接，具體如下圖所示：
在上圖中，第0塊空閑塊的下一個空閑塊索引為1，而第1塊空閑塊的索引為2，依次類推，形成了如下鏈表方式
?1->2->3->4->5
?
內(nèi)存分配流程圖如下所示：
內(nèi)存釋放
void* memory_free(MemoryPool *mp, void *pfree) {
if(mp->first_block == NULL) {
return;
}
MemoryBlock *pm_block = mp->first_block;
MemoryBlock *pm_pre_block = mp->first_block;
/* research the MemoryBlock which the pfree in */
while(pm_block && ((unsigned long)pfree < (unsigned long)pm_block->a_data ||
(unsigned long)pfree>((unsigned long)pm_block->a_data+pm_block->size))) {
//pm_pre_block = pm_block;
pm_block = pm_block->next;
if(pm_block == NULL) {
return pfree;
}
}
unsigned int offset = pfree -(void*) pm_block->a_data;
if((offset&(mp->obj_size -1)) > 0) {
return pfree;
}
pm_block->free_size++;
*((unsigned int *)pfree) = pm_block->first_free;
pm_block->first_free=(unsigned int)(offset/mp->obj_size);
return NULL;
}
內(nèi)存釋放過程如下：
判斷當(dāng)前MemoryPool的first_block指針是否為空，如果為空，則返回
否則，遍歷MemoryBlock鏈表，根據(jù)所釋放的指針參數(shù)判斷是否在某一個MemoryBlock中
如果找到，則對MemoryBlock中的各個參數(shù)進(jìn)行操作，然后返回
否則，沒有合適的MemoryBlock，則表明該被釋放的指針不在內(nèi)存池中，返回
在上述代碼中，需要注意第20-29行。
第20行，求出被釋放的內(nèi)存塊在MemoryBlock中的偏移 第22行，判斷是否能被整除，即是否在這個內(nèi)存塊中，算是個double check 第26行，將該MemoryBlock中的空閑塊個數(shù)加1 第27-29行，類似于鏈表的插入，將新釋放的內(nèi)存塊的索引放入鏈表頭，而其內(nèi)部的指向下一個可用內(nèi)存塊
現(xiàn)在舉個例子，以便于理解，假設(shè)在一開始有5個空閑塊，其中前三個空閑塊都分配出去了，那么此時，空閑塊鏈表如下:
?4->5，其中first_free = 4
?
然后在某一個時刻，第1塊釋放了，那么釋放歸還之后，如下:
?1->4->5，其中first_free = 1
?
內(nèi)存釋放流程圖如下：
釋放內(nèi)存池
void free_memory_pool(MemoryPool *mp) {
MemoryBlock *mb = mp->first_block;
if(mb != NULL) {
while(mb->next != NULL) {
s_memory_block *delete_block = mb;
mb = mb->next;
free(delete_block);
}
free(mb);
}
free(mp);
}
上圖是一個完整的分配和釋放示意圖，下面，我結(jié)合代碼來分析：
(a)步，創(chuàng)建了一個MemoryPool結(jié)構(gòu)體 obj_size = 4代表本內(nèi)存池分配的內(nèi)存塊大小為4 init_size = 5代表創(chuàng)建內(nèi)存池的時候，第一塊MemoryBlock的空閑內(nèi)存塊個數(shù)為5 grow_size = 5代表當(dāng)申請內(nèi)存的時候，如果沒有空閑內(nèi)存，則創(chuàng)建的新的MemoryBlock的空閑內(nèi)存塊個數(shù)為5 (b)步，分配出去一塊內(nèi)存 此時，free_size即該MemoryBlock中可用空閑塊個數(shù)為4 first_free = 1，代表將內(nèi)存塊分配出去之后，下一個可用的內(nèi)存塊的index為1 (c)步，分配出去一塊內(nèi)存 此時，free_size即該MemoryBlock中可用空閑塊個數(shù)為3 first_free = 2，代表將內(nèi)存塊分配出去之后，下一個可用的內(nèi)存塊的index為2 (d)步，分配出去一塊內(nèi)存 此時，free_size即該MemoryBlock中可用空閑塊個數(shù)為2 first_free = 3，代表將內(nèi)存塊分配出去之后，下一個可用的內(nèi)存塊的index為3 (e)步，分配出去一塊內(nèi)存 此時，free_size即該MemoryBlock中可用空閑塊個數(shù)為1 first_free = 4，代表將內(nèi)存塊分配出去之后，下一個可用的內(nèi)存塊的index為4 (f)步，釋放第1個內(nèi)存塊 將free_size進(jìn)行+1操作 fire_free值為此次釋放的內(nèi)存塊的索引，而釋放的內(nèi)存塊的索引里面的值則為之前first_free的值(此處釋放用的前差法) (g)步，釋放第3個內(nèi)存塊 將free_size進(jìn)行+1操作 fire_free值為此次釋放的內(nèi)存塊的索引，而釋放的內(nèi)存塊的索引里面的值則為之前first_free的值(此處釋放用的前差法) (h)步，釋放第3個內(nèi)存塊 將free_size進(jìn)行+1操作 fire_free值為此次釋放的內(nèi)存塊的索引，而釋放的內(nèi)存塊的索引里面的值則為之前first_free的值(此處釋放用的前差法)
測試
測試代碼如下:
#include "memory_pool.h"
#include <sys/time.h>
#include <malloc.h>
#include <stdio.h>
int main() {
MemoryPool *mp = memory_pool_create(8);
struct timeval start;
struct timeval end;
int t[] = {20000, 40000, 80000, 100000, 120000, 140000, 160000, 180000, 200000};
int s = sizeof(t)/sizeof(int);
for (int i = 0; i < s; ++i) {
gettimeofday(&start, NULL);
for (int j = 0; j < t[i]; ++j) {
void *p = memory_alloc(mp);
memory_free(mp, p);
//
//void *p = malloc(8);
//free(p);
}
gettimeofday(&end, NULL);
long cost = 1000000 * (end.tv_sec - start.tv_sec) +
end.tv_usec - start.tv_usec;
printf("%ld\n",cost);
}
free_memory_pool(mp);
return 0;
}
數(shù)據(jù)對比如下：
從上圖可以看出，pool的分配效率高于傳統(tǒng)的malloc方式，性能提高接近100%
?本測試結(jié)果僅針對當(dāng)時的項目，對其他測試case不具有普遍性
?
擴(kuò)展
在文章前面，我們有提過本內(nèi)存池是_單線程、固定大小的_，但是往往這種還是不能滿足要求，如下幾個場景
單線程多固定大小 多線程固定大小 多線程多固定大小
?多固定大小，指的是提前預(yù)支需要申請的內(nèi)存大小
?
單線程多固定大小: 針對此場景，由于已經(jīng)預(yù)知了所申請的size，所以可以針對每個size創(chuàng)建一個內(nèi)存池
多線程固定大小：針對此場景，有以下兩個方案
使用ThreadLocalCache 每個線程創(chuàng)建一個內(nèi)存池 使用加鎖，操作全局唯一內(nèi)存池(每次加鎖解鎖耗時100ns左右)
多線程多固定大小：針對此場景，可以結(jié)合上述兩個方案，即
使用ThreadCache，每個線程內(nèi)創(chuàng)建多固定大小的內(nèi)存池 每個線程內(nèi)創(chuàng)建一個多固定大小的內(nèi)存池 使用加鎖，操作全局唯一內(nèi)存池(每次加鎖解鎖耗時100ns左右)
?上述幾種方案，僅僅是在使用固定大小內(nèi)存池基礎(chǔ)上進(jìn)行的擴(kuò)展，具體的方案，需要根據(jù)具體情況來具體分析
?
結(jié)語
本文主要講了固定大小內(nèi)存池的實(shí)現(xiàn)方式，因?yàn)閷?shí)現(xiàn)方案的局限性，此內(nèi)存池設(shè)計方案僅適用于每次申請都是特定大小的場景。雖然在擴(kuò)展部分做了部分思維發(fā)散，但因?yàn)槲醋龀浞值臄?shù)據(jù)對比，所以僅限于思維擴(kuò)散。
目前，開源的內(nèi)存分配庫很多，比較優(yōu)秀的有谷歌的tcmalloc以及微軟的mimalloc，大家可以根據(jù)自己項目的需求場景，選擇合適的內(nèi)存分配庫。
今天的文章就到這里，下期見。
?本文所講的內(nèi)存池源碼地址：
https://github.com/namelij/fixedsize_memorypool
別忘了給個star哦????
?