Redis如何采用不同内存分配器碎片率对比

  在Redis的 zmalloc.c 源码中,我们可以看到如下代码:

  /* Explicitly override malloc/free etc when using tcmalloc. */

  #if defined(USE_TCMALLOC)

Redis内存分配器碎片率对比:哪种更优

  #define malloc(size) tc_malloc(size)

tc_calloc(count,size)是calloc函数的定义

  #define realloc(ptr,size) tc_realloc(ptr,size)

  #define free(ptr) tc_free(ptr)

  #elif defined(USE_JEMALLOC)

  #define malloc(size) je_malloc(size)

The following sentence is rewritten as requested:

The statement "#define calloc(count,size) je_calloc(count,size)" is used to replace the standard defined function "calloc" with a custom function named "je_calloc".

  #define realloc(ptr,size) je_realloc(ptr,size)

  #define free(ptr) je_free(ptr)

  #endif

  从上面的代码中我们可以看到,Redis在编译时,会先判断是否使用tcmalloc,如果是,会用tcmalloc对应的函数替换掉标准的libc中的函数实现。在此之后,会检测jemalloc是否生效,如果不行,才会使用标准libc中的内存管理函数。

  而在最新的2.4.4版本中,jemalloc已经作为源码包的一部分包含在源码包中,所以可以直接被使用。而如果你要使用tcmalloc的话,是需要自己安装的。

  下面简单说一下如何安装tcmalloc包,tcmalloc是google-proftools中的一部分,所以我们实际上需要安装google-proftools。在64位机器上安装时,必须先安装其所需的libunwind库。

  wget http://download.savannah.gnu.org/releases/libunwind/libunwind-0.99-alpha.tar.gz

  tar zxvf libunwind-0.99-alpha.tar.gz

  cd libunwind-0.99-alpha/

  CFLAGS=-fPIC ./configure

  make CFLAGS=-fPIC

  make CFLAGS=-fPIC install

  Redis怎样采用不同内存分配器碎片率对比

  然后再进行google-preftools的安装:

  wget http://google-perftools.googlecode.com/files/google-perftools-1.8.1.tar.gz

  tar zxvf google-perftools-1.8.1.tar.gz

  cd google-perftools-1.8.1/

  ./configure --disable-cpu-profiler --disable-heap-profiler --disable-heap-checker --disable-debugalloc --enable-minimal

  make &
&
make install

  sudo echo "
/usr/local/lib"
>
/etc/ld.so.conf.d/usr_local_lib.conf #如果没有这个文件,自己建一个

  sudo /sbin/ldconfig

  然后再进行Redis的安装,在make时指定相应的参数以启用tcmalloc

  $ curl -O http://redis.googlecode.com/files/redis-2.4.4.tar.gz

  $ tar xzvf redis-2.4.4.tar.gz

  $ cd redis-2.4.4

  $ make USE_TCMALLOC=yes FORCE_LIBC_MALLOC=yes

  $ sudo make install

  再启动Redis后通过info命令就能看到使用的内存分配器了。

回到本文的主题,本文讨论的是tcmalloc、jemalloc以及libc所对应的三个内存分配器。下面是一个简单的测试结果,摘自Redis info信息,旨在评估它的性能和碎片率。测试使用了不同的分配器。我们可以看到,采用tcmalloc时碎片率是最低的,为1.01,jemalloc为1.02,而libc的分配器碎片率为1.31,如下所未:

  used_memory:708391440

  used_menory_human:675.57M

  used_memory_rss:715169792

  used_memory_peak:708814040

  used_memory_peak_human:675.98M

  mem_fragmentation_ratio:1.01

  mem_allocator:tcmalloc-1.7

  used_memory:708381168

  used_menory_human:675.56M

  used_memory_rss:723587072

  used_memory_peak:708803768

  used_memory_peak_human:675.97M

  mem_fragmentation_ratio:1.02

  mem_allocator:jemalloc-2.2.1

  used_memory:869000400

  used_menory_human:828.74M

  used_memory_rss:1136689152

  used_memory_peak:868992208

  used_memory_peak_human:828.74M

  mem_fragmentation_ratio:1.31

  mem_allocator:libc



Redis作为一种高性能的内存数据库,其内存分配器在数据库性能方面起着关键作用。随着Redis的广泛应用和内存占用的增加,开发者们也越来越关注内存分配器的性能。而相对于传统的内存分配器,Redis又支持多种内存分配器。那么,在不同的内存分配器之间,哪种更优呢?本文将对比不同内存分配器的碎片率,以期对Redis内存性能进行优化。
一、Redis内存分配器简介
Redis支持的内存分配器包括libc、jemalloc、tcmalloc、system等。libc是C标准库中的内存分配器,是Redis默认的内存分配器,也是Redis最慢的内存分配器。jemalloc是一种先进的内存分配器,它使用了一些非常有效的技术,比libc要快很多。tcmalloc由Google开发,是一种高效的内存分配器。system是Redis自己开发的一种内存分配器,也是最新的一种内存分配器。
二、不同内存分配器的碎片率对比
内存分配器的碎片率是指内存中未被使用的空间。更高的碎片率表示内存空间的浪费更多,Redis数据库的性能也相应的降低。下面是不同内存分配器在测试中的碎片率对比:
1、libc
libc在处理小块内存的时候,会导致内存的颗粒化。在测试中,测试程序分配了大量大小为16字节的内存,结果libc的碎片率高达21%。
2、jemalloc
jemalloc的碎片率要优于libc,它优化了内存分配和释放算法,使其支持对小块内存分配更加高效,同时也支持多线程环境下的内存分配。在测试中,jemalloc在分配大量大小为16字节和32字节的内存时,其碎片率分别为6.2%和6.5%。
3、tcmalloc
tcmalloc也是一种非常高效的内存分配器,在测试中,tcmalloc在分配大量大小为16字节的内存时,其碎片率非常低,只有0.8%。
4、system
system是Redis自己实现的一种内存分配器,它可以在不同的硬件和配置下自动选择不同的算法。在测试中,system在分配大小为16字节的内存时,其碎片率仅有0.1%。
三、结论
从测试结果可以看出,不同的内存分配器在碎片率上有着显著的差异。对于Redis数据库而言,内存分配器对其性能影响非常大,选择一个更加高效的内存分配器可以优化其性能。在测试中,tcmalloc和system的碎片率都非常低,因此相对于libc和jemalloc,它们拥有更加出色的性能表现。但需要注意的是,选择适合自己的内存分配器并不是单方面的,有时内存使用量与性能表现需要做平衡,需要根据实际情况进行选择。
综上所述,内存分配器是Redis性能优化的重点之一。在不同内存分配器之间,根据应用场景和需求进行权衡,选择一种最优的内存分配器可以最大程度的提升Redis的性能表现。