linux內(nèi)存監(jiān)控

要明白docker容器內(nèi)存是如何計(jì)算的，首先要明白linux中內(nèi)存的相關(guān)概念。

使用free命令可以查看當(dāng)前內(nèi)存使用情況。

[root@localhost ~]$ free total used free shared buffers cached Mem: 264420684 213853512 50567172 71822688 2095364 175733516 -/+ buffers/cache: 36024632 228396052 Swap: 16777212 1277964 15499248

這里有幾個(gè)概念:

• mem: 物理內(nèi)存
• swap: 虛擬內(nèi)存。即可以把數(shù)據(jù)存放在硬盤上的數(shù)據(jù)
• shared: 共享內(nèi)存。存在在物理內(nèi)存中。
• buffers: 用于存放要輸出到disk（塊設(shè)備）的數(shù)據(jù)的
• cached: 存放從disk上讀出的數(shù)據(jù)

為方便說(shuō)明，我對(duì)free的結(jié)果做了一個(gè)對(duì)應(yīng)。

[root@localhost ~]$ free  total used       free        shared    buffers   cached Mem: total_mem   used_mem    free_mem   shared_mem    buffer     cache -/+ buffers/cache: real_used   real_free Swap: total_swap  used_swap   free_swap

一般認(rèn)為，buffer和cache是還可以再進(jìn)行利用的內(nèi)存，所以在計(jì)算空閑內(nèi)存時(shí)，會(huì)將其剔除。
因此這里有幾個(gè)等式:

real_used = used_mem - buffer - cache real_free = free_mem + buffer + cache total_mem = used_mem + free_mem

了解了這些，我們?cè)賮?lái)看free的數(shù)據(jù)源。其實(shí)其數(shù)據(jù)源是來(lái)自于/proc/memeinfo文件。

[root@localhost ~]$ cat /proc/meminfo MemTotal: 264420684 kB MemFree: 50566436 kB Buffers: 2095356 kB Cached: 175732644 kB SwapCached: 123688 kB Active: 165515340 kB Inactive: 37004224 kB Active(anon): 92066880 kB Inactive(anon): 4455076 kB Active(file): 73448460 kB Inactive(file): 32549148 kB Unevictable: 362900 kB Mlocked: 74696 kB SwapTotal: 16777212 kB SwapFree: 15499248 kB Dirty: 2860 kB Writeback: 0 kB AnonPages: 24932928 kB Mapped: 58165040 kB Shmem: 71822688 kB Slab: 8374496 kB SReclaimable: 8163096 kB SUnreclaim: 211400 kB KernelStack: 45824 kB PageTables: 606296 kB NFS_Unstable: 0 kB Bounce: 0 kB WritebackTmp: 0 kB CommitLimit: 148987552 kB Committed_AS: 114755628 kB VmallocTotal: 34359738367 kB VmallocUsed: 772092 kB VmallocChunk: 34225428328 kB HardwareCorrupted: 0 kB AnonHugePages: 22083584 kB HugePages_Total: 0 HugePages_Free: 0 HugePages_Rsvd: 0 HugePages_Surp: 0 Hugepagesize: 2048 kB DirectMap4k: 7168 kB DirectMap2M: 2015232 kB DirectMap1G: 266338304 kB

docker

說(shuō)完linux的內(nèi)存，我們?cè)賮?lái)看下docker的內(nèi)存監(jiān)控。docker自身提供了一種內(nèi)存監(jiān)控的方式，即可以通過(guò)docker stats對(duì)容器內(nèi)存進(jìn)行監(jiān)控。
該方式實(shí)際是通過(guò)對(duì)cgroup中相關(guān)數(shù)據(jù)進(jìn)行取值從而計(jì)算得到。

cgroup

cgroup中的memory子系統(tǒng)為hierarchy提供了如下文件。

[root@localhost ~]$ ll /cgroup/memory/docker/53a11f13c08099dd6d21030dd2ddade54d5cdd7ae7e9e68f5ba055ad28498b6f/ 總用量 0 --w--w--w- 1 root root 0 2月 22 12:51 cgroup.event_control -rw-r--r-- 1 root root 0 5月 25 17:07 cgroup.procs -rw-r--r-- 1 root root 0 2月 22 12:51 memory.failcnt --w------- 1 root root 0 2月 22 12:51 memory.force_empty -rw-r--r-- 1 root root 0 3月 30 17:06 memory.limit_in_bytes -rw-r--r-- 1 root root 0 2月 22 12:51 memory.max_usage_in_bytes -rw-r--r-- 1 root root 0 2月 22 12:51 memory.memsw.failcnt -rw-r--r-- 1 root root 0 3月 30 17:06 memory.memsw.limit_in_bytes -rw-r--r-- 1 root root 0 2月 22 12:51 memory.memsw.max_usage_in_bytes -r--r--r-- 1 root root 0 2月 22 12:51 memory.memsw.usage_in_bytes -rw-r--r-- 1 root root 0 2月 22 12:51 memory.move_charge_at_immigrate -rw-r--r-- 1 root root 0 2月 22 12:51 memory.oom_control -rw-r--r-- 1 root root 0 3月 30 17:06 memory.soft_limit_in_bytes -r--r--r-- 1 root root 0 2月 22 12:51 memory.stat -rw-r--r-- 1 root root 0 2月 22 12:51 memory.swappiness -r--r--r-- 1 root root 0 2月 22 12:51 memory.usage_in_bytes -rw-r--r-- 1 root root 0 2月 22 12:51 memory.use_hierarchy -rw-r--r-- 1 root root 0 2月 22 12:51 notify_on_release -rw-r--r-- 1 root root 0 2月 22 12:51 tasks

這些文件的具體含義可以查看相關(guān)資料cgroup memory。
這里主要介紹幾個(gè)與docker監(jiān)控相關(guān)的。

[root@localhost 53a11f13c08099dd6d21030dd2ddade54d5cdd7ae7e9e68f5ba055ad28498b6f]$ cat memory.usage_in_bytes 135021858816 [root@localhost 53a11f13c08099dd6d21030dd2ddade54d5cdd7ae7e9e68f5ba055ad28498b6f]$ cat memory.memsw.usage_in_bytes 135679291392 [root@localhost 53a11f13c08099dd6d21030dd2ddade54d5cdd7ae7e9e68f5ba055ad28498b6f]$ cat memory.stat cache 134325506048 rss 695980032 mapped_file 16155119616 pgpgin 21654116032 pgpgout 21705492352 swap 655171584 inactive_anon 4218880 active_anon 74202603520 inactive_file 8365199360 active_file 52449439744 unevictable 0 hierarchical_memory_limit 137438953472 hierarchical_memsw_limit 274877906944 total_cache 134325506048 total_rss 695980032 total_mapped_file 16155119616 total_pgpgin 21654116032 total_pgpgout 21705492352 total_swap 655171584 total_inactive_anon 4218880 total_active_anon 74202603520 total_inactive_file 8365199360 total_active_file 52449439744 total_unevictable 0

memory.stat

memory.stat包含有最豐富的

active_anon + inactive_anon = anonymous memory + file cache for tmpfs + swap cache

active_file + inactive_file = cache - size of tmpfs

docker原生內(nèi)存監(jiān)控

再來(lái)說(shuō)到docker原生的docker stats。其具體實(shí)現(xiàn)在libcontainer中可以看到。其將容器的內(nèi)存監(jiān)控分為cache,usage,swap usage,kernel usage,kernel tcp usage。

其中cache是從memory.stat中的cache中獲取。

usage是使用memory.usage_in_bytes和memory.limit_in_bytes進(jìn)行相除來(lái)計(jì)算使用率。這一方式有一個(gè)弊端，就是不夠細(xì)化，沒(méi)有區(qū)分出cache部分，不能真正反映內(nèi)存使用率。因?yàn)橐话銇?lái)說(shuō)cache是可以復(fù)用的內(nèi)存部分，因此一般將其計(jì)入到可使用的部分。

可以考慮的改進(jìn)計(jì)算方式

改進(jìn)方式在統(tǒng)計(jì)內(nèi)存使用量時(shí)將cache計(jì)算排除出去。類似于linux中計(jì)算real_used時(shí)將buffer和cache排除一樣。

cache并不能直接應(yīng)用memory.stat中的cache，因?yàn)槠渲邪藅mpfs，而tmpfs算是實(shí)際使用的內(nèi)存部分。

tmpfs即share memory，共享內(nèi)存

因?yàn)樵趍emory.stat中存在有

active_file + inactive_file = cache - size of tmpfs

因此可以計(jì)算實(shí)際使用的內(nèi)存量為

real_used = memory.usage_in_bytes - (rss + active_file + inactive_file)