搜索

[26235] 2020-08-27_Linux系统内存知识总结

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-19
2020-08-27_Linux系统内存知识总结 L i n u x 系 统 内 存 知 识 总 结 L i n u x 学 习   2 0 2 0 - 0 8 - 2 7 来 自 公 众 号 ： 来 自 公 众 号 ： 人 人 都 是 极 客 人 人 都 是 极 客 L i n u x   内 存 是 后 台 开 发 人 员 ， 需 要 深 入 了 解 的 计 算 机 资 源 。 合 理 的 使 用 内 存 ， 有 助 于 提 升 机 器 的 性 能 和 稳 定 性 。 本 文 主 要 介 绍   L i n u x   内 存 组 织 结 构 和 页 面 布 局 ， 内 存 碎 片 产 生 原 因 和 优 化 算 法 ， l i n u x   内 核 几 种 内 存 管 理 的 方 法 ， 内 存 使 用 场 景 以 及 内 存 使 用 的 那 些 坑 。 从 内 存 的 原 理 和 结 构 ， 到 内 存 的 算 法 优 化 ， 再 到 使 用 场 景 ， 去 探 寻 内 存 管 理 的 机 制 和 奥 秘 。 一 、 走 进 一 、 走 进   l i n u x   内 存 内 存 1 、 内 存 是 什 么 ？ 、 内 存 是 什 么 ？ 1 ) 内 存 又 称 主 存 ， 是   C P U   能 直 接 寻 址 的 存 储 空 间 ， 由 半 导 体 器 件 制 成 2 ) 内 存 的 特 点 是 存 取 速 率 快 2 、 内 存 的 作 用 、 内 存 的 作 用 1 ) 暂 时 存 放   c p u   的 运 算 数 据 2 ) 硬 盘 等 外 部 存 储 器 交 换 的 数 据 3 ) 保 障   c p u   计 算 的 稳 定 性 和 高 性 能
二 、 二 、   l i n u x   内 存 地 址 空 间 内 存 地 址 空 间 1 、 、 l i n u x   内 存 地 址 空 间 内 存 地 址 空 间   L i n u x   内 存 管 理 全 貌 内 存 管 理 全 貌 2 、 内 存 地 址 、 内 存 地 址 — — 用 户 态 用 户 态 & 内 核 态 内 核 态 用 户 态 ： R i n g 3   运 行 于 用 户 态 的 代 码 则 要 受 到 处 理 器 的 诸 多 内 核 态 ： R i n g 0   在 处 理 器 的 存 储 保 护 中 ， 核 心 态 用 户 态 切 换 到 内 核 态 的   3   种 方 式 ： 系 统 调 用 、 异 常 、 外 设 中 断 区 别 ： 每 个 进 程 都 有 完 全 属 于 自 己 的 ， 独 立 的 ， 不 被 干 扰 的 内 存 空 间 ； 用 户 态 的 程 序 就 不 能 随 意 操 作 内 核 地 址 空 间 ， 具 有 一 定 的 安 全 保 护 作 用 ； 内 核 态 线 程 共 享 内 核 地 址 空 间 ；
3 、 内 存 地 址 、 内 存 地 址 — — M M U   地 址 转 换 地 址 转 换 M M U   是 一 种 硬 件 电 路 ， 它 包 含 两 个 部 件 ， 一 个 是 分 段 部 件 ， 一 个 是 分 页 部 件 分 段 机 制 把 一 个 逻 辑 地 址 转 换 为 线 性 地 址 分 页 机 制 把 一 个 线 性 地 址 转 换 为 物 理 地 址 4 、 内 存 地 址 、 内 存 地 址 — — 分 段 机 制 分 段 机 制 1 )   段 选 择 符 为 了 方 便 快 速 检 索 段 选 择 符 ， 处 理 器 提 供 了   6   个 分 段 寄 存 器 来 缓 存 段 选 择 符 ， 它 们 是 ： c s , s s , d s , e s , f s   和   g s 段 的 基 地 址 ( B a s e   A d d r e s s ) ： 在 线 性 地 址 空 间 中 段 的 起 始 地 址 段 的 界 限 ( L i m i t ) ： 在 虚 拟 地 址 空 间 中 ， 段 内 可 以 使 用 的 最 大 偏 移 量 2 )   分 段 实 现 逻 辑 地 址 的 段 寄 存 器 中 的 值 提 供 段 描 述 符 ， 然 后 从 段 描 述 符 中 得 到 段 基 址 和 段 界 限 ， 然 后 加 上 逻 辑 地 址 的 偏 移 量 ， 就 得 到 了 线 性 地 址 5 、 内 存 地 址 、 内 存 地 址 — — 分 页 机 制 （ 分 页 机 制 （ 3 2   位 ） 位 ） 分 页 机 制 是 在 分 段 机 制 之 后 进 行 的 ， 它 进 一 步 将 线 性 地 址 转 换 为 物 理 地 址 1 0   位 页 目 录 ， 1 0   位 页 表 项 ，   1 2   位 页 偏 移 地 址 单 页 的 大 小 为   4 K B
6 、 用 户 态 地 址 空 间 、 用 户 态 地 址 空 间 T E X T ： 代 码 段 可 执 行 代 码 、 字 符 串 字 面 值 、 只 读 变 量 D A T A ： 数 据 段 ， 映 射 程 序 中 已 经 初 始 化 的 全 局 变 量 B S S   段 ： 存 放 程 序 中 未 初 始 化 的 全 局 变 量 H E A P ： 运 行 时 的 堆 ， 在 程 序 运 行 中 使 用   m a l l o c   申 请 的 内 存 区 域 M M A P ： 共 享 库 及 匿 名 文 件 的 映 射 区 域 S T A C K ： 用 户 进 程 栈 7 、 内 核 态 地 址 空 间 、 内 核 态 地 址 空 间
直 接 映 射 区 ： 线 性 空 间 中 从   3 G   开 始 最 大   8 9 6 M   的 区 间 ， 为 直 接 内 存 映 射 区 动 态 内 存 映 射 区 ： 该 区 域 由 内 核 函 数   v m a l l o c   来 分 配 永 久 内 存 映 射 区 ： 该 区 域 可 访 问 高 端 内 存 固 定 映 射 区 ： 该 区 域 和   4 G   的 顶 端 只 有   4 k   的 隔 离 带 ， 其 每 个 地 址 项 都 服 务 于 特 定 的 用 途 ， 如 ： A C P I _ B A S E   等 8 、 进 程 内 存 空 间 、 进 程 内 存 空 间 用 户 进 程 通 常 情 况 只 能 访 问 用 户 空 间 的 虚 拟 地 址 ， 不 能 访 问 内 核 空 间 虚 拟 地 址 内 核 空 间 是 由 内 核 负 责 映 射 ， 不 会 跟 着 进 程 变 化 ； 内 核 空 间 地 址 有 自 己 对 应 的 页 表 ， 用 户 进 程 各 自 有 不 同 额 页 表
三 、 三 、   L i n u x   内 存 分 配 算 法 内 存 分 配 算 法 内 存 管 理 算 法 — — 对 讨 厌 自 己 管 理 内 存 的 人 来 说 是 天 赐 的 礼 物 1 、 内 存 碎 片 、 内 存 碎 片 1 )         基 本 原 理 产 生 原 因 ： 内 存 分 配 较 小 ， 并 且 分 配 的 这 些 小 的 内 存 生 存 周 期 又 较 长 ， 反 复 申 请 后 将 产 生 内 存 碎 片 的 出 现 优 点 ： 提 高 分 配 速 度 ， 便 于 内 存 管 理 ， 防 止 内 存 泄 露 缺 点 ： 大 量 的 内 存 碎 片 会 使 系 统 缓 慢 ， 内 存 使 用 率 低 ， 浪 费 大 2 )   如 何 避 免 内 存 碎 片 少 用 动 态 内 存 分 配 的 函 数 ( 尽 量 使 用 栈 空 间 ) 分 配 内 存 和 释 放 的 内 存 尽 量 在 同 一 个 函 数 中 尽 量 一 次 性 申 请 较 大 的 内 存 ， 而 不 要 反 复 申 请 小 内 存 尽 可 能 申 请 大 块 的   2   的 指 数 幂 大 小 的 内 存 空 间 外 部 碎 片 避 免 — — 伙 伴 系 统 算 法 内 部 碎 片 避 免 — — s l a b   算 法 自 己 进 行 内 存 管 理 工 作 ， 设 计 内 存 池 2 、 伙 伴 系 统 算 法 、 伙 伴 系 统 算 法 — — 组 织 结 构 组 织 结 构 1 )         概 念 为 内 核 提 供 了 一 种 用 于 分 配 一 组 连 续 的 页 而 建 立 的 一 种 高 效 的 分 配 策 略 ， 并 有 效 的 解 决 了 外 碎 片 问 题 分 配 的 内 存 区 是 以 页 框 为 基 本 单 位 的
2 )         外 部 碎 片 外 部 碎 片 指 的 是 还 没 有 被 分 配 出 去 （ 不 属 于 任 何 进 程 ） ， 但 由 于 太 小 了 无 法 分 配 给 申 请 内 存 空 间 的 新 进 程 的 内 存 空 闲 区 域 3 )         组 织 结 构 把 所 有 的 空 闲 页 分 组 为   1 1   个 块 链 表 ， 每 个 块 链 表 分 别 包 含 大 小 为 1 ， 2 ， 4 ， 8 ， 1 6 ， 3 2 ， 6 4 ， 1 2 8 ， 2 5 6 ， 5 1 2   和   1 0 2 4   个 连 续 页 框 的 页 块 。 最 大 可 以 申 请   1 0 2 4   个 连 续 页 ， 对 应   4 M B   大 小 的 连 续 内 存 3 、 伙 伴 系 统 算 法 、 伙 伴 系 统 算 法 — — 申 请 和 回 收 申 请 和 回 收 1 )         申 请 算 法 申 请   2 ^ i   个 页 块 存 储 空 间 ， 如 果   2 ^ i   对 应 的 块 链 表 有 空 闲 页 块 ， 则 分 配 给 应 用 如 果 没 有 空 闲 页 块 ， 则 查 找   2 ^ ( i   1 )   对 应 的 块 链 表 是 否 有 空 闲 页 块 ， 如 果 有 ， 则 分 配   2 ^ i   块 链 表 节 点 给 应 用 ， 另 外   2 ^ i   块 链 表 节 点 插 入 到   2 ^ i   对 应 的 块 链 表 中 如 果   2 ^ ( i   1 )   块 链 表 中 没 有 空 闲 页 块 ， 则 重 复 步 骤   2 ， 直 到 找 到 有 空 闲 页 块 的 块 链 表 如 果 仍 然 没 有 ， 则 返 回 内 存 分 配 失 败 2 )         回 收 算 法 释 放   2 ^ i   个 页 块 存 储 空 间 ， 查 找   2 ^ i   个 页 块 对 应 的 块 链 表 ， 是 否 有 与 其 物 理 地 址 是 连 续 的 页 块 ， 如 果 没 有 ， 则 无 需 合 并 如 果 有 ， 则 合 并 成   2 ^ （ i   1 ） 的 页 块 ， 以 此 类 推 ， 继 续 查 找 下 一 级 块 链 接 ， 直 到 不 能 合 并 为 止
3 )         条 件 两 个 块 具 有 相 同 的 大 小 它 们 的 物 理 地 址 是 连 续 的 页 块 大 小 相 同 4 、 如 何 分 配 、 如 何 分 配   4 M   以 上 内 存 ？ 以 上 内 存 ？ 1 )         为 何 限 制 大 块 内 存 分 配 分 配 的 内 存 越 大 ,   失 败 的 可 能 性 越 大 大 块 内 存 使 用 场 景 少 2 )         内 核 中 获 取   4 M   以 上 大 内 存 的 方 法 修 改   M A X _ O R D E R ,   重 新 编 译 内 核 内 核 启 动 选 型 传 递 " m e m = " 参 数 ,   如 " m e m = 8 0 M ， 预 留 部 分 内 存 ； 然 后 通 过 r e q u e s t _ m e m _ r e g i o n   和   i o r e m a p _ n o c a c h e   将 预 留 的 内 存 映 射 到 模 块 中 。 需 要 修 改 内 核 启 动 参 数 , 无 需 重 新 编 译 内 核 .   但 这 种 方 法 不 支 持   x 8 6   架 构 ,   只 支 持   A R M ,   P o w e r P C   等 非   x 8 6   架 构 在   s t a r t _ k e r n e l   中   m e m _ i n i t   函 数 之 前 调 用   a l l o c _ b o o t _ m e m   函 数 预 分 配 大 块 内 存 ,   需 要 重 新 编 译 内 核 v m a l l o c   函 数 ， 内 核 代 码 使 用 它 来 分 配 在 虚 拟 内 存 中 连 续 但 在 物 理 内 存 中 不 一 定 连 续 的 内 存 5 、 伙 伴 系 统 、 伙 伴 系 统 — — 反 碎 片 机 制 反 碎 片 机 制 1 )         不 可 移 动 页 这 些 页 在 内 存 中 有 固 定 的 位 置 ， 不 能 够 移 动 ， 也 不 可 回 收 内 核 代 码 段 ， 数 据 段 ， 内 核   k m a l l o c ( )   出 来 的 内 存 ， 内 核 线 程 占 用 的 内 存 等 2 )         可 回 收 页 这 些 页 不 能 移 动 ， 但 可 以 删 除 。 内 核 在 回 收 页 占 据 了 太 多 的 内 存 时 或 者 内 存 短 缺 时 进 行 页 面 回 收 3 )         可 移 动 页 这 些 页 可 以 任 意 移 动 ， 用 户 空 间 应 用 程 序 使 用 的 页 都 属 于 该 类 别 。 它 们 是 通 过 页 表 映 射 的 当 它 们 移 动 到 新 的 位 置 ， 页 表 项 也 会 相 应 的 更 新 6 、 、 s l a b   算 法 算 法 — — 基 本 原 理 基 本 原 理 1 )         基 本 概 念
L i n u x   所 使 用 的   s l a b   分 配 器 的 基 础 是   J e f f   B o n w i c k   为   S u n O S   操 作 系 统 首 次 引 入 的 一 种 算 法 它 的 基 本 思 想 是 将 内 核 中 经 常 使 用 的 对 象 放 到 高 速 缓 存 中 ， 并 且 由 系 统 保 持 为 初 始 的 可 利 用 状 态 。 比 如 进 程 描 述 符 ， 内 核 中 会 频 繁 对 此 数 据 进 行 申 请 和 释 放 2 )         内 部 碎 片 已 经 被 分 配 出 去 的 的 内 存 空 间 大 于 请 求 所 需 的 内 存 空 间 3 )         基 本 目 标 减 少 伙 伴 算 法 在 分 配 小 块 连 续 内 存 时 所 产 生 的 内 部 碎 片 将 频 繁 使 用 的 对 象 缓 存 起 来 ， 减 少 分 配 、 初 始 化 和 释 放 对 象 的 时 间 开 销 通 过 着 色 技 术 调 整 对 象 以 更 好 的 使 用 硬 件 高 速 缓 存 7 、 、 s l a b   分 配 器 的 结 构 分 配 器 的 结 构 由 于 对 象 是 从   s l a b   中 分 配 和 释 放 的 ， 因 此 单 个   s l a b   可 以 在   s l a b   列 表 之 间 进 行 移 动 s l a b s _ e m p t y   列 表 中 的   s l a b   是 进 行 回 收 （ r e a p i n g ） 的 主 要 备 选 对 象 s l a b   还 支 持 通 用 对 象 的 初 始 化 ， 从 而 避 免 了 为 同 一 目 而 对 一 个 对 象 重 复 进 行 初 始 化 8 、 、 s l a b   高 速 缓 存 高 速 缓 存 1 )         普 通 高 速 缓 存 s l a b   分 配 器 所 提 供 的 小 块 连 续 内 存 的 分 配 是 通 过 通 用 高 速 缓 存 实 现 的 通 用 高 速 缓 存 所 提 供 的 对 象 具 有 几 何 分 布 的 大 小 ， 范 围 为   3 2   到   1 3 1 0 7 2   字 节 。 内 核 中 提 供 了   k m a l l o c ( )   和   k f r e e ( )   两 个 接 口 分 别 进 行 内 存 的 申 请 和 释 放 2 )         专 用 高 速 缓 存 内 核 为 专 用 高 速 缓 存 的 申 请 和 释 放 提 供 了 一 套 完 整 的 接 口 ， 根 据 所 传 入 的 参 数 为 具 体 的 对 象 分 配   s l a b   缓 存
k m e m _ c a c h e _ c r e a t e ( )   用 于 对 一 个 指 定 的 对 象 创 建 高 速 缓 存 。 它 从   c a c h e _ c a c h e   普 通 高 速 缓 存 中 为 新 的 专 有 缓 存 分 配 一 个 高 速 缓 存 描 述 符 ， 并 把 这 个 描 述 符 插 入 到 高 速 缓 存 描 述 符 形 成 的 c a c h e _ c h a i n   链 表 中 k m e m _ c a c h e _ a l l o c ( )   在 其 参 数 所 指 定 的 高 速 缓 存 中 分 配 一 个   s l a b 。 相 反 ，   k m e m _ c a c h e _ f r e e ( ) 在 其 参 数 所 指 定 的 高 速 缓 存 中 释 放 一 个   s l a b 9 、 内 核 态 内 存 池 、 内 核 态 内 存 池 1 )         基 本 原 理 先 申 请 分 配 一 定 数 量 的 、 大 小 相 等 ( 一 般 情 况 下 )   的 内 存 块 留 作 备 用 当 有 新 的 内 存 需 求 时 ， 就 从 内 存 池 中 分 出 一 部 分 内 存 块 ， 若 内 存 块 不 够 再 继 续 申 请 新 的 内 存 这 样 做 的 一 个 显 著 优 点 是 尽 量 避 免 了 内 存 碎 片 ， 使 得 内 存 分 配 效 率 得 到 提 升 2 )         内 核   A P I m e m p o o l _ c r e a t e   创 建 内 存 池 对 象 m e m p o o l _ a l l o c   分 配 函 数 获 得 该 对 象 m e m p o o l _ f r e e   释 放 一 个 对 象 m e m p o o l _ d e s t r o y   销 毁 内 存 池 1 0 、 用 户 态 内 存 池 、 用 户 态 内 存 池 1 )         C + +   实 例
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理