搜索

[26311] 2020-11-19_为什么Linux需要Swapping

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-19
2020-11-19_为什么Linux需要Swapping 为 什 么   L i n u x   需 要   S w a p p i n g L i n u x 学 习   2 0 2 0 - 1 1 - 1 9 以 下 文 章 来 源 于 真 没 什 么 逻 辑   ， 作 者 D r a v e n e s s 来 自 公 众 号 ： 来 自 公 众 号 ： 真 没 什 么 逻 辑 真 没 什 么 逻 辑 链 接 ： h t t p s : / / d r a v e n e s s . m e / w h y s - t h e - d e s i g n - l i n u x - s w a p p i n g / 为 什 么 这 么 设 计 （ W h y ’ s   T H E   D e s i g n ） 是 一 系 列 关 于 计 算 机 领 域 中 程 序 设 计 决 策 的 文 章 ， 我 们 在 这 个 系 列 的 每 一 篇 文 章 中 都 会 提 出 一 个 具 体 的 问 题 并 从 不 同 的 角 度 讨 论 这 种 设 计 的 优 缺 点 、 对 具 体 实 现 造 成 的 影 响 。 如 果 你 有 想 要 了 解 的 问 题 ， 可 以 在 文 章 下 面 留 言 。 对   L i n u x   稍 有 了 解 的 人 都 知 道 ， L i n u x   会 将 物 理 的 随 机 读 取 内 存 （ R a n d o m   A c c e s s   M e m o r y 、 R A M ） 按 页 分 割 成   4 K B   大 小 的 内 存 块 ， 而 今 天 要 介 绍 的   S w a p p i n g   机 制 就 与 内 存 息 息 相 关 ， 它 是 操 作 系 统 将 物 理 内 存 页 中 的 内 容 拷 贝 到 硬 盘 上 交 换 空 间 （ S w a p   S p a c e ） 以 释 放 内 存 的 过 程 ， 物 理 内 存 和 硬 盘 上 的 交 换 分 区 组 成 了 操 作 系 统 上 可 用 的 虚 拟 内 存 ， 而 这 些 交 换 空 间 都 是 系 统 管 理 员 预 先 配 置 好 的 [ ^ 1 ] 。 图 图   1   -   L i n u x   S w a p p i n g 正 是 因 为   L i n u x   上 的 所 有 进 程 都 会 通 过 虚 拟 内 存 这 一 层 抽 象 间 接 与 物 理 内 存 打 交 道 ， 而   S w a p p i n g   也 充 分 利 用 了 该 特 性 ， 它 能 够 让 应 用 程 序 看 到 操 作 系 统 内 存 充 足 的 假 象 ， 然 而 并 不 知 道 它 使 用 的 部 分 虚 拟 内 存 其 实 在 磁 盘 上 ， 因 为 内 存 和 磁 盘 的 读 写 速 度 上 的 巨 大 差 异 ， 这 部 分 虚 拟 内 存 的 读 写 非 常 缓 慢 ， 我 们 在   为 什 么   C P U   访 问 硬 盘 很 慢   曾 经 介 绍 过 ： 在   S S D   中 随 机 访 问   4 K B   数 据 所 需 要 的 时 间 是 访 问 主 存 的   1 , 5 0 0   倍 ， 机 械 磁 盘 的 寻 道 时 间 是 访 问 主 存 的   1 0 0 , 0 0 0   倍 [ ^ 2 ] 如 此 巨 大 的 性 能 差 异 使 得 触 发   S w a p p i n g   的 进 程 可 能 会 遇 到 性 能 损 失 ， 同 一 个 页 面 的 频 繁 换 入 换 出 会 导 致 极 其 明 显 的 性 能 抖 动 ， 如 果 没 有 相 应 的 背 景 知 识 ， 遇 到 类 似 的 问 题 可 能 会 很 难 查 到 根 本 原 因 ， 例 如   M y S Q L   在 错 误 配 置   N U M A   时 就 会 出 现 内 存 页 频 繁 换 入 换 出 ， 影 响 服 务 质 量 的 问 题 。 真 没 什 么 逻 辑 真 没 什 么 逻 辑   . 系 统 设 计 、 微 服 务 架 构 和 云 原 生 技 术
L i n u x   提 供 了 两 种 不 同 的 方 法 启 用   S w a p p i n g ， 分 别 是   S w a p   分 区 （ S w a p   P a r t i t i o n ） 和   S w a p   文 件 （ S w a p f i l e ） ： S w a p   分 区 是 硬 盘 上 的 独 立 区 域 ， 该 区 域 只 会 用 于 交 换 分 区 ， 其 他 的 文 件 不 能 存 储 在 该 区 域 上 ， 我 们 可 以 使 用     命 令 查 看 当 前 系 统 上 的 交 换 分 区 ； S w a p   文 件 是 文 件 系 统 中 的 特 殊 文 件 ， 它 与 文 件 系 统 中 的 其 他 文 件 也 没 有 太 多 的 区 别 ； S w a p   分 区 的 大 小 是 需 要 系 统 管 理 员 手 动 设 定 的 ， 然 而 不 同 的 场 景 最 好 设 置 不 同 交 换 分 区 大 小 ， 例 如 ： 桌 面 系 统 的 交 换 分 区 大 小 可 以 是 系 统 内 存 的 两 倍 ， 这 可 以 让 我 们 同 时 运 行 更 多 的 应 用 程 序 ； 服 务 器 的 交 换 分 区 应 该 关 闭 或 者 使 用 少 量 的 交 换 分 区 ， 不 过 一 旦 启 用 交 换 分 区 ， 就 应 该 引 入 监 控 监 控 应 用 程 序 的 性 能 。 我 们 到 现 在 已 经 对   L i n u x   上 的   S w a p p i n g   有 了 一 定 的 了 解 ， 接 下 来 回 到 这 篇 文 章 想 要 讨 论 的 问 题   —   『 为 什 么   L i n u x   需 要 S w a p p i n g 』 ， 我 们 将 从 以 下 两 个 方 面 介 绍   S w a p p i n g   解 决 的 问 题 、 触 发 入 口 和 执 行 路 径 ： S w a p p i n g   可 以 直 接 将 进 程 中 使 用 相 对 较 少 的 页 面 换 出 内 存 ， 立 刻 给 正 在 执 行 的 进 程 分 配 内 存 ； S w a p p i n g   可 以 将 进 程 中 的 闲 置 页 面 换 出 内 存 ， 为 其 他 进 程 未 来 使 用 内 存 做 好 准 备 ； 内 存 不 足 内 存 不 足 当 系 统 需 要 的 内 存 超 过 了 可 用 的 物 理 内 存 时 ， 内 核 会 将 内 存 中 不 常 使 用 的 内 存 页 交 换 到 磁 盘 上 为 当 前 进 程 让 出 内 存 ， 保 证 正 在 执 行 的 进 程 的 可 用 性 ， 这 个 内 存 回 收 的 过 程 是 强 制 的 直 接 内 存 回 收 （ D i r e c t   P a g e   R e c l a i m ） 。 图 图   2   -   直 接 内 存 回 收 直 接 内 存 回 收 直 接 内 存 回 收 是 在   L i n u x   调 用     申 请 新 内 存 页 时 触 发 的 ， 该 函 数 会 先 在 空 闲 页 列 表 中 查 找 是 否 有 可 用 的 页 面 ， 如 果 不 存 在 可 用 页 面 ， 就 会 进 入     函 数 分 配 内 存 页 ， 与 从 空 闲 列 表 中 直 接 查 找 内 存 也 相 比 ， 该 函 数 会 通 过 以 下 步 骤 分 配 内 存 ： s w a p o n   - s _ _ a l l o c _ p a g e s _ n o d e m a s k _ _ a l l o c _ p a g e s _ s l o w p a t h
1 .   唤 醒     线 程 在 后 台 回 收 内 存 并 尝 试 调 用     从 空 闲 列 表 中 快 速 获 取 内 存 页 ； 2 .   昂 贵 的 内 存 申 请 会 先 调 用     尝 试 压 缩 内 存 页 ， 并 在 压 缩 后 的 内 存 中 调 用     查 找 空 闲 的 内 存 页 ； 3 .   调 用     直 接 回 收 并 分 配 新 的 内 存 页 ； 4 .   再 次 调 用     尝 试 压 缩 内 存 并 获 取 空 闲 内 存 页 ； 5 .   调 用   s t a t i c   i n l i n e   s t r u c t   p a g e   *   _ _ a l l o c _ p a g e s _ s l o w p a t h ( g f p _ t   g f p _ m a s k ,   u n s i g n e d   i n t   o r d e r ,   s t r u c t   a l l o c _ c o n t e x t   * a c )   {         . . .         i f   ( a l l o c _ f l a g s   &   A L L O C _ K S W A P D )                 w a k e _ a l l _ k s w a p d s ( o r d e r ,   g f p _ m a s k ,   a c ) ;         p a g e   =   g e t _ p a g e _ f r o m _ f r e e l i s t ( g f p _ m a s k ,   o r d e r ,   a l l o c _ f l a g s ,   a c ) ;         i f   ( p a g e )   g o t o   g o t _ p g ;         i f   ( c a n _ d i r e c t _ r e c l a i m   & &   ( c o s t l y _ o r d e r   | |   ( o r d e r   >   0   & &   a c - > m i g r a t e t y p e   ! =   M I G R A T E _ M O V A B L E ) )   & &   ! g f p _ p f m e m a l l o c _ a l l o w e d ( g f p _ m a s k ) )   {                 p a g e   =   _ _ a l l o c _ p a g e s _ d i r e c t _ c o m p a c t ( g f p _ m a s k ,   o r d e r ,   a l l o c _ f l a g s ,   a c ,   I N I T _ C O M P A C T _ P R I O R I T Y ,   & c o m p a c t _ r e s u l t ) ;                 i f   ( p a g e )   g o t o   g o t _ p g ;                 . . .         }   r e t r y :         p a g e   =   _ _ a l l o c _ p a g e s _ d i r e c t _ r e c l a i m ( g f p _ m a s k ,   o r d e r ,   a l l o c _ f l a g s ,   a c ,   & d i d _ s o m e _ p r o g r e s s ) ;         p a g e   =   _ _ a l l o c _ p a g e s _ d i r e c t _ c o m p a c t ( g f p _ m a s k ,   o r d e r ,   a l l o c _ f l a g s ,   a c ,   c o m p a c t _ p r i o r i t y ,   & c o m p a c t _ r e s u l t ) ;         p a g e   =   _ _ a l l o c _ p a g e s _ m a y _ o o m ( g f p _ m a s k ,   o r d e r ,   a c ,   & d i d _ s o m e _ p r o g r e s s ) ;   g o t _ p g :         r e t u r n   p a g e ; } k s w a p d g e t _ p a g e _ f r o m _ f r e e l i s t _ _ a l l o c _ p a g e s _ d i r e c t _ c o m p a c t g e t _ p a g e _ f r o m _ f r e e l i s t _ _ a l l o c _ p a g e s _ d i r e c t _ r e c l a i m _ _ a l l o c _ p a g e s _ d i r e c t _ c o m p a c t _ _ a l l o c _ p a g e s _ m a y _ o o m
  分 配 内 存 ， 如 果 内 存 分 配 失 败 会 触 发 内 存 不 足 警 告 随 机 杀 死 操 作 系 统 上 的 几 个 进 程 ； 虽 然 获 取 内 存 页 的 步 骤 已 经 经 过 了 大 量 的 删 减 ， 但 是 其 中 展 示 了   L i n u x   在 内 存 也 不 足 时 获 取 内 存 的 几 个 常 见 方 法 ： 内 存 压 缩 、 直 接 回 收 以 及 触 发 内 存 不 足 错 误 杀 掉 部 分 进 程 。 内 存 闲 置 内 存 闲 置 应 用 程 序 在 启 动 阶 段 使 用 的 大 量 内 存 在 启 动 后 往 往 都 不 会 使 用 ， 通 过 后 台 运 行 的 守 护 进 程 ， 我 们 可 以 将 这 部 分 只 使 用 一 次 的 内 存 交 换 到 磁 盘 上 为 其 他 内 存 的 申 请 预 留 空 间 。 k s w a p d   是   L i n u x   负 责 页 面 置 换 （ P a g e   r e p l a c e m e n t ） 的 守 护 进 程 ， 它 也 是 负 责 交 换 闲 置 内 存 的 主 要 进 程 ， 它 会 在 空 闲 内 存 低 于 一 定 水 位 时 ， 回 收 内 存 页 中 的 空 闲 内 存 保 证 系 统 中 的 其 他 进 程 可 以 尽 快 获 得 申 请 的 内 存 ， 如 下 图 所 示 ： 图 图   3   -   L i n u x   空 闲 页 面 水 位 空 闲 页 面 水 位 当 空 闲 页 面 小 于     时 ， k s w a p d   进 程 才 会 开 始 工 作 ， 它 会 将 内 存 页 交 换 到 磁 盘 上 直 到 空 闲 页 面 的 水 位 回 到   ， 不 过 当 空 闲 页 面 的 水 位 低 于     时 会 触 发 上 一 节 提 到 的 内 存 直 接 回 收 ， 而 水 位 高 于     则 意 味 着 空 闲 内 存 充 足 ， 不 需 要 进 行 回 收 。 L i n u x   操 作 系 统 采 用 最 近 最 少 使 用 （ L e a s t   R e c e n t l y   U s e d 、 L R U ） 算 法 置 换 内 存 中 的 页 面 ， 系 统 中 的 每 个 区 都 会 在 内 存 中 持 有     和     两 种 链 表 ， 其 中 前 者 包 含 活 跃 的 内 存 页 ， 后 者 中 存 储 的 内 存 页 都 是 回 收 的 候 选 页 面 ， 除 此 之 外 ， L i n u x   还 会 在 将   W M A R K _ L O W W M A R K _ H I G H W M A R K _ M I N W M A R K _ H I G H a c t i v e _ l i s t i n a c t i v e _ l i s t
  根 据 内 存 页 的 特 性 分 成 如 下 几 种 ： 其 中 包 含     的 表 示 匿 名 内 存 页 ， 这 些 内 存 页 存 储 了 与 文 件 无 关 的 进 程 堆 栈 等 内 容 ， 而 包 含     的 表 示 与 文 件 相 关 的 内 存 ， 也 就 是 程 序 文 件 或 者 数 据 对 应 的 内 存 ， 而 最 后 的     表 示 禁 止 回 收 的 内 存 页 。 图 图   4   -   活 跃 链 表 和 不 活 跃 链 表 活 跃 链 表 和 不 活 跃 链 表 每 当 内 存 页 被 访 问 时 ， L i n u x   都 会 将 被 访 问 的 内 存 页 移 到 链 表 的 头 部 ， 所 以 在 活 跃 链 表 末 尾 的 是 链 表 中 『 最 老 的 』 内 存 页 ， 守 护 进 程   k s w a p d   的 作 用 是 平 衡 两 个 链 表 的 长 度 ， 将 活 跃 链 表 末 尾 的 内 存 页 移 至 不 活 跃 链 表 的 队 首 等 待 回 收 ， 而 函 数     会 负 责 回 收   L R U   链 表 中 的 不 活 跃 内 存 页 。 总 结 总 结 很 多 人 认 为 当 系 统 内 存 不 足 时 应 该 立 即 触 发 内 存 不 足 （ O u t   o f   m e m o r y 、 O O M ） 并 杀 掉 进 程 ， 但 是   S w a p p i n g   其 实 为 系 统 管 理 员 提 供 了 另 外 一 种 选 择 ， 利 用 磁 盘 的 交 换 空 间 避 免 程 序 被 直 接 退 出 ， 以 降 低 服 务 质 量 的 代 价 换 取 服 务 的 部 分 可 用 降 低 服 务 质 量 的 代 价 换 取 服 务 的 部 分 可 用 性 性 。 L i n u x   中 的   S w a p p i n g   机 制 主 要 是 为 内 存 不 足 和 内 存 闲 置 两 种 常 见 的 情 况 存 在 的 S w a p p i n g   可 以 直 接 将 进 程 中 使 用 相 对 较 少 的 页 面 换 出 内 存 ： 当 系 统 需 要 的 内 l r u _ l i s t e n u m   l r u _ l i s t   {   L R U _ I N A C T I V E _ A N O N   =   L R U _ B A S E ,   L R U _ A C T I V E _ A N O N   =   L R U _ B A S E   +   L R U _ A C T I V E ,   L R U _ I N A C T I V E _ F I L E   =   L R U _ B A S E   +   L R U _ F I L E ,   L R U _ A C T I V E _ F I L E   =   L R U _ B A S E   +   L R U _ F I L E   +   L R U _ A C T I V E ,   L R U _ U N E V I C T A B L E ,   N R _ L R U _ L I S T S } ; A N O N F I L E L R U _ U N E V I C T A B L E s h r i n k _ z o n e s
存 超 过 了 可 用 的 物 理 内 存 时 ， 内 核 会 将 内 存 中 不 常 使 用 的 内 存 页 交 换 到 磁 盘 上 为 当 前 进 程 让 出 内 存 ， 保 证 正 在 执 行 的 进 程 的 可 用 性 ； S w a p p i n g   可 以 将 进 程 中 的 闲 置 页 面 换 出 内 存 ： 应 用 程 序 在 启 动 阶 段 使 用 的 大 量 内 存 在 启 动 后 往 往 都 不 会 使 用 ， 通 过 后 台 运 行 的 守 护 进 程 ， 我 们 可 以 将 这 部 分 只 使 用 一 次 的 内 存 交 换 到 磁 盘 上 为 其 他 内 存 申 请 预 留 空 间 ； 关 于 是 否 应 该 开 启   S w a p p i n g   的 讨 论 其 实 非 常 多 ， 我 们 在 今 天 也 不 应 该 一 刀 切 地 认 为 必 须 开 启 或 者 禁 用   S w a p p i n g ， 我 们 仍 然 需 要 分 析 场 景 并 利 用 好   L i n u x   为 我 们 提 供 的 这 一 机 制 ， 例 如   K u b e r n e t e s   要 求 禁 用   S w a p p i n g ， 我 们 就 应 该 遵 循 社 区 提 出 的 建 议 ， 在 部 署   K u b e r n e t e s   的 机 器 上 关 闭 这 一 特 性 [ ^ 3 ] 。 到 最 后 ， 我 们 还 是 来 看 一 些 比 较 开 放 的 相 关 问 题 ， 有 兴 趣 的 读 者 可 以 仔 细 思 考 一 下 下 面 的 问 题 ： L i n u x   提 供 了 哪 些 参 数 来 控 制   S w a p p i n g   的 行 为 ？ 通 过 降 低 服 务 质 量 的 代 价 换 取 部 分 可 用 在 哪 些 场 景 下 是 可 取 的 ？ 如 果 对 文 章 中 的 内 容 有 疑 问 或 者 想 要 了 解 更 多 软 件 工 程 上 一 些 设 计 决 策 背 后 的 原 因 ， 可 以 在 博 客 下 面 留 言 ， 作 者 会 及 时 回 复 本 文 相 关 的 疑 问 并 选 择 其 中 合 适 的 主 题 作 为 后 续 的 内 容 。 推 荐 阅 读 推 荐 阅 读 为 什 么   L i n u x   需 要 虚 拟 内 存 为 什 么   C P U   访 问 硬 盘 很 慢 参 考 资 料 参 考 资 料 K u b e l e t / K u b e r n e t e s   s h o u l d   w o r k   w i t h   S w a p   E n a b l e d   # 5 3 5 3 3 h t t p s : / / g i t h u b . c o m / k u b e r n e t e s / k u b e r n e t e s / i s s u e s / 5 3 5 3 3 L i n u x   P e r f o r m a n c e :   W h y   Y o u   S h o u l d   A l m o s t   A l w a y s   A d d   S w a p   S p a c e h t t p s : / / h a y d e n j a m e s . i o / l i n u x - p e r f o r m a n c e - a l m o s t - a l w a y s - a d d - s w a p - s p a c e / D o   w e   r e a l l y   n e e d   s w a p   o n   m o d e r n   s y s t e m s ?   h t t p s : / / w w w . r e d h a t . c o m / e n / b l o g / d o - w e - r e a l l y - n e e d - s w a p - m o d e r n - s y s t e m s 推 荐 推 荐 ↓ ↓ ↓ 运 维 运 维 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理