搜索

[22917] 2014-07-28_LINUX上MYSQL优化三板斧

文档创建者：s7ckTeam
浏览次数：29
最后更新：2025-01-18
2014-07-28_LINUX上MYSQL优化三板斧 L I N U X 上 M Y S Q L 优 化 三 板 斧 L i n u x 中 国   2 0 1 4 - 0 7 - 2 8 现 在 M y S Q L 运 行 的 大 部 分 环 境 都 是 在 L i n u x 上 的 ， 如 何 在 L i n u x 操 作 系 统 上 根 据 M y S Q L 进 行 优 化 ， 我 们 这 里 给 出 一 些 通 用 简 单 的 策 略 。 这 些 方 法 都 有 助 于 改 进 M y S Q L 的 性 能 。 闲 话 少 说 ， 进 入 正 题 。 一 、 C P U 首 先 从 C P U 说 起 。 你 仔 细 检 查 的 话 ， 有 些 服 务 器 上 会 有 的 一 个 有 趣 的 现 象 ： 你 c a t   / p r o c / c p u i n f o 时 ， 会 发 现 C P U 的 频 率 竟 然 跟 它 标 称 的 频 率 不 一 样 ： 这 个 是 I n t e l   E 5 - 2 6 2 0 的 C P U ， 他 是 2 . 0 0 G   *   2 4 的 C P U ， 但 是 ， 我 们 发 现 第 5 颗 C P U 的 频 率 为 1 . 2 G 。 这 是 什 么 原 因 呢 ？
这 些 其 实 都 源 于 C P U 最 新 的 技 术 ： 节 能 模 式 。 操 作 系 统 和 C P U 硬 件 配 合 ， 系 统 不 繁 忙 的 时 候 ， 为 了 节 约 电 能 和 降 低 温 度 ， 它 会 将 C P U 降 频 。 这 对 环 保 人 士 和 抵 制 地 球 变 暖 来 说 是 一 个 福 音 ， 但 是 对 M y S Q L 来 说 ， 可 能 是 一 个 灾 难 。 为 了 保 证 M y S Q L 能 够 充 分 利 用 C P U 的 资 源 ， 建 议 设 置 C P U 为 最 大 性 能 模 式 。 这 个 设 置 可 以 在 B I O S 和 操 作 系 统 中 设 置 ， 当 然 ， 在 B I O S 中 设 置 该 选 项 更 好 ， 更 彻 底 。 由 于 各 种 B I O S 类 型 的 区 别 ， 设 置 为 C P U 为 最 大 性 能 模 式 千 差 万 别 ， 我 们 这 里 就 不 具 体 展 示 怎 么 设 置 了 。 二 、 内 存 然 后 我 们 看 看 内 存 方 面 ， 我 们 有 哪 些 可 以 优 化 的 。 i )   我 们 先 看 看 n u m a 非 一 致 存 储 访 问 结 构   ( N U M A   ：   N o n - U n i f o r m   M e m o r y   A c c e s s )   也 是 最 新 的 内 存 管 理 技 术 。 它 和 对 称 多 处 理 器 结 构   ( S M P   ：   S y m m e t r i c   M u l t i - P r o c e s s o r )   是 对 应 的 。 简 单 的 队 别 如 下 ： 如 图 所 示 ， 详 细 的 N U M A 信 息 我 们 这 里 不 介 绍 了 。 但 是 我 们 可 以 直 观 的 看 到 ： S M P 访 问 内 存 的 都 是 代 价 都 是 一 样 的 ； 但 是 在 N U M A 架 构 下 ， 本 地 内 存 的 访 问 和 非   本 地 内 存 的 访 问 代 价 是 不 一 样 的 。 对 应 的 根 据 这 个 特 性 ， 操 作 系 统 上 ， 我 们 可 以 设 置 进 程 的 内 存 分 配 方 式 。 目 前 支 持 的 方 式 包 括 ： 简 而 言 之 ， 就 是 说 ， 你 可 以 指 定 内 存 在 本 地 分 配 ， 在 某 几 个 C P U 节 点 分 配 或 者 轮 询 分 配 。 除 非   是 设 置 为 - - i n t e r l e a v e = n o d e s 轮 询 分 配 方 式 ， 即 内 存 可 以 在 任 意 N U M A 节 点 上 分 配 这 种 方 式 以 外 。 其 他 的 方 式 就 算 其 他 N U M A 节 点 上 还 有 内   存 剩 余 ， L i n u x 也 不 会 把 剩 余 的 内 存 分 配 给 这 个 进 程 ， 而 是 采 用 S W A P 的 方 式 来 获 得 内 存 。 有 经 验 的 系 统 管 理 员 或 者 D B A 都 知 道 S W A P 导 致 的 数 据 库 性 能   下 降 有 多 么 坑 爹 。 所 以 最 简 单 的 方 法 ， 还 是 关 闭 掉 这 个 特 性 。 关 闭 特 性 的 方 法 ， 分 别 有 ： 可 以 从 B I O S ， 操 作 系 统 ， 启 动 进 程 时 临 时 关 闭 这 个 特 性 。 a )   由 于 各 种 B I O S 类 型 的 区 别 ， 如 何 关 闭 N U M A 千 差 万 别 ， 我 们 这 里 就 不 具 体 展 示 怎 么 设 置 了 。
b )   在 操 作 系 统 中 关 闭 ， 可 以 直 接 在 / e t c / g r u b . c o n f 的 k e r n e l 行 最 后 添 加 n u m a = o f f ， 如 下 所 示 ： 另 外 可 以 设 置   v m . z o n e _ r e c l a i m _ m o d e = 0 尽 量 回 收 内 存 。 c )   启 动 M y S Q L 的 时 候 ， 关 闭 N U M A 特 性 ： 当 然 ， 最 好 的 方 式 是 在 B I O S 中 关 闭 。 i i )   我 们 再 看 看 v m . s w a p p i n e s s 。 v m . s w a p p i n e s s 是 操 作 系 统 控 制 物 理 内 存 交 换 出 去 的 策 略 。 它 允 许 的 值 是 一 个 百 分 比 的 值 ， 最 小 为 0 ， 最 大 运 行 1 0 0 ， 该 值 默 认 为 6 0 。 v m . s w a p p i n e s s 设 置 为 0 表 示 尽 量 少 s w a p ， 1 0 0 表 示 尽 量 将 i n a c t i v e 的 内 存 页 交 换 出 去 。 具 体 的 说 ： 当 内 存 基 本 用 满 的 时 候 ， 系 统 会 根 据 这 个 参 数 来 判 断 是 把 内 存 中 很 少 用 到 的 i n a c t i v e   内 存 交 换 出 去 ， 还 是 释 放 数 据 的 c a c h e 。 c a c h e 中 缓 存 着 从 磁 盘 读 出 来 的 数 据 ， 根 据 程 序 的 局 部 性 原 理 ， 这 些 数 据 有 可 能 在 接 下 来 又 要 被 读   取 ； i n a c t i v e   内 存 顾 名 思 义 ， 就 是 那 些 被 应 用 程 序 映 射 着 ， 但 是 “ 长 时 间 ” 不 用 的 内 存 。 我 们 可 以 利 用 v m s t a t 看 到 i n a c t i v e 的 内 存 的 数 量 ： 通 过 / p r o c / m e m i n f o   你 可 以 看 到 更 详 细 的 信 息 ： 这 里 我 们 对 不 活 跃 i n a c t i v e 内 存 进 一 步 深 入 讨 论 。   L i n u x 中 ， 内 存 可 能 处 于 三 种 状 态 ： f r e e ， a c t i v e 和 i n a c t i v e 。 众 所 周 知 ， L i n u x   K e r n e l 在 内 部 维 护 了 很 多 L R U 列 表 用 来 管 理 内 存 ， 比 如 L R U _ I N A C T I V E _ A N O N ,   L R U _ A C T I V E _ A N O N ,   L R U _ I N A C T I V E _ F I L E   ,   L R U _ A C T I V E _ F I L E , L R U _ U N E V I C T A B L E 。 其 中 L R U _ I N A C T I V E _ A N O N ,   L R U _ A C T I V E _ A N O N 用 来 管 理 匿 名 页 ， L R U _ I N A C T I V E _ F I L E   ,   L R U _ A C T I V E _ F I L E 用 来 管 理 p a g e   c a c h e s 页 缓 存 。 系 统 内 核 会 根 据 内 存 页 的 访 问 情 况 ， 不 定 时 的 将 活 跃 a c t i v e 内 存 被 移 到 i n a c t i v e 列 表 中 ， 这 些 i n a c t i v e 的 内 存 可 以 被   交 换 到 s w a p 中 去 。 一 般 来 说 ， M y S Q L ， 特 别 是 I n n o D B 管 理 内 存 缓 存 ， 它 占 用 的 内 存 比 较 多 ， 不 经 常 访 问 的 内 存 也 会 不 少 ， 这 些 内 存 如 果 被 L i n u x 错 误 的 交 换 出
去 了 ， 将   浪 费 很 多 C P U 和 I O 资 源 。   I n n o D B 自 己 管 理 缓 存 ， c a c h e 的 文 件 数 据 来 说 占 用 了 内 存 ， 对 I n n o D B 几 乎 没 有 任 何 好 处 。 所 以 ， 我 们 在 M y S Q L 的 服 务 器 上 最 好 设 置 v m . s w a p p i n e s s = 0 。 我 们 可 以 通 过 在 s y s c t l . c o n f 中 添 加 一 行 ： 并 使 用 s y s c t l   - p 来 使 得 该 参 数 生 效 。 三 、 文 件 系 统 最 后 ， 我 们 看 一 下 文 件 系 统 的 优 化 i )   我 们 建 议 在 文 件 系 统 的 m o u n t 参 数 上 加 上 n o a t i m e ， n o b a r r i e r 两 个 选 项 。 用 n o a t i m e   m o u n t 的 话 ， 文 件 系 统 在 程 序 访 问 对 应 的 文 件 或 者 文 件 夹 时 ， 不 会 更 新 对 应 的 a c c e s s   t i m e 。 一 般 来 说 ， L i n u x 会 给 文 件 记 录 了 三 个 时 间 ， c h a n g e   t i m e ,   m o d i f y   t i m e 和 a c c e s s   t i m e 。 我 们 可 以 通 过 s t a t 来 查 看 文 件 的 三 个 时 间 ： 其 中 a c c e s s   t i m e 指 文 件 最 后 一 次 被 读 取 的 时 间 ， m o d i f y   t i m e 指 的 是 文 件 的 文 本 内 容 最 后 发 生 变 化 的 时 间 ， c h a n g e   t i m e 指 的 是 文 件 的 i n o d e 最 后 发 生 变 化 ( 比 如 位 置 、 用 户 属 性 、 组 属 性 等 ) 的 时 间 。 一 般 来 说 ， 文 件 都 是 读 多 写 少 ， 而 且 我 们 也 很 少 关 心 某 一 个 文 件 最 近 什   么 时 间 被 访 问 了 。 所 以 ， 我 们 建 议 采 用 n o a t i m e 选 项 ， 这 样 文 件 系 统 不 记 录 a c c e s s   t i m e ， 避 免 浪 费 资 源 。 现 在 的 很 多 文 件 系 统 会 在 数 据 提 交 时 强 制 底 层 设 备 刷 新 c a c h e ， 避 免 数 据 丢 失 ， 称 之 为 w r i t e   b a r r i e r s 。 但 是 ， 其 实 我 们 数 据 库 服 务 器 底 层 存 储 设 备 要 么 采 用 R A I D 卡 ， R A I D 卡 本 身 的 电 池 可 以 掉 电 保 护 ； 要 么 采 用 F l a s h 卡 ， 它 也 有 自 我 保   护 机 制 ， 保 证 数 据 不 会 丢 失 。 所 以 我 们 可 以 安 全 的 使 用 n o b a r r i e r 挂 载 文 件 系 统 。 设 置 方 法 如 下 ： 对 于 e x t 3 ,   e x t 4 和   r e i s e r f s 文 件 系 统 可 以 在 m o u n t 时 指 定 b a r r i e r = 0 ； 对 于 x f s 可 以 指 定 n o b a r r i e r 选 项 。 i i )   文 件 系 统 上 还 有 一 个 提 高 I O 的 优 化 万 能 钥 匙 ， 那 就 是 d e a d l i n e 。 在   F l a s h 技 术 之 前 ， 我 们 都 是 使 用 机 械 磁 盘 存 储 数 据 的 ， 机 械 磁 盘 的 寻 道 时 间 是 影 响 它 速 度 的 最 重 要 因 素 ， 直 接 导 致 它 的 每 秒 可 做 的 I O ( I O P S ) 非 常 有 限 ，   为 了 尽 量 排 序 和 合 并 多 个 请 求 ， 以 达 到 一 次 寻 道 能 够 满 足 多 次 I O 请 求 的 目 的 ， L i n u x 文 件 系 统 设 计 了 多 种 I O 调 度 策 略 ， 已 适 用 各 种 场 景 和 存 储 设 备 。 L i n u x 的 I O 调 度 策 略 包 括 ： D e a d l i n e   s c h e d u l e r ， A n t i c i p a t o r y   s c h e d u l e r ， C o m p l e t e l y   F a i r   Q u e u i n g ( C F Q ) ， N O O P 。 每 种 调 度 策 略 的 详 细 调 度 方 式 我 们 这 里 不 详 细 描 述 ， 这 里 我 们 主 要 介 绍 C F Q 和 D e a d l i n e ， C F Q 是 L i n u x 内   核 2 . 6 . 1 8 之 后 的 默 认 调 度 策 略 ， 它 声 称 对 每 一 个   I O   请 求 都 是 公 平 的 ， 这 种 调 度 策 略 对 大 部 分 应 用 都 是 适 用 的 。 但 是 如 果 数 据 库 有 两 个 请 求 ， 一 个 请 求 3 次 I O ， 一 个 请 求 1 0 0 0 0 次 I O ， 由 于 绝 对 公 平 ， 3 次 I O   的
这 个 请 求 都 需 要 跟 其 他 1 0 0 0 0 个 I O 请 求 竞 争 ， 可 能 要 等 待 上 千 个 I O 完 成 才 能 返 回 ， 导 致 它 的 响 应 时 间 非 常 慢 。 并 且 如 果 在 处 理 的 过 程 中 ， 又 有 很 多 I O 请   求 陆 续 发 送 过 来 ， 部 分 I O 请 求 甚 至 可 能 一 直 无 法 得 到 调 度 被 “ 饿 死 ” 。 而 d e a d l i n e 兼 顾 到 一 个 请 求 不 会 在 队 列 中 等 待 太 久 导 致 饿 死 ， 对 数 据 库 这 种 应 用 来   说 更 加 适 用 。 实 时 设 置 ， 我 们 可 以 通 过 来 将 s d a 的 调 度 策 略 设 置 为 d e a d l i n e 。 我 们 也 可 以 直 接 在 / e t c / g r u b . c o n f 的 k e r n e l 行 最 后 添 加 e l e v a t o r = d e a d l i n e 来 永 久 生 效 。 总 结 C P U 方 面 ： 关 闭 电 源 保 护 模 式 内 存 ： v m . s w a p p i n e s s   =   0 关 闭 n u m a 文 件 系 统 ： 用 n o a t i m e ， n o b a r r i e r 挂 载 系 统 I O 调 度 策 略 修 改 为 d e a d l i n e 。 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理