搜索

[11818] 2017-09-24_Node.js中的内存泄漏分析

文档创建者：s7ckTeam
浏览次数：6
最后更新：2025-01-18
2017-09-24_Node.js中的内存泄漏分析 N o d e . j s 中 的 内 存 泄 漏 分 析 北 其 G g   F r e e B u f   2 0 1 7 - 0 9 - 2 4 内 存 泄 漏 内 存 泄 漏 ( M e m o r y   L e a k ) 指 由 于 疏 忽 或 错 误 造 成 程 序 未 能 释 放 已 经 不 再 使 用 的 内 存 的 情 况 。 如 果 内 存 泄 漏 的 位 指 由 于 疏 忽 或 错 误 造 成 程 序 未 能 释 放 已 经 不 再 使 用 的 内 存 的 情 况 。 如 果 内 存 泄 漏 的 位 置 比 较 关 键 ， 那 么 随 着 处 理 的 进 行 可 能 持 有 越 来 越 多 的 无 用 内 存 ， 这 些 无 用 的 内 存 变 多 会 引 起 服 务 器 响 应 速 度 置 比 较 关 键 ， 那 么 随 着 处 理 的 进 行 可 能 持 有 越 来 越 多 的 无 用 内 存 ， 这 些 无 用 的 内 存 变 多 会 引 起 服 务 器 响 应 速 度 变 慢 ， 严 重 的 情 况 下 导 致 内 存 达 到 某 个 极 限 变 慢 ， 严 重 的 情 况 下 导 致 内 存 达 到 某 个 极 限 ( 可 能 是 进 程 的 上 限 ， 如 可 能 是 进 程 的 上 限 ， 如   v 8   的 上 限 的 上 限 ; 也 可 能 是 系 统 可 提 供 的 内 存 上 也 可 能 是 系 统 可 提 供 的 内 存 上 限 限 ) 会 使 得 应 用 程 序 崩 溃 。 会 使 得 应 用 程 序 崩 溃 。 传 统 的   C / C + +   中 存 在 野 指 针 ， 对 象 用 完 之 后 未 释 放 等 情 况 导 致 的 内 存 泄 漏 。 而 在 使 用 虚 拟 机 执 行 的 语 言 中 如   J a v a 、 J a v a S c r i p t   由 于 使 用 了   G C   ( G a r b a g e   C o l l e c t i o n ， 垃 圾 回 收 ) 机 制 自 动 释 放 内 存 ， 使 得 程 序 员 的 精 力 得 到 的 极 大 的 解 放 ， 不 用 再 像 传 统 语 言 那 样 时 刻 对 于 内 存 的 释 放 而 战 战 兢 兢 。 但 是 ， 即 便 有 了   G C   机 制 可 以 自 动 释 放 ， 但 这 并 不 意 味 这 内 存 泄 漏 的 问 题 不 存 在 了 。 内 存 泄 漏 依 旧 是 开 发 者 们 不 能 绕 过 的 一 个 问 题 ， 今 天 让 我 们 来 了 解 如 何 分 析   N o d e . j s   中 的 内 存 泄 漏 。 G C   i n   N o d e . j s N o d e . j s   使 用   V 8   作 为   J a v a S c r i p t   的 执 行 引 擎 ， 所 以 讨 论   N o d e . j s   的   G C   情 况 就 等 于 在 讨 论   V 8   的   G C 。 在   V 8   中 一 个 对 象 的 内 存 是 否 被 释 放 ， 是 看 程 序 中 是 否 还 有 地 方 持 有 改 对 象 的 引 用 。 在   V 8   中 ， 每 次   G C   时 ， 是 根 据   r o o t   对 象   ( 浏 览 器 环 境 下 的   w i n d o w ， N o d e . j s   环 境 下 的   g l o b a l   )   依 次 梳 理 对 象 的 引 用 ， 如 果 能 从   r o o t   的 引 用 链 到 达 访 问 ， V 8   就 会 将 其 标 记 为 可 到 达 对 象 ， 反 之 为 不 可 到 达 对 象 。 被 标 记 为 不 可 到 达 对 象 ( 即 无 引 用 的 对 象 ) 后 就 会 被   V 8   回 收 。 更 多 细 节 ， 可 以 参 见   a l i n o d e   的   解 读   V 8   G C 。 了 解 上 述 的 点 之 后 ， 你 就 会 知 道 ， 在   N o d e . j s   中 内 存 泄 露 的 原 因 就 是 本 该 被 清 除 的 对 象 ， 被 可 到 达 对 象 引 用 以 后 ， 未 被 正 确 的 清 除 而 常 驻 内 存 。 内 存 泄 漏 的 几 种 情 况 内 存 泄 漏 的 几 种 情 况 : 一 、 全 局 变 量 一 、 全 局 变 量 这 种 比 较 简 单 的 原 因 ， 全 局 变 量 直 接 挂 在   r o o t   对 象 上 ， 不 会 被 清 除 掉 。 二 、 闭 包 二 、 闭 包 闭 包 会 引 用 到 父 级 函 数 中 的 变 量 ， 如 果 闭 包 未 释 放 ， 就 会 导 致 内 存 泄 漏 。 上 面 例 子 是   i n n e r   直 接 挂 在 了   r o o t   上 ， 那 么 每 次 执 行   o u t   函 数 所 产 生 的   b i g D a t a   都 不 会 释 放 ， 从 而 导 致 内 存 泄 漏 。
需 要 注 意 的 是 ， 这 里 举 得 例 子 只 是 简 单 的 将 引 用 挂 在 全 局 对 象 上 ， 实 际 的 业 务 情 况 可 能 是 挂 在 某 个 可 以 从   r o o t   追 溯 到 的 对 象 上 导 致 的 。 三 、 事 件 监 听 三 、 事 件 监 听 N o d e . j s   的 事 件 监 听 也 可 能 出 现 的 内 存 泄 漏 。 例 如 对 同 一 个 事 件 重 复 监 听 ， 忘 记 移 除 的 事 件 监 听 也 可 能 出 现 的 内 存 泄 漏 。 例 如 对 同 一 个 事 件 重 复 监 听 ， 忘 记 移 除 ( r e m o v e L i s t e n e r ) ， ， 将 造 成 内 存 泄 漏 。 这 种 情 况 很 容 易 在 复 用 对 象 上 添 加 事 件 时 出 现 ， 所 以 事 件 重 复 监 听 可 能 收 到 如 下 警 将 造 成 内 存 泄 漏 。 这 种 情 况 很 容 易 在 复 用 对 象 上 添 加 事 件 时 出 现 ， 所 以 事 件 重 复 监 听 可 能 收 到 如 下 警 告 ： 告 ： 例 如 ， N o d e . j s   中   A g e n t   的   k e e p A l i v e   为   t r u e   时 ， 可 能 造 成 的 内 存 泄 漏 。 当   A g e n t   k e e p A l i v e   为   t r u e   的 时 候 ， 将 会 复 用 之 前 使 用 过 的   s o c k e t ， 如 果 在   s o c k e t   上 添 加 事 件 监 听 ， 忘 记 清 除 的 话 ， 因 为   s o c k e t   的 复 用 ， 将 导 致 事 件 重 复 监 听 从 而 产 生 内 存 泄 漏 。 原 理 上 与 前 一 个 添 加 事 件 监 听 的 时 候 忘 了 清 除 是 一 样 的 。 在 使 用   N o d e . j s   的   h t t p   模 块 时 ， 不 通 过   k e e p A l i v e   复 用 是 没 有 问 题 的 ， 复 用 了 以 后 就 会 可 能 产 生 内 存 泄 漏 。 所 以 ， 你 需 要 了 解 添 加 事 件 监 听 的 对 象 的 生 命 周 期 ， 并 注 意 自 行 移 除 。 关 于 这 个 问 题 的 实 例 ， 可 以 看   G i t h u b   上 的   i s s u e s ( n o d e   A g e n t   k e e p A l i v e   内 存 泄 漏 ) 四 、 其 他 原 因 四 、 其 他 原 因 还 有 一 些 其 他 的 情 况 可 能 会 导 致 内 存 泄 漏 ， 比 如 缓 存 。 在 使 用 缓 存 的 时 候 ， 得 清 楚 缓 存 的 对 象 的 多 少 ， 如 果 缓 存 对 象 非 常 多 ， 得 做 限 制 最 大 缓 存 数 量 处 理 。 还 有 就 是 非 常 占 用   C P U   的 代 码 也 会 导 致 内 存 泄 漏 ， 服 务 器 在 运 行 的 时 候 ， 如 果 有 高   C P U   的 同 步 代 码 ， 因 为 N o d e . j s   是 单 线 程 的 ， 所 以 不 能 处 理 处 理 请 求 ， 请 求 堆 积 导 致 内 存 占 用 过 高 。 定 位 内 存 泄 漏 定 位 内 存 泄 漏 一 、 重 现 内 存 泄 漏 情 况 一 、 重 现 内 存 泄 漏 情 况 想 要 定 位 内 存 泄 漏 ， 通 常 会 有 两 种 情 况 ： 对 于 只 要 正 常 使 用 就 可 以 重 现 的 内 存 泄 漏 ， 这 是 很 简 单 的 情 况 只 要 在 测 试 环 境 模 拟 就 可 以 排 查 了 。 对 于 偶 然 的 内 存 泄 漏 ， 一 般 会 与 特 殊 的 输 入 有 关 系 。 想 稳 定 重 现 这 种 输 入 是 很 耗 时 的 过 程 。 如 果 不 能 通 过 代 码 的 日 志 定 位 到 这 个 特 殊 的 输 入 ， 那 么 推 荐 去 生 产 环 境 打 印 内 存 快 照 了 。 需 要 注 意 的 是 ， 打 印 内 存 快 照 是 很 耗   C P U   的 操 作 ， 可 能 会 对 线 上 业 务 造 成 影 响 。 快 照 工 具 推 荐 使 用   h e a p d u m p   用 来 保 存 内 存 快 照 ， 使 用   d e v t o o l   来 查 看 内 存 快 照 。 使 用   h e a p d u m p   保 存 内 存 快 照 时 ， 只 会 有   N o d e . j s   环 境 中 的 对 象 ， 不 会 受 到 干 扰 ( 如 果 使 用   n o d e - i n s p e c t o r   的 话 ， 快 照 中 会 有 前 端 的 变 量 干 扰 ) 。 P S ： 安 装   h e a p d u m p   在 某 些   N o d e . j s   版 本 上 可 能 出 错 ， 建 议 使 用   n p m   i n s t a l l   h e a p d u m p   - t a r g e t = N o d e . j s   版 本 来 安 装 。 二 、 打 印 内 存 快 照 二 、 打 印 内 存 快 照 将   h e a p d u m p   引 入 代 码 中 ， 使 用   h e a p d u m p . w r i t e S n a p s h o t   就 可 以 打 印 内 存 快 照 了 了 。 为 了 减 少 正 常 变 量 的 干 扰 ， 可 以 在 打 印 内 存 快 照 之 前 会 调 用 主 动 释 放 内 存 的   g c ( )   函 数 ( 启 动 时 加 上   – e x p o s e - g c   参 数 即 可 开 启 ) 。
在 打 印 线 上 的 代 码 的 时 候 ， 建 议 按 照 内 存 增 长 情 况 来 打 印 快 照 。 h e a p d u m p   可 以 使 用   k i l l   向 程 序 发 送 信 号 来 打 印 内 存 快 照 ( 只 在   * n i x   系 统 上 提 供 ) 。 推 荐 打 印   3   个 内 存 快 照 ， 一 个 是 内 存 泄 漏 之 前 的 内 存 快 照 ， 一 个 是 少 量 测 试 以 后 的 内 存 快 照 ， 还 有 一 个 是 多 次 测 试 以 后 的 内 存 快 照 。 第 一 个 内 存 快 照 作 为 对 比 ， 来 查 看 在 测 试 后 有 哪 些 对 象 增 长 。 在 内 存 泄 漏 不 明 显 的 情 况 下 ， 可 以 与 大 量 测 试 以 后 的 内 存 快 照 对 比 ， 这 样 能 更 容 易 定 位 。 三 、 对 比 内 存 快 照 找 出 泄 漏 位 置 三 、 对 比 内 存 快 照 找 出 泄 漏 位 置 通 过 内 存 快 照 找 到 数 量 不 断 增 加 的 对 象 ， 找 到 增 加 对 象 是 被 谁 给 引 用 ， 找 到 问 题 代 码 ， 改 正 之 后 就 行 ， 具 体 问 题 具 体 分 析 ， 这 里 通 过 我 们 在 工 作 中 遇 到 的 情 况 来 讲 解 。 这 里 是 对 错 误 代 码 的 最 小 重 现 代 码 。 首 先 使 用   n o d e   – e x p o s e - g c   i n d e x . j s   运 行 代 码 ， 将 会 得 到 两 个 内 存 快 照 ， 之 后 打 开   d e v t o o l ， 点 击   p r o f i l e ， 载 入 内 存 快 照 。 打 开 对 比 ， D e l t a   会 显 示 对 象 的 变 化 情 况 ， 如 果 对 象   D e l t a   一 直 增 长 ， 就 很 有 可 能 是 内 存 泄 漏 了 。 可 以 看 到 有 三 处 对 象 明 显 增 长 的 地 方 ， 闭 包 、 上 下 文 以 及   B u f f e r   对 象 增 长 。 点 击 查 看 一 下 对 象 的 引 用 情 况 ： k i l l   - U S R 2
其 实 这 三 处 对 象 增 长 都 是 一 个 问 题 导 致 的 。 t e s t   对 象 中 的   e r r o r   监 听 事 件 中 闭 包 引 用 了   i n n e r D a t a   对 象 ， 导 致   b u f f e r 没 有 被 清 除 ， 从 而 导 致 内 存 泄 漏 。 其 实 这 里 的   e r r o r   监 听 事 件 中 没 有 引 用   i n n e r D a t a   为 什 么 会 闭 包 引 用 了   i n n e r D a t a   对 象 ， 这 个 问 题 很 是 疑 惑 ， 后 来 弄 清 是   V 8   的 优 化 问 题 ， 在 文 末 会 额 外 讲 解 一 下 。 对 于 对 比 快 照 找 到 问 题 ， 得 看 你 对 代 码 的 熟 悉 程 度 ， 还 有 眼 力 了 。 如 何 避 免 内 存 泄 漏 如 何 避 免 内 存 泄 漏 文 中 的 例 子 基 本 都 可 以 很 清 楚 的 看 出 内 存 泄 漏 ， 但 是 在 工 作 中 ， 代 码 混 合 上 业 务 以 后 就 不 一 定 能 很 清 楚 的 看 出 内 存 泄 漏 了 ， 还 是 得 依 靠 工 具 来 定 位 内 存 泄 漏 。 另 外 下 面 是 一 些 避 免 内 存 泄 漏 的 方 法 。 E S L i n t   检 测 代 码 检 查 非 期 望 的 全 局 变 量 。 使 用 闭 包 的 时 候 ， 得 知 道 闭 包 了 什 么 对 象 ， 还 有 引 用 闭 包 的 对 象 何 时 清 除 闭 包 。 最 好 可 以 避 免 写 出 复 杂 的 闭 包 ， 因 为 复 杂 的 闭 包 引 起 的 内 存 泄 漏 ， 如 果 没 有 打 印 内 存 快 照 的 话 ， 是 很 难 看 出 来 的 。 绑 定 事 件 的 时 候 ， 一 定 得 在 恰 当 的 时 候 清 除 事 件 。 在 编 写 一 个 类 的 时 候 ， 推 荐 使 用   i n i t   函 数 对 类 的 事 件 监 听 进 行 绑 定 和 资 源 申 请 ， 然 后   d e s t r o y   函 数 对 事 件 和 占 用 资 源 进 行 释 放 。 额 外 说 明 额 外 说 明 在 做 了 很 多 测 试 以 后 得 到 下 面 关 于 闭 包 的 总 结 。
V 8   会 生 成 一 个   c o n t e x t   内 部 对 象 来 实 现 闭 包 。 下 面 是   V 8   生 成   c o n t e x t   的 规 则 。 V 8   会 在 被 闭 包 引 用 变 量 声 明 处 创 建 一 个   c o n t e x t 2 ， 如 果 被 闭 包 的 变 量 所 在 函 数 拥 有   c o n t e x t 1   ， 则 创 建 c o n t e x t 2   的   p r e v i o u s 指 向 函 数   c o n t e x t 1 。 在 被 闭 包 引 用 变 量 的 函 数 内 新 建 的 函 数 将 会 绑 定 上   c o n t e x t 2 。 由 于 这 个 和   V 8 版 本 相 关 ， 这 里 只 测 试 了   v 6 . 2 . 2   和   v 6 . 1 0 . 1   还 有   v 7 . 7 . 1 ， 都 是 相 同 的 情 况 。 如 果 想 实 践 测 试 可 以 在 这 个 r e p o   上 了 解 更 多 。 * 本 文 作 者 ： 北 其 G g ， 转 载 请 注 明 来 自   F r e e B u f . C O M 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理