搜索

[14051] 2019-04-30_防代码泄漏的监控系统架构与实践

文档创建者：s7ckTeam
浏览次数：5
最后更新：2025-01-18
2019-04-30_防代码泄漏的监控系统架构与实践 防 代 码 泄 漏 的 监 控 系 统 架 构 与 实 践 糖 果 L 5 Q   F r e e B u f   2 0 1 9 - 0 4 - 3 0 0 x 0 1   概 要 概 要 代 码 资 源 是 组 织 的 核 心 资 源 ， 对 于 敏 感 的 代 码 是 不 希 望 流 传 到 外 部 的 ， 但 由 于 各 种 原 因 还 是 有 资 源 泄 露 出 去 ， 代 码 资 源 是 组 织 的 核 心 资 源 ， 对 于 敏 感 的 代 码 是 不 希 望 流 传 到 外 部 的 ， 但 由 于 各 种 原 因 还 是 有 资 源 泄 露 出 去 ， 对 于 泄 露 的 原 因 先 不 论 ， 因 为 相 对 比 较 难 避 免 ， 但 我 们 可 以 通 过 一 定 的 技 术 手 段 对 关 键 的 数 据 进 行 审 计 监 控 ， 对 于 泄 露 的 原 因 先 不 论 ， 因 为 相 对 比 较 难 避 免 ， 但 我 们 可 以 通 过 一 定 的 技 术 手 段 对 关 键 的 数 据 进 行 审 计 监 控 ， 把 资 源 泄 露 缩 小 到 一 定 的 范 围 内 ， 现 在 普 遍 流 行 的 方 式 是 对 把 资 源 泄 露 缩 小 到 一 定 的 范 围 内 ， 现 在 普 遍 流 行 的 方 式 是 对 G i t h u b 进 行 监 控 ， 在 进 行 监 控 ， 在 G i t h u b 查 找 敏 感 词 ， 比 较 常 查 找 敏 感 词 ， 比 较 常 见 。 本 文 在 此 之 外 提 出 了 一 种 对 内 监 控 的 方 案 ， 以 见 。 本 文 在 此 之 外 提 出 了 一 种 对 内 监 控 的 方 案 ， 以 S V N 监 控 为 例 。 从 相 关 人 员 从 内 部 系 统 下 载 时 就 行 一 定 成 度 监 控 为 例 。 从 相 关 人 员 从 内 部 系 统 下 载 时 就 行 一 定 成 度 的 监 控 审 计 ， 对 下 载 者 的 下 载 量 和 行 为 进 行 分 析 ， 这 个 出 发 点 建 立 一 个 监 控 系 统 。 的 监 控 审 计 ， 对 下 载 者 的 下 载 量 和 行 为 进 行 分 析 ， 这 个 出 发 点 建 立 一 个 监 控 系 统 。 0 x 0 2   关 键 资 源 与 角 色 关 键 资 源 与 角 色 整 个 数 据 泄 露 的 过 程 是 一 个 把 关 键 资 源 从 内 部 仓 库 下 载 到 本 地 ， 再 上 传 到 G i t h u b 的 过 程 。 对 开 发 者 本 地 的 监 听 是 比 较 不 合 适 的 ， 但 我 们 可 以 对 外 部 G i t h u b 仓 库 监 听 ， G i t h u b 本 身 也 提 供 相 对 方 便 的 监 听 接 口 。 我 们 这 次 重 点 不 讲 g i h u b 的 监 控 ，   讲 内 部 仓 库 监 控 分 析 ，   自 动 化 的 产 生 下 载 量 分 析 报 告 和 特 定 行 为 提 示 的 系 统 构 建 思 路 。 三 种 资 源 仓 库 ： 1 . 内 部 仓 库 ： 组 织 内 部 的 代 码 管 理 系 统 ， 外 部 人 员 不 可 见 ， 比 如 S V N 。 2 . 开 发 者 仓 库 ： 开 发 者 本 地 仓 库 。 3 . G i t h u b 外 部 仓 库 ： G i t h u b 对 外 公 有 仓 库 。 0 x 0 3   敏 感 资 源 角 色 关 系 模 式 敏 感 资 源 角 色 关 系 模 式 从 代 码 资 源 生 产 到 消 费 一 般 会 有 三 种 角 色 ： 1 . 代 码 提 交 者 ：   代 码 工 程 相 关 上 传 人 员 ， 代 码 生 产 者 。 2 . 开 发 下 载 者 ： 开 发 者 本 身 ：
3 . 代 码 读 者 （ 消 费 者 ） ： 本 地 仓 库 的 消 费 者 就 是 相 关 开 发 人 员 ， 外 部 G i h u b 仓 库 的 消 费 读 者 就 是 G i t h u b 用 户 。 我 们 的 系 统 是 ， 增 加 一 个 第 4 种 人 : 安 全 管 理 监 控 人 员 。 通 过 接 入 二 种 监 控 系 统 来 分 析 当 前 资 源 是 否 泄 露 ： 1 . 内 部 仓 库 下 载 行 为 分 析 系 统 。 2 .   G i t h u b 敏 感 词 监 控 系 统 。 0 x 0 4   重 要 监 控 着 眼 点 重 要 监 控 着 眼 点 内 部 仓 库 监 控 和 外 部 仓 库 监 听 的 核 心 关 注 重 点 是 什 么 。 1 . 内 部 仓 库 监 控 重 点 ： 关 键 代 码 资 源 被 下 载 时 要 关 注 ， 异 常 下 载 量 过 大 要 关 注 ， 特 别 用 户 的 下 载 要 关 注 。 内 部 监 控 系 统 的 成 果 物 ： 下 载 量 统 计 更 表 ， 重 点 资 源 被 下 载 报 警 提 示 。 2 . 外 部 仓 库 监 控 重 点 ： 外 部 仓 库 因 为 我 们 没 有 明 确 的 用 户 列 表 ， 现 阶 段 是 通 过 对 关 键 资 源 有 关 联 的 关 键 字 进 行 监 控 ， 这 种 系 统 很 多 公 司 都 在 用 ， 文 章 最 后 我 们 给 出 代 码 方 案 。 0 x 0 5   构 建 内 部 仓 库 审 计 分 析 系 统 的 生 产 实 践 构 建 内 部 仓 库 审 计 分 析 系 统 的 生 产 实 践 对 于 内 部 了 仓 库 系 统 进 行 审 计 的 一 个 关 键 是 ， 如 何 收 集 相 关 的 数 据 ， 其 次 是 如 何 分 析 数 据 ， 分 析 行 为 。 一 般 企 业 代 码
管 理 仓 库 可 能 有 自 己 的 特 定 要 求 ， 对 于 主 流 的 代 码 管 理 工 具 来 说 ， 最 常 的 工 具 就 是 S V N 和 G i t 。 我 们 以 S V N 为 例 ， 我 们 选 择 对 S V N 的 日 志 进 行 集 中 并 进 行 分 析 ， 来 实 现 对 资 源 和 用 户 的 审 计 。 构 建 内 部 监 控 系 统 分 两 步 走 ： 1 . 系 统 日 志 收 集 :   收 集 S V N 系 统 日 志 ， 传 统 的 S V N 日 志 都 在 服 务 器 本 地 ， 需 要 把 文 本 日 志 集 中 。 一 般 重 要 生 产 服 务 器 是 不 希 望 部 署 太 多 的 不 相 关 服 务 ， 系 统 本 身 的 工 具 如 R s y s l o g 、 R s y n c 不 会 对 系 统 的 稳 定 性 有 损 害 。 如 果 不 在 乎 数 据 同 步 的 周 期 时 间 快 慢 ， 可 以 使 用 R s y n c 进 行 日 志 数 据 同 步 。 2 . 日 志 数 据 接 口 化 ： 对 自 动 监 控 程 序 来 说 ， 好 的 交 互 方 式 不 是 去 直 接 读 文 本 ， 如 果 可 以 通 过 调 用 R E S T   A P I ,   监 控 业 务 可 以 集 中 做 监 控 策 略 而 不 是 ， 把 大 量 的 时 间 去 做 数 据 处 理 。 所 以 像 E L K 、 S P L U N K 、 G r a y l o g 这 种 数 据 服 务 的 存 在 就 可 以 减 监 控 开 发 本 身 的 工 作 量 。 对 于 一 般 的 公 司 来 说 ， 可 以 选 择 适 合 自 己 的 方 式 ， 选 择 对 应 的 方 案 进 行 处 理 。 这 里 我 们 抽 象 出 了 一 个 相 对 通 用 的 处 理 流 程 给 大 家 ， 但 不 一 定 能 普 通 适 用 所 有 场 景 。 我 们 将 日 志 数 据 接 口 化 构 建 分 成 5 个 步 骤 ： 1 . S V N 文 本 日 志 - >   2 . r s y n c 到 一 台 大 容 量 文 本 服 务 器 - > 3 . 文 本 服 务 器 部 署 n x l o g 发 送 到 s y s l o g 服 务 器 - > 4 . s y s l o g 服 务 器 进 行 数 据 接 收 并 通 过 本 地 服 务 将 文 本 数 据 存 入 E S - - > 5 . 建 立 一 个 数 据 网 关 对 外 提 供 R E S T   A P I 服 务 提 供 数 据 查 询 。 3   监 听 策 略 实 施 ： 当 我 们 有 了 日 志 查 询 的 R E S T   A P I , 再 对 数 据 进 行 监 控 就 是 相 关 容 易 了 ，   我 们 通 过 E S 本 身 的 功 能 ， 进 行 数 据 的 检 索 和 统 计 。 使 用 P y t h o n 和 G O 或 是 其 它 语 言 工 具 都 可 以 ， 每 个 公 司 的 业 务 不 一 样 ， 自 己 定 制 比 较 好 。 0 x 0 6   监 听 任 务 分 发 处 理 监 听 任 务 分 发 处 理 为 什 么 用 R P C 做 监 听 分 析 处 理 ： 日 志 是 用 户 行 为 分 析 的 最 好 的 素 材 ， 上 面 系 统 的 构 建 后 ， 我 们 可 以 通 过 R E S T   A P I 相 对 容 易 的 得 到 日 志 数 据 ， 下 面 我 们 就 可 以 集 中 精 力 ， 实 现 我 们 的 监 控 策 略 。 我 们 通 过 按 一 定 的 时 间 周 期 自 动 拉 取 分 析 的 日 志 数 据 。 c r o n t a b 与 监 听 的 调 度 问 题 ， C r o n 在 这 里 只 是 我 们 按 时 间 切 分 执 行 任 务 的 一 个 触 发 者 ， 我 们 在 真 正 的 分 析 处 理 和 C r o n 之 间 加 了 一 层 任 务 调 度 层 W r a p p e r 应 用 ， C r o n 只 是 执 行 到 W r a p p e r 层 ， 具 体 调 度 任 务 的 内 容 可 随 时 调 整   ， 与 时 间 周 期 无 关 的 更 新 都 不 用 修 改 C r o n ， 然 后 再 次 解 耦 ， 用 R P C 把 监 听 与 C r o n 机 分 开 ， 通 过 W r a p p e r 层 进 行 通 信 ，   这 样 具 体 监 听 分 析 处 理 和 C r o n 调 度 放 到 不 同 机 器 上 。 如 果 监 听 审 计 的 需 求 变 更 ， 只 需 要 改 W r a p p e r 调 层 配 置 好 新 执 行 层 就 可 以 免 于 整 体 工 程 的 集 中 变 更 。
分 析 成 果 物 ： 我 们 设 计 的 这 个 系 统 的 成 果 物 是 ：   单 位 周 期 X 内 用 户 S V N 下 载 量 的 统 计 ， 特 定 资 源 下 载 提 示 报 警 ， 高 权 限 用 户 下 载 行 为 提 示 。 可 以 通 过 邮 件 、 钉 钉 、 企 业 微 信 等 形 式 通 知 管 理 员 。 随 着 安 全 策 略 的 增 加 ， 报 告 成 果 物 也 会 越 来 越 多 。 0 x 0 7   总 结 总 结 自 动 化 的 审 计 手 段 只 能 在 一 定 程 度 上 监 控 审 计 泄 露 问 题 ， 但 不 能 从 根 本 杜 绝 问 题 的 发 生 。 本 文 只 是 对 我 们 生 产 实 践 系 统 的 一 次 思 路 分 享 ， 有 不 足 的 地 方 希 望 大 家 给 出 您 宝 贵 的 意 见 ， 帮 助 我 们 改 进 。 本 文 提 供 了 内 部 监 控 和 外 部 监 控 二 种 方 案 ： 1 . G i t h u b 外 部 监 控 ： 给 大 家 推 荐 一 个 方 案 : h t t p s : / / g i t h u b . c o m / f r e e b u f - f r i e n d s / x - p a t r o l 2 .   内 部 监 控 ： 要 搭 建 自 己 的 日 志 系 统 ， 就 推 荐 文 章 ， 以 大 家 的 工 程 能 力 搭 建 系 统 和 实 现 监 控 都 不 难 。 E L K 、 S P L U N K 、 G r a y l o g 根 据 场 景 选 择 ， 这 种 系 统 是 平 台 系 统 ， 构 建 完 成 了 可 多 次 重 用 ， 不 只 可 能 分 析 S V N 行 为 审 计 ， 可 以 分 析 各 种 数 据 行 为 。 相 关 文 章 相 关 文 章 请 戳 ： 一 般 型 网 站 日 志 接 入 大 数 据 日 志 系 统 的 实 现 ： h t t p s : / / w w w . f r e e b u f . c o m / c o l u m n / 1 6 6 1 1 2 . h t m l 老 树 新 芽 ： W i n d u m p 与 大 数 据 工 具 结 合 做 流 量 统 计 分 析 ： h t t p s : / / w w w . f r e e b u f . c o m / a r t i c l e s / n e t w o r k / 1 4 4 7 6 7 . h t m l * 本 文 作 者 ： 糖 果 本 文 作 者 ： 糖 果 L 5 Q ， 本 文 属 ， 本 文 属   F r e e B u f   原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 。 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 。 推 荐 阅 读 推 荐 阅 读

阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理