搜索

[13971] 2019-04-10_自助安全扫描与代码审计系统架构实践

文档创建者：s7ckTeam
浏览次数：0
最后更新：2025-01-18
2019-04-10_自助安全扫描与代码审计系统架构实践 自 助 安 全 扫 描 与 代 码 审 计 系 统 架 构 实 践 糖 果 L 5 Q   F r e e B u f   2 0 1 9 - 0 4 - 1 0 一 、 自 动 安 检 的 需 求 背 景 一 、 自 动 安 检 的 需 求 背 景 需 求 需 求 公 司 如 果 有 不 同 的 业 务 线 ， 各 业 务 系 统 上 线 发 布 之 前 要 进 行 基 本 的 安 全 检 查 。 业 务 在 国 内 的 其 它 城 市 ， 机 房 位 公 司 如 果 有 不 同 的 业 务 线 ， 各 业 务 系 统 上 线 发 布 之 前 要 进 行 基 本 的 安 全 检 查 。 业 务 在 国 内 的 其 它 城 市 ， 机 房 位 置 不 定 ， 发 布 时 间 不 定 ， 这 时 候 就 需 要 设 计 一 套 自 动 化 机 制 ， 在 业 务 上 线 新 功 能 之 前 ， 进 行 自 动 安 全 扫 描 与 代 置 不 定 ， 发 布 时 间 不 定 ， 这 时 候 就 需 要 设 计 一 套 自 动 化 机 制 ， 在 业 务 上 线 新 功 能 之 前 ， 进 行 自 动 安 全 扫 描 与 代 码 审 计 。 自 助 自 动 是 在 传 统 方 式 上 的 一 种 改 变 ， 是 对 即 存 安 检 查 系 统 的 重 新 组 合 使 用 。 传 统 的 扫 描 和 代 码 审 计 码 审 计 。 自 助 自 动 是 在 传 统 方 式 上 的 一 种 改 变 ， 是 对 即 存 安 检 查 系 统 的 重 新 组 合 使 用 。 传 统 的 扫 描 和 代 码 审 计 有 历 史 课 题 。 有 历 史 课 题 。   对 于 粗 放 型 的 安 全 扫 描 任 务 实 施 ， 可 能 会 对 业 务 造 成 伤 害 ， 比 如 对 于 粗 放 型 的 安 全 扫 描 任 务 实 施 ， 可 能 会 对 业 务 造 成 伤 害 ， 比 如 P a y l o a d 脏 数 据 让 业 务 方 服 务 挂 脏 数 据 让 业 务 方 服 务 挂 掉 ， 为 了 避 免 此 类 情 况 发 生 ， 需 要 将 扫 描 的 粒 度 细 分 的 更 精 准 ， 可 以 定 位 到 新 机 能 具 体 接 口 入 口 位 置 ， 再 进 行 掉 ， 为 了 避 免 此 类 情 况 发 生 ， 需 要 将 扫 描 的 粒 度 细 分 的 更 精 准 ， 可 以 定 位 到 新 机 能 具 体 接 口 入 口 位 置 ， 再 进 行 扫 描 和 代 码 审 计 。 扫 描 和 代 码 审 计 。 下 图 是 整 个 自 助 安 检 设 计 的 体 系 图 ： 历 史 课 题 历 史 课 题 1 . 安 安 全 扫 描 全 扫 描 ： 一 般 安 全 扫 描 实 施 会 有 一 个 扫 描 列 表 ， 并 且 配 有 白 名 单 和 不 可 扫 主 机 ， 如 果 被 扫 业 务 代 码 不 够 强 壮 ，   一 旦 扫 描 p a y l o a d 被 业 务 认 为 是 无 效 的 脏 数 据 ， 服 务 会 受 影 响 。 解 决 此 问 题 ， 如 上 所 述 ， 需 要 定 制 化 扫 描 ， 针 对 新 业 务 上 线 ， 老 业 务 回 归 扫 描 检 查 ， 进 行 细 化 到 接 口 级 的 扫 描 ， 不 是 一 个 域 名 一 把 梭 。 2 . 代 码 审 计 代 码 审 计 ： 代 码 审 计 误 报 率 ，   审 计 程 序 和 策 略 都 是 人 来 写 的 ， 存 在 误 报 场 景 。 但 自 动 化 安 检 处 理 可 以 突 出 重 点 误 报 率 低 的 问 题 ，   对 代 码 审 计 特 别 擅 长 的 漏 洞 ， 给 于 突 出 的 展 示 空 间 ， 抓 主 要 问 题 ， 核 心 威 胁 。   当 业 务 方 触 发 自 动 安 全 检 查 流 程 时 ， 让 代 码 审 计 与 安 全 扫 描 强 强 联 合 ， 针 对 那 些 不 能 轻 易 通 过 扫 描 被 发 现 的 漏 洞 ， 或 是 非 常 耗 时 ， 依 赖 设 计 各 种 复 杂 P a y l o a d 扫 描 发 现 漏 洞 的 场 景 ， 让 扫 描 和 审 计 协 同 来 完 成 ， 比 如 ： 挂 马 问 题 ， 代 码 审 计 可 直 接 扫 描 代 码 发 现 问 题 ， 再 联 合 扫 描 执 行 进 行 多 重 威 胁 确 认 。 * * 二 、 子 系 统 划 分 与 功 能 互 动 二 、 子 系 统 划 分 与 功 能 互 动 * *
多 业 务 线 可 复 用 一 个 安 全 请 求 接 口 ， 业 务 推 送 各 自 的 安 全 检 查 需 求 ， 无 论 你 在 上 海 、 北 京 还 是 其 它 的 地 方 。 对 于 业 务 方 来 说 ， 他 们 不 用 关 心 安 检 系 统 的 实 现 细 节 。 但 从 安 全 开 发 者 的 角 度 ， 我 们 要 清 楚 系 统 的 构 成 ，   系 统 是 如 何 把 安 全 检 查 请 求 ， 分 发 给 我 们 各 种 子 系 统 去 执 行 ， 并 优 先 返 回 那 些 必 要 的 安 检 结 果 反 馈 。 区 别 于 第 一 个 图 ，   我 们 通 过 纵 向 展 开 的 方 式 ， 用 一 张 图 表 现 子 系 统 如 何 通 过 暴 漏 接 口 与 业 务 互 动 。 大 体 流 程 如 图 ， 由 业 务 方 提 交 安 检 请 求 给 接 口 ， 由 网 关 将 接 口 转 发 给 安 全 检 查 处 理 逻 辑 进 行 安 检 任 务 的 分 发 ， 将 代 码 相 关 信 息 ， P U S H 给 代 码 审 计 系 统 。 将 上 线 环 境 的 相 关 的 信 息 ， P U S H 给 扫 描 系 统 。 扫 描 系 统 是 可 以 插 件 化 的 ，   通 地 不 同 类 别 的 插 件 装 配 ， 进 行 定 制 类 扫 描 。 代 码 审 计 系 统 可 以 进 行 复 合 审 计 ， 调 用 多 种 代 码 审 计 引 擎 进 行 代 码 审 计 ， 比 对 审 计 确 认 结 果 ， 找 出 共 通 问 题 。 为 了 结 合 实 际 情 况 ， 我 们 特 别 突 出 了 安 全 扫 描 中 S Q L 注 入 和 W E B 扫 描 在 图 上 的 位 置 ， 将 通 用 C V E 计 与 挂 马 检 查 作 为 代 码 检 查 的 重 点 。 一 般 情 况 ， 检 查 项 目 越 多 ， 误 报 同 比 会 变 高 ， 如 果 不 想 被 误 报 威 胁 信 息 淹 没 ， 前 期 我 们 可 以 集 中 处 理 高 危 的 威 胁 ， 等 系 统 问 题 ， 针 对 各 种 误 报 针 对 性 解 决 。 三 、 接 口 设 计 三 、 接 口 设 计 如 图 所 示 ， 接 口 设 计 我 们 采 用 了 R E S T 接 口 设 计 ， 业 务 在 发 布 系 统 侧 ， 通 过 发 布 系 统 客 户 端 ， 发 送 P O S T 数 据 请 求 给 网 关 的 R E S T 接 口 服 务 ， 提 交 安 检 所 要 的 基 本 必 要 的 信 息 ， 测 试 的 主 题 是 谁 ， 测 试 的 是 什 么 。 我 们 给 出 接 口 字 段 设 计 ， 可 以 基 本 满 足 检 查 子 系 统 的 输 入 需 要 ，   当 接 口 调 用 时 ， 会 添 上 对 应 的 测 试 机 ， 后 期 会 直 接 集 中 到 发 布 系 统 里 进 行 自 动 发 布 调 用 。
字 段 说 明 ： 域 名 （ 域 名 （ d o m a i n ） ） ：   域 名 ， 具 体 业 务 那 个 域 名 下 的 服 务 更 新 发 布 了 。 文 件 （ 文 件 （ f i l e ） ） ： 文 件 ， 新 发 布 功 能 的 文 件 名 。 路 由 （ 路 由 （ i n d e x ） ） ： 路 由 ， 发 布 文 件 发 布 的 具 体 接 口 。 接 口 参 数 （ 接 口 参 数 （ p a r a m s ） ） :   路 由 对 应 实 参 数 。 对 S Q L 注 入 这 种 类 别 的 检 查 ，   有 了 参 数 才 检 查 更 有 针 对 性 。 代 码 地 址 （ 代 码 地 址 （ g i t   a d d r e s s ） ） ： 上 线 业 务 代 码 g i t 服 务 器 地 址 ， 方 便 代 码 审 计 系 统 去 下 载 代 码 。 邮 件 地 址 （ 邮 件 地 址 （ m a i l ） ） ： 接 受 安 全 检 查 报 告 的 邮 箱 。 接 口 是 基 本 的 J S O N   R E S T ， 具 体 落 地 实 现 可 以 采 取 多 种 语 言 实 现 方 案 。 * * 四 、 安 检 流 程 四 、 安 检 流 程 * * 我 们 抽 出 一 个 业 务 处 理 逻 辑 ， 进 行 强 化 说 明 ，   当 业 务 发 起 安 检 提 交 请 求 后 ， 如 何 具 体 触 发 子 系 统 做 了 那 些 居 体 工 作 。 数 据 接 口 设 计 完 之 后 系 统 的 输 入 已 经 明 确 ， 接 口 驱 动 系 统 工 作 的 顺 序 ， 如 下 图 。
1 . 代 码 拉 取 代 码 拉 取 ： 取 得 g i t   a d d r e s s 字 段 的 地 址 ， 分 发 调 用 代 码 审 计 服 务 ， 去 具 体 的 g i t 中 下 载 项 目 代 码 。 其 实 可 以 单 独 通 过 一 个 字 段 让 源 码 推 送 给 的 安 查 系 统 ， 但 这 样 有 加 密 成 本 ， 并 且 没 有 代 码 下 载 历 史 版 本 管 理 ， 如 果 出 现 问 题 ， 无 法 溯 源 代 码 操 作 责 任 人 。 2 . 代 码 审 计 代 码 审 计 ： 对 拉 取 源 码 进 行 审 计 。   更 新 的 码 与 工 程 中 其 它 代 码 是 有 依 赖 关 系 的 话 ， 如 果 时 间 允 许 ， 可 审 计 相 关 文 件 模 块 ， 甚 至 整 体 项 目 代 码 。 3 . 审 计 报 告 审 计 报 告 ： 作 成 代 码 审 计 报 告 ， 安 检 请 求 同 步 发 出 ，   但 报 告 可 异 步 发 回 。 4 .   路 由 解 析 路 由 解 析 ： 代 码 审 计 系 统 取 得 代 码 后 ， 对 源 代 码 进 行 词 法 语 法 分 析 ， 再 做 路 由 检 查 处 理 ， 取 得 具 体 路 由 的 p a r a m s 参 数 。 一 般 情 况 ， 路 由 的 对 应 的 参 数 是 需 要 人 工 添 加 的 ， 但 对 一 些 找 不 到 第 一 开 发 者 的 项 目 ， 采 用 自 动 匹 配 的 方 式 收 集 对 应 参 数 ， 这 种 情 况 需 要 特 别 处 理 。
5 . 接 口 扫 描 接 口 扫 描 ： 对 已 取 得 的 域 名 、 路 由 、 参 数 的 接 口 进 行 针 对 性 的 W E B 安 全 性 检 查 ， 扫 描 的 模 块 往 往 都 是 有 很 多 种 的 ， 对 同 一 接 口 ， 可 采 用 多 种 扫 描 工 具 进 行 扫 描 ， s q l m a p 、 n m a p 、 W V S 、 n e s s u s 等 。 如 果 想 收 集 更 多 的 信 息 ， 可 采 用 代 理 方 式 进 行 扫 描 ， 在 代 理 服 务 器 上 ， 可 以 收 集 更 多 信 息 。 6 . 扫 描 报 告 扫 描 报 告 ： 输 出 扫 描 检 查 报 告 。   扫 描 的 结 果 可 入 库 ， 通 过 库 内 容 对 比 ， 进 行 接 口 威 胁 状 态 跟 踪 。 五 、 子 系 统 与 实 现 技 术 栈 五 、 子 系 统 与 实 现 技 术 栈 自 助 安 检 需 多 统 协 同 ： 1 . 发 布 系 统 客 户 端 服 务 发 布 系 统 客 户 端 服 务 ： 嵌 入 到 业 务 发 布 上 线 系 统 中 的 ， 安 全 检 查 请 求 客 户 端 。 可 以 是 表 单 ， 也 可 是 后 端 批 处 理 程 序 。 2 . 网 关 服 务 网 关 服 务 ： 网 关 一 般 是 请 求 的 分 发 与 重 定 向 ， 简 单 是 直 接 用 O p e n r e s t y 写 ， 复 杂 的 可 以 使 用 K o n g ， 活 是 o r a n g e 这 种 网 关 产 品 。 3 . 接 口 服 务 接 口 服 务 ： 具 体 实 现 R E S T 接 口 的 后 端 程 序 ， 也 是 安 查 任 务 调 度 系 统 。 4 . 扫 描 系 统 扫 描 系 统 ： 接 受 调 度 ， 进 行 安 全 检 查 ， 返 回 扫 描 报 告 。 5 . 代 码 审 计 系 统 代 码 审 计 系 统 ： 接 受 调 度 ， 进 行 代 码 审 计 ， 返 回 扫 描 报 告 。 6 . 存 储 系 统 存 储 系 统 ： 保 存 安 全 检 查 请 求 历 史 数 据 ， 跟 踪 检 测 结 果 。 通 过 安 全 开 发 实 践 摸 索 ， 我 们 总 结 出 安 全 开 发 三 件 宝 ： 网 关 、 数 据 库 、 R P C 。 1 . 网 关 服 务 网 关 服 务 ： 网 关 应 用 作 为 后 端 应 用 的 入 口 ， 负 责 转 发 与 授 权 等 基 本 工 作 内 容 ， 网 关 本 身 也 是 代 理 。 网 关 是 抽 离 业 务 抽 象 出 来 与 7 层 操 作 直 接 相 关 的 公 通 模 块 ， 将 公 通 的 功 能 ， 从 业 务 中 独 立 出 来 ， 降 低 业 务 代 码 维 护 成 本 ，   网 关 代 码 还 可 重 用 。 关 于 中 间 件 推 荐 ，   一 般 情 况 推 荐 给 读 者 商 业 产 品 ，   读 者 及 单 位 不 一 定 买 ， 发 出 来 还 有 广 告 嫌 疑 。 推 荐 闭 源 产 品 ，   代 码 不 开 放 有 版 权 也 不 能 直 接 给 您 ，   所 有 最 后 推 荐 开 源 产 品 原 型 ， 但 又 可 能 被 说 都 是 用 开 源 堆 砌 系 统 。 推 荐 几 款 开 源 的 网 关 ： O p e n R e s t y :   O p e n r e s t y 在 N g i n x 的 基 础 上 丰 富 了 很 多 功 能 ， 构 建 网 关 O R 是 不 错 的 选 择 。 K o n g :   k o n g 本 身 也 是 基 于 O p e n r e s t y 技 术 ，   现 在 很 多 大 的 公 司 在 用 。 O r a n g e ： 同 样 基 于 O p e n r e s t y 的 一 个 纯 开 源 的 网 关 产 品 ， 内 嵌 基 础 W A F 功 能 。 假 设 读 者 手 里 有 S A E 的 云 豆 ， 可 以 体 验 云 版 的 O r a n g e ， 一 键 部 署 ， 方 便 测 试 ， 想 要 测 试 码 朋 友 ， 可 以 看 文 章 最 后 的 二 维 码 联 系 方 式 联 系 免 费 提 供 。   软 件 是 开 源 的 ， 服 务 是 免 费 ， 要 有 云 豆 。 2 . 数 据 库 数 据 库 ： 数 据 存 储 是 最 基 础 的 服 务 ， 现 在 都 支 持 接 口 化 服 务 ， 我 们 通 过 网 关 将 数 据 库 存 储 通 过 接 口 封 装 隐 藏 起 来 ， 使 用 者 不 用 关 心 具 体 实 现 的 技 术 差 异 。   对 于 调 用 都 来 说 ，   数 据 是 存 E S 还 是 其 它 地 方 不 重 要 ，   只 要 性 能 达 标 没 有 瓶 颈 不 关 注 低 层 实 现 。 在 我 们 的 场 景 下 ， E S 存 一 般 性 数 据 ， C l i c k h o u s e 存 实 时 性 高 的 数 据 ， R a b b i t M Q 和 k a f k a 进 行 数 据 缓 存 ， R e d i s 存 共 享 数 据 。 如 果 有 什 么 值 得 特 别 提 的 ， 那 就 是 C l i c k h o u s e 可 以 支 持 M y s q l 协 议 ，     操 作 C K 与 操 作 M y s q l 体 验 接 近 一 些 ， 用 操 作 M y s q l 的 动 作 ， 实 际 确 是 在 用 强 大 的 C l i c k H o u s e 做 处 理 数 据 ，   C K 属 于 开 源 产 品 。   关 于 E S 与 C l i c k h o u s e 之 间 的 数 据 迁 移 ， 有 一 篇 文 章 可 供 参 考 ： 《 C l i c k h o u s e 与 威 胁 日 志 分 析 》 ， 是 在 F r e e b u f 上 发 布 过 的 。 还 有 一 篇   《 E L K 大 数 据 与 威 胁 日 志 的 数 据 迁 徙 方 法 》 ， 让 C l i c k h o u s e 与 E S 共 生 ， 提 供 安 全 分 析 服 务 。 3 . R P C 服 务 ： 服 务 ： 如 果 R E S T 是 给 前 端 提 供 的 后 端 服 务 ，   那 R P C 就 是 给 后 端 服 务 提 供 服 务 的 后 端 服 务 。 把 业 务 不 想 关 的 公
通 功 能 R P C 化 D o c k e r 部 署 ， 业 务 相 关 的 D S L 配 置 描 述 化 部 署 ， 简 化 业 务 系 统 的 复 杂 性 和 不 必 要 的 耦 合 。 无 论 使 用 什 么 语 言 实 现 r p c 服 务 ， 对 调 用 方 来 说 是 黑 盒 ， 只 要 遵 循 协 议 要 求 。 大 家 用 的 R P C 技 术 G o o g l e 的 产 品 占 一 定 比 例 ， 但 其 实 像 D j a n g o 这 种 框 架 也 支 持 R P C 技 术 ， D j a n g o   R P C ， 这 个 版 本 在 D j a n g o   1 . 5 时 代 已 存 在 。 六 、 总 结 六 、 总 结 梳 理 了 自 助 接 口 扫 描 与 代 码 审 计 系 统 架 构 ， 描 述 了 各 个 子 系 统 间 的 协 调 互 动 与 具 体 技 术 栈 。 对 有 类 似 应 用 场 景 的 单 位 ， 通 过 类 似 机 制 实 现 自 动 安 检 只 待 时 日 ， 使 用 开 源 、 商 业 、 自 研 技 术 ， 可 就 地 取 材 。 这 篇 抛 砖 引 玉 ， 一 些 挑 战 的 课 题 还 在 等 待 我 们 解 决 ，   比 如 路 由 参 数 的 自 动 识 别 ， 代 理 扫 描 工 具 的 实 现 方 案 ， 代 码 审 计 如 何 开 放 调 度 接 口 等 。 * 本 文 作 者 ： 糖 果 本 文 作 者 ： 糖 果 L 5 Q ， 属 于 ， 属 于 F r e e B u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 推 荐 阅 读 推 荐 阅 读
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理