搜索

[13245] 2018-09-30_代码自动化扫描系统的建设（下）

文档创建者：s7ckTeam
浏览次数：4
最后更新：2025-01-18
2018-09-30_代码自动化扫描系统的建设（下） 代 码 自 动 化 扫 描 系 统 的 建 设 （ 下 ） M y K i n g s   F r e e B u f   2 0 1 8 - 0 9 - 3 0 上 一 篇 文 章 《 代 码 自 动 化 扫 描 系 统 的 建 设 上 一 篇 文 章 《 代 码 自 动 化 扫 描 系 统 的 建 设 ( 上 上 ) 》 》   主 要 介 绍 了 自 动 扫 描 系 统 的 背 景 和 要 实 现 的 目 标 ， 这 篇 里 我 们 主 要 介 绍 了 自 动 扫 描 系 统 的 背 景 和 要 实 现 的 目 标 ， 这 篇 里 我 们 将 会 详 细 介 绍 各 个 层 与 模 块 的 设 计 。 将 会 详 细 介 绍 各 个 层 与 模 块 的 设 计 。 一 、 系 统 设 计 一 、 系 统 设 计 1 . 1   基 础 与 准 备 基 础 与 准 备 这 里 我 们 主 要 使 用   L i n u x   来 搭 建 我 们 的 自 动 化 扫 描 系 统 ， 按 照 设 计 的 角 色 划 分 ， 我 们 这 里 需 要 三 台   C e n t O S   7   的 服 务 器 ， 当 然 服 务 器 可 以 是 物 理 设 备 也 可 以 是 虚 拟 机 ， 如 果 公 司 内 部 的 扫 描 项 目 较 多 或 为 以 后 扩 展 考 虑 意 见 使 用 物 理 机 。 服 务 器 划 分 : 扫 描 节 点 第 三 方 引 擎 ( S o n a r Q u b e )   | 这 里 我 们 假 定 一 个     域 ,   三 台 服 务 器 的 主 机 名 称 分 别 为 ： ( 1 ) u i . c o d e a u d i t :   负 责 后 台 管 理 系 统 的 部 署 ， 包 括 数 据 库 、 M Q 。 ( 2 ) t a s k . c o d e a u d i t :   负 责 调 度 扫 描 引 擎 。 ( 3 ) s o n a r q u b e . c o d e a u i t :   S o n a r Q u b e 的 后 台 服 务 端 。 1 . 2   技 术 说 明 技 术 说 明 这 里 会 讨 论 到 所 需 的 具 体 技 术 点 ， 有 些 技 术 或 方 法 可 能 不 是 最 佳 的 方 案 ， 但 是 已 经 过 我 们 测 试 检 验 是 可 行 的 。 以 下 为 实 际 开 发 中 用 到 的 一 些 技 能 ： ( 1 ) P y t h o n / D j a n g o / J q u e r y / C e l e r y ( 2 ) G i t l a b   A P I / S o n a r   A P I ( 3 ) G i t / G i t l a b   C I / J e n k i n s ( 4 ) C e n t o s   7 / S h e l l ( 5 ) N F S / N g i n x / u W S G I ( 6 ) M y S Q L / R a b b i t M Q / R e d i s ( 7 ) 安 全 漏 洞 知 识 C e n t O S   7 c o d e a u d i t
C e n t O S   7   与   6   的 版 本 会 有 一 些 区 别 ， 我 们 需 要 具 有   L i n u x   的 基 本 操 作 基 础 ， 了 解   、 、 等 命 令 ； 了 解 ， 修 改 状 态 ； 并 能 编 写 的 自 启 动 脚 本 。 G i t 了 解   G i t   的 基 本 操 作 命 令 ， 使 用   S S H   密 钥 的 方 式 提 交 或 拉 取 代 码 ;   熟 悉 、 、 、 、 、 、 、 等 基 本 命 令 的 操 作 。 例 如 ： 使 用 来 得 到 当 前 分 支 的 最 后 一 次   c o m m i t   i d ； 使 用 来 判 断 项 目 中 是 否 存 在 配 置 文 件 ； 使 用 来 获 取 文 件 最 后 一 次   c o m m i t   的 作 者 。 C I / C D 不 论 是 集 成 到   G i t l a b   C I   或 是 J e n k i n s ,   我 们 都 需 要 先 了 解 项 目 上 线 的 基 本 流 程 ， 如 ： 开 发 的 代 码 规 范 、 测 试 环 节 （ 单 元 测 试 / 功 能 测 试 ） 、 发 布 部 署 环 节 等 。 一 般 我 们 会 将 代 码 扫 描 环 节 放 在 在 测 试 环 节 后 ， 发 布 部 署 前 。 P y t h o n 这 里 我 们 使 用 进 行 后 台 的 服 务 端 开 发 ， 使 用 进 行 前 台   U I   的 开 发 ， 使 用 来 开 发   A P I   接 口 ， 使 用 作 为 扫 描 任 务 的 调 度 框 架 。 数 据 库 与 中 间 件 数 据 库 与 中 间 件 数 据 库 我 们 选 择 使 用   M y S Q L   5 . 7 ( 或 M a r i a D B ,   他 们 在 使 用 上 没 有 太 大 的 区 别 ) ;     的 消 息 中 间 件 可 以 使 用     或 是   ， 这 里 你 可 以 在 开 发 的 时 候 使 用   ， 正 式 部 署 时 使 用   。 安 全 漏 洞 知 识 安 全 漏 洞 知 识 ( 1 ) 了 解   O W A S P   T O P   1 0   的 漏 洞 类 型 原 理 与 解 决 方 案 ； ( 2 ) 了 解   C W E   的 漏 洞 信 息 ； ( 3 ) 了 解 公 司 主 流 的 开 发 语 言 。 1 . 3   模 块 设 计 模 块 设 计 下 图 中 我 们 自 上 而 下 按 照 逻 辑 大 致 划 分 了 ” 四 ” 层 ： U I 层 、 存 储 层 、 服 务 层 、 任 务 调 度 扫 描 引 擎 层 （ 由 于 任 务 调 度 与 服 务 同 在 后 台 运 行 ， 所 以 又 统 称 为 服 务 层 ） 。 s y s t e m c t l f i r e w a l l - c m d c r o n t a b S E L i n u x S E L i n u x s y s t e m d g i t   c l o n e g i t   l o g g i t   p u l l g i t   b r a n c h g i t   r e m o t e g i t   f e t c h g i t   f o r - e a c h - r e f g i t   l s - f i l e s g i t   f o r - e a c h - r e f g i t   l s - f i l e s s o n a r - p r o j e c t . p r o p e r t i e s g i t   l o g   - n 1   / p a t h / f i l e P y t h o n D j a n g o d j a n g o - r e s t - s w a g g e r C e l e r y C e l e r y R e d i s R a b b i t M Q R e d i s R a b b i t M Q
1 . 3 . 1   U I   层 层 提 供 扫 描 系 统 的 后 台 管 理 、 A P I 接 口 、 漏 洞 知 识 库 等 一 系 列 的 交 互 功 能 入 口 ， 不 同 的 人 员 或 系 统 可 以 根 据 各 自 的 需 求 通 过 不 同 的 交 互 接 口 来 满 足 自 己 需 求 。 如 ： C I / C D 系 统 可 通 过   A P I   接 口 创 建 扫 描 任 务 并 获 取 扫 描 结 果 ； 安 全 审 计 人 员 可 通 过 后 台 进 行 规 则 或 插 件 的 添 加 ； 开 发 人 员 可 通 过 漏 洞 知 识 库 来 获 取 相 关 语 言 或 技 术 的 漏 洞 信 息 。 1 . 3 . 2   存 储 层 存 储 层 主 要 包 括 关 系 型 数 据 库 、 消 息 中 间 件 ( 指 M Q ) 、 N F S ( 网 络 文 件 系 统 ) ， 这 里 我 们 使 用 了   M y S Q L   5 . 7   的 数 据 库 ； R a b b i t M Q   是 作 为   C e l e r y   调 度 框 架 的 消 息 中 间 件 ； N F S 担 当 网 络 共 享 存 储 ， 用 于 存 储 代 码 与 扫 描 日 志 。 1 . 3 . 3   调 度 层 调 度 层 扫 描 任 务 的 执 行 流 程 ， 主 要 可 分 为 ： ( 1 ) 初 始 化 初 始 化 ： 扫 描 任 务 的 环 境 初 始 化 ， 如 ： 日 志 目 录 、 日 志 文 件 、 加 载 插 件 、 加 载 漏 洞 规 则 等 ； ( 2 ) 分 析 项 目 ： 项 目 代 码 统 计 、 依 赖 组 件 统 计 、 漏 洞 知 识 库 关 联 等 ； ( 3 ) 扫 描 漏 洞 ： 调 用 第 三 方 扫 描 引 擎 、 统 计 扫 描 结 果 ； ( 4 ) 漏 报 处 理 ： 使 用 黑 名 单 规 则 和 插 件 进 行 扫 描 ； ( 5 ) 误 报 处 理 ： 使 用 白 名 单 规 则 和 插 件 进 行 误 报 处 理 ； ( 6 ) 闭 环 漏 洞 ： 针 对 高 危 漏 洞 在   G i t L a b   或   J i r a   系 统 中 创 建 一 个   I s s u e 。 1 . 3 . 4   服 务 层 服 务 层 后 台 的 服 务 ， 其 主 要 包 括 ： G i t L a b   系 统 中 的 项 目 同 步 、 报 表 生 成 、 调 度 进 程 监 控 。 二 、 系 统 功 能 二 、 系 统 功 能 2 . 1   数 据 库 设 计 数 据 库 设 计 2 . 1 . 1   权 限 相 关 权 限 相 关 权 限 控 制 ， 这 里 使 用   d j a n g o   自 带 的 权 限 表 来 进 行 权 限 控 制 ， 我 们 可 以 通 过 表 来 创 建 用 户 组 ， 为 不 同 的 用 户 组 赋 予 不 同 的 角 色 权 限 ， 你 可 以 访 问 官 方 地 址 ： h t t p s : / / d o c s . d j a n g o p r o j e c t . c o m / e n / 2 . 1 / t o p i c s / a u t h / d e f a u l t / # t o p i c - a u t h o r i z a t i o n 来 获 得 更 多 关 于 权 限 的 信 息 。 d j a n g o   权 限 表 如 下 ： a u t h _ g r o u p a u t h _ g r o u p _ p e r m i s s i o n s a u t h _ g r o u p a u t h _ g r o u p _ p e r m i s s i o n s a u t h _ p e r m i s s i o n a u t h _ u s e r a u t h _ u s e r _ g r o u p s a u t h _ u s e r _ u s e r _ p e r m i s s i o n s
2 . 1 . 2   项 目 相 关 项 目 相 关 项 目 表 主 要 包 括 ： 项 目 组 、 项 目 、 分 支 与 T A G 、 统 计 信 息 、 依 赖 组 件 、 插 件 规 则 、 扫 描 任 务 等 相 关 表 。 2 . 1 . 3   漏 洞 知 识 库 漏 洞 知 识 库 漏 洞 知 识 库 ， 这 里 主 要 存 储 漏 洞 类 型 、 漏 洞 知 识 等 内 容 。
2 . 1 . 4   系 统 相 关 系 统 相 关 系 统 表 主 要 包 括 系 统 的 安 全 周 报 、 节 点 监 控 、 系 统 日 志 等 信 息 。 2 . 2   U I 系 统 系 统 扫 描 系 统 的 后 台 ， 方 便 安 全 审 计 人 员 管 理 项 目 和 系 统 。 2 . 2 . 1   项 目 管 理 项 目 管 理 2 . 2 . 1 . 1   项 目 组 项 目 组 我 们 通 过   G i t L a b   的   A P I   同 步 所 有 项 目 组 信 息 到 我 们 的 扫 描 系 统 ， 项 目 组 的 信 息 包 括 ： 、 、 、 、 等 。 2 . 2 . 1 . 2   项 目 项 目 是 从 分 组 中 获 取 得 到 ， 需 要 注 意 的 是 可 能 会 存 在 项 目 名 相 同 但 分 组 不 同 的 情 况 。 项 目 基 本 信 息 应 包 括 ： 项 目 名 称 、 项 目 描 述 、 所 属 分 组 、 默 认 分 支 、 G i t 地 址 、 项 目 成 员 、 代 码 统 计 、 依 赖 组 件 、 分 支 管 理 、 T A G 管 理 等 。 项 目 组 名 称 项 目 组 描 述 创 建 时 间 U R L 地 址 项 目 成 员
2 . 2 . 1 . 3   扫 描 任 务 扫 描 任 务 会 有 四 种 状 态 ： 等 待 调 度 、 正 在 扫 描 、 扫 描 完 成 、 扫 描 失 败 。 每 一 次 创 建 扫 描 任 务 时 ， 都 会 查 询 是 否 存 在 等 待 调 度 或 正 在 扫 描 的 任 务 ， 如 果 存 在 则 提 示 创 建 失 败 。 2 . 2 . 2   规 则 插 件 规 则 插 件 2 . 2 . 2 . 1   规 则 这 里 使 用 正 则 表 达 式 来 做 特 征 匹 配 ， 并 可 通 过 限 定 文 件 的 后 缀 来 提 高 精 准 度 。 正 则 表 达 式 标 志 位 ： ( 1 ) .   忽 略 大 小 写 ( 2 ) .   支 持 多 行 匹 配
2 . 2 . 2 . 2   插 件 这 里 使 用 了   P y t h o n   的 反 射 机 制 ， 任 务 初 始 化 时 会 优 先 初 始 化 插 件 ， 当 扫 描 完 成 时 ， 扫 描 引 擎 会 使 用 插 件 批 量 进 行 检 测 。 插 件 入 口 函 数 为 ， 漏 洞 详 情 对 象 会 作 为 参 数 的 上 下 文 传 到 该 函 数 中 。 2 . 2 . 2 . 3   规 则 知 识 库 规 则 知 识 库 是 区 别 与 漏 洞 知 识 库 的 ， 往 往 规 则 知 识 库 的 内 容 要 比 漏 洞 知 识 库 的 内 容 简 单 ， 但 是 结 构 清 晰 。 如 ： 漏 洞 示 例 代 码 、 漏 洞 说 明 、 解 决 办 法 、 参 考 链 接 等 信 息 。 r u n ( ) * * k w a r g s
2 . 2 . 3   漏 洞 知 识 库 漏 洞 知 识 库 2 . 2 . 3 . 1   漏 洞 类 型 这 里 建 议 使 用   C W E   的 漏 洞 标 准 ， 可 参 考 这 个 文 档 ： 2 . 2 . 3 . 2   漏 洞 管 理 主 要 包 括 添 加 漏 洞 和 管 理 漏 洞 ， 漏 洞 的 信 息 应 该 包 括 ： C V E / C N V D / C N N V D 编 号 、 漏 洞 标 题 、 风 险 等 级 、 漏 洞 来 源 、 发 现 时 间 、 受 影 响 范 围 、 漏 洞 详 情 、 漏 洞 类 型 、 解 决 版 本 等 基 本 信 息 。 [ h t t p s : / / w w w . h a c k e r o n e . c o m / s i t e s / d e f a u l t / f i l e s / 2 0 1 7 - 0 3 / W e a k n e s s A n d L e g a c y V u l n e r a b i l i t y T y p e R e l a t i o n s h i p . p d f ] ( h t t p s : / / w w w . h a c k e r o n e . c o m / s i t e s / d e f a u l t / f i l e s / 2 0 1 7 - 0 3 / W e a k n e s s A n d L e g a c y V u l n e r a b i l i t y T y p e R e l a t i o n s h i p . p d f )
这 里 我 们 要 实 现 漏 洞 知 识 库 与 识 别 出 的 组 件 联 动 功 能 ， 主 要 通 过 两 个 属 性 ： ( 1 ) .   组 件 标 签 这 里 需 要 为 每 个 漏 洞 添 加 一 个   T a g   属 性 ， 其 属 性 值 如 ： o r g . s p r i n g f r a m e w o r k 、 c o m . a l i b a b a . f a s t j s o n ， 建 议 标 签 一 律 使 用 小 写 字 母 。 ( 2 ) .   版 本 规 则 使 用 正 则 表 达 式 来 进 行 匹 配 ， 如 ： C V E - 2 0 1 8 - 1 2 7 0   中 受 影 响 的   S p r i n g   F r a m e w o r k   版 本 为 ： 5 . 0 . x - 5 . 0 . 5   和   4 . 3 . x - 4 . 3 . 1 6 ， 那 么 我 们 的 规 则 可 以 写 成 如 下 ： 2 . 2 . 4   报 表 管 理 报 表 管 理 2 . 2 . 4 . 1   语 言 与 项 目 统 计 按 照 年 份 进 行 项 目 的 语 言 统 计 。 5 . 0     # # #   5 . 0 ( 5 . 0 . [ 0 - 4 ] { 1 } )   # # #   5 . 0 . x   - 5 . 0 . 5 ( 4 . 3 . 1 [ 0 - 5 ] { 1 } )   # # #   4 . 3 . 1 x . r e l e a s e ( 4 . 3 . [ 0 - 9 ] { 1 } . )   # # #   4 . 3 . x . r e l e a s e
2 . 2 . 4 . 2   周 期 性 漏 洞 统 计 每 季 度 漏 洞 数 对 比 每 季 度 漏 洞 数 对 比 季 度 统 计 是 为 了 对 比 同 一 段 时 期 的 漏 洞 数 。 高 危 漏 洞 趋 势 图 高 危 漏 洞 趋 势 图 高 危 漏 洞 环 比 ， 今 年 实 施 的 安 全 政 策 是 否 合 乎 预 期 ， 可 以 大 概 分 析 出 来 。 2 . 3   A P I 接 口 接 口 2 . 3 . 1   接 口 认 证 接 口 认 证 使 用     的   A P I   来 做 验 证 ， 首 先 根 据 登 陆 的 用 户   i d   生 成 一 个   T o k e n 。 验 证 接 口 使 用 说 明 ， 添 加   A u t h o r i z a t i o n   的 认 证   T o k e n 。 r e s t _ f r a m e w o r k f r o m   r e s t _ f r a m e w o r k . a u t h t o k e n . m o d e l s   i m p o r t   T o k e n d e f   c r e a t e _ t o k e n ( r e q u e s t ,   u s e r _ i d = N o n e ) :         i f   r e q u e s t . u s e r . i d   ! =   i n t ( u s e r _ i d ) :                 r e t u r n   H t t p R e s p o n s e R e d i r e c t ( " / e r r o r / 4 0 3 " )         t r y :                 u s e r   =   U s e r . o b j e c t s . g e t ( i d = u s e r _ i d )         e x c e p t   T o k e n . D o e s N o t E x i s t :                 t o k e n   =   T o k e n . o b j e c t s . c r e a t e ( u s e r = u s e r )         r e t u r n   H t t p R e s p o n s e R e d i r e c t ( " / u s e r s / { 0 } " . f o r m a t ( u s e r _ i d ) )
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理