搜索

[12936] 2018-07-12_数据安全分析思想探索

文档创建者：s7ckTeam
浏览次数：5
最后更新：2025-01-18
2018-07-12_数据安全分析思想探索 数 据 安 全 分 析 思 想 探 索 倚 剑 醉 酒 笑 红 尘   F r e e B u f   2 0 1 8 - 0 7 - 1 2 前 言 前 言 日 志 分 析 在 入 侵 检 测 中 的 应 用 越 来 越 广 泛 ， 合 适 的 使 用 日 志 ， 使 日 志 产 生 巨 大 的 价 值 ， 本 文 旨 在 探 讨 如 何 让 日 日 志 分 析 在 入 侵 检 测 中 的 应 用 越 来 越 广 泛 ， 合 适 的 使 用 日 志 ， 使 日 志 产 生 巨 大 的 价 值 ， 本 文 旨 在 探 讨 如 何 让 日 志 的 价 值 在 安 全 领 域 发 挥 作 用 。 志 的 价 值 在 安 全 领 域 发 挥 作 用 。 安 全 日 志 分 析 的 目 的 意 义 安 全 日 志 分 析 的 目 的 意 义 1 . 通 过 对 企 业 内 部 的 各 项 数 据 进 行 汇 总 关 联 分 析 ， 如 防 火 墙 、 安 全 设 备 、 W A F 、 H I D S 等 产 生 的 攻 击 日 志 ， 关 联 k i l l c h a i n 的 上 下 文 信 息 ， 感 知 可 能 正 在 发 生 的 攻 击 ， 从 而 规 避 存 在 的 安 全 风 险 ； 2 . 安 全 检 测 ： 从 不 同 角 度 维 度 检 测 系 统 内 部 的 安 全 风 险 ； 3 . 应 急 响 应 ： 从 日 志 中 还 原 攻 击 者 的 攻 击 路 径 ， 从 而 挽 回 已 经 造 成 的 损 失 ； 4 . 溯 源 分 析 ： 回 溯 攻 击 入 口 与 方 式 ； 5 . 安 全 趋 势 ： 从 较 大 的 角 度 观 察 攻 击 者 更 “ 关 心 ” 哪 些 系 统 ； 6 . 安 全 漏 洞 ： 发 现 已 知 或 未 知 攻 击 方 法 ， 从 日 志 中 发 现 应 用 0 d a y 、 N d a y ； 数 据 安 全 分 析 图 数 据 安 全 分 析 图 要 做 数 据 安 全 分 析 ， 数 据 收 集 是 基 础 ， 数 据 收 集 之 后 ， 就 要 对 数 据 进 行 治 理 ， 数 据 治 理 的 意 义 就 是 服 务 于 数 据 分 析 阶 段 ， 而 数 据 分 析 的 源 头 在 于 收 集 了 哪 些 数 据 。 因 此 在 数 据 分 析 过 程 中 ， 这 三 个 阶 段 是 循 环 的 过 程 。 好 比 买 菜 、 洗 菜 、 炒 菜 。 买 菜 的 过 程 就 是 数 据 收 集 的 过 程 ， 洗 菜 就 是 数 据 治 理 的 过 程 ， 炒 菜 就 是 数 据 分 析 的 过 程 。 要 做 成 什 么 菜 ， 就 需 要 买 相 应 的 食 材 ， 你 要 我 用 w e b 日 志 分 析 勒 索 攻 击 ， 这 … …
一 、 数 据 收 集 一 、 数 据 收 集 基 本 上 任 何 有 关 数 据 的 工 作 第 一 步 都 是 数 据 的 收 集 ， 所 以 我 们 先 买 菜 吧 ！ 通 过 爬 虫 也 好 ， 通 过 日 志 也 好 、 通 过 旁 路 流 量 也 好 ， 都 可 以 收 集 数 据 。 数 据 收 集 阶 段 是 数 据 治 理 阶 段 和 数 据 分 析 阶 段 的 基 础 。 （ 买 菜 是 洗 菜 和 做 菜 的 基 础 。 ） 在 数 据 收 集 阶 段 ， 我 们 要 从 数 据 分 析 的 角 度 去 思 考 ， 我 们 在 做 安 全 分 析 的 时 候 ， 我 们 需 要 哪 些 数 据 ， 由 此 产 生 以 下 4 问 。 1 . W h a t   收 集 哪 些 数 据 2 . W h e r e   数 据 在 哪 3 . H o w   如 何 去 收 集 4 . A l l   数 据 接 完 了 吗 1 . 1   W h a t : 收 集 哪 些 ？ 收 集 哪 些 ？ 下 面 简 单 列 出 一 些 收 集 的 日 志 ， 重 点 在 于 ， 收 集 的 对 象 ， 它 能 产 出 哪 些 日 志 ？ 1 . 1 . 1   服 务 器 日 志 服 务 器 日 志 包 括 系 统 运 行 ， 账 户 认 证 ， 命 令 操 作 ， 系 统 运 行 等 等 日 志 。 服 务 器 日 志 服 务 器 日 志 包 括 系 统 运 行 ， 账 户 认 证 ， 命 令 操 作 ， 系 统 运 行 等 等 日 志 。 1 . 1 . 2   流 量 检 测 日 志 流 量 检 测 设 备 通 过 旁 路 的 方 式 分 析 全 网 流 量 ， 包 括 流 量 检 测 日 志 流 量 检 测 设 备 通 过 旁 路 的 方 式 分 析 全 网 流 量 ， 包 括 D N S 请 求 ， 请 求 ， S M T P 发 送 日 志 。 发 送 日 志 。 1 . 1 . 3   设 备 日 志 设 备 的 种 类 很 多 ， 每 一 种 设 备 都 有 自 己 检 测 的 日 志 设 备 日 志 设 备 的 种 类 很 多 ， 每 一 种 设 备 都 有 自 己 检 测 的 日 志 网 络 设 备 ： , , , , 安 全 设 备 ： , , , , , , , 审 计 设 备 ： , , , V P N 负 载 代 理 服 务 器 路 由 交 换 F W I D S I P S A V U T M W A F A P T 抗 D D o S 数 据 库 审 计 上 网 行 为 运 维 安 全 审 计 内 网 审 计 系 统
P C 终 端 ： 1 . 1 . 4   应 用 日 志 ： 应 用 日 志 ： , , , , , 1 . 1 . 5   数 据 库 日 志 ： 数 据 库 日 志 ： , , , 1 . 1 . 6   应 用 系 统 日 志 认 证 系 统 ： 应 用 系 统 日 志 认 证 系 统 ： , , , , 管 理 系 统 ： , 1 . 1 . 7   业 务 日 志 业 务 日 志 1 . 1 . 8   … … 确 定 了 收 集 哪 些 方 面 的 数 据 后 ， 然 后 就 需 要 了 解 这 些 服 务 器 设 备 有 哪 些 日 志 ， 在 数 据 安 全 分 析 时 需 要 服 务 器 及 安 全 设 备 的 哪 些 日 志 。 L i n u x 系 统 日 志 介 绍 ： h t t p s : / / b l o g . c s d n . n e t / l e i z i 1 9 1 1 1 0 2 1 1 / a r t i c l e / d e t a i l s / 5 1 5 8 0 8 2 8 h t t p s : / / b l o g . c s d n . n e t / o x f o r d _ d / a r t i c l e / d e t a i l s / 5 1 8 2 0 0 3 1 h t t p : / / w w w . c n b l o g s . c o m / x i n g m u x i n / p / 8 7 9 6 9 6 1 . h t m l W i n d o w s 事 件 日 志 介 绍 ： h t t p : / / w w w . f r e e b u f . c o m / v u l s / 1 7 5 5 6 0 . h t m l h t t p s : / / b l o g . c s d n . n e t / c o o l h a y y / a r t i c l e / d e t a i l s / 1 1 5 3 2 9 8 h t t p s : / / b l o g . c s d n . n e t / d o n g d o n g z z c s / a r t i c l e / d e t a i l s / 7 2 2 6 3 6 4 F T P 日 志 介 绍 ： h t t p s : / / w w w . j b 5 1 . n e t / a r t i c l e / 1 1 2 9 5 7 . h t m W e b 日 志 介 绍 ： h t t p s : / / w w w . c n b l o g s . c o m / z h o u j i e / p / i i s 1 . h t m l 服 务 器 上 的 日 志 可 以 参 考 链 接 去 了 解 ， 具 体 设 备 的 日 志 不 便 公 开 。 安 全 设 备 的 日 志 需 要 注 意 ， 比 如 W A F 、 A P T ， 在 默 认 规 则 检 测 日 志 基 础 上 ， 自 定 义 策 略 的 日 志 也 尤 为 重 要 ， 尤 其 是 在 业 务 合 规 ， 弱 口 令 检 测 等 方 面 的 策 略 日 志 。 1 . 2   W h e r e   数 据 在 哪 ？ 数 据 在 哪 ？ 个 人 觉 得 在 寻 找 日 志 的 过 程 中 ， 应 该 进 行 。 1 . 2 . 1   架 构 （ 架 构 （ w a n g ） ） 常 见 日 志 主 要 存 放 于 目 录 下 ; 事 件 日 志 默 认 存 放 于 C : W i n d o w s S y s t e m 3 2 w i n e v t L o g s ; 一 般 网 站 我 们 只 接 负 载 的 w e b 日 志 ； 杀 毒 软 件 N g i n x T o m c a t J b o s s A p a c h e T u x e d o W e b L o g i c D B 2 M y S Q L 日 志 O r a c l e 日 志 S Q L s e r v e r 堡 垒 机 电 子 签 章 C A 认 证 身 份 服 务 引 擎 无 线 网 络 控 制 数 据 库 管 理 系 统 数 据 交 换 系 统 望 闻 问 切 L i n u x / v a r / l o g / W i n d o w s
多 业 务 交 互 系 统 ， 我 们 需 要 接 所 有 w e b 日 志 ； 1 . 2 . 2   制 造 （ 制 造 （ w e n ） ） 比 如 有 些 版 本 的 中 间 件 默 认 是 没 有 w e b 日 志 的 ， 需 要 手 动 配 置 ， 有 些 设 备 的 日 志 也 需 要 配 置 。 1 . 2 . 3   问 （ 问 （ w e n ） ） 额 ， 这 个 当 然 是 问 甲 方 咯 … … 1 . 2 . 4   c o n f i g （ （ q i e ） ） 看 配 置 文 件 。 1 . 3   H o w : 如 何 收 集 ？ 如 何 收 集 ？ 1 . 3 . 1   r s y s l o g L i n u x 主 机 日 志 一 般 情 况 下 以 s y s l o g 方 式 发 送 ， L i n u x   s y s l o g 依 据 两 个 重 要 的 文 件 ： / e t c / s y s l o g d 守 护 进 程 和 / e t c / r s y s l o g . c o n f 配 置 文 件 。 如 果 我 们 配 置 即 把 i n f o 级 别 以 上 日 志 发 到 平 台 。 除 了 L i n u x ， A I X 主 机 ， R H L i n u x ， S U S E   主 机 都 有 各 自 配 置 方 法 。 L i n u x 由 于 版 本 不 同 和 配 置 不 同 ， 服 务 器 发 送 的 日 志 并 不 统 一 ， 且 通 过 对 进 行 配 置 ， 会 产 生 不 同 的 日 志 。 配 置 的 时 候 可 选 择 日 志 类 型 及 日 志 优 先 级 等 。 这 里 不 做 详 述 ， 可 参 考 以 下 链 接 。 h t t p : / / o s . 5 1 c t o . c o m / a r t / 2 0 1 0 0 7 / 2 1 1 4 5 5 . h t m 1 . 3 . 2   f t p 、 、 s c p ? 、 、 r s y n c ? f t p 的 方 式 目 前 很 少 接 触 ， 因 为 不 实 时 。 但 目 前 平 台 大 多 都 支 持 通 过 S S H 账 号 密 码 去 定 时 取 数 据 。 1 . 3 . 3   f i l e b e a t , l o g s t a s h , A g e n t 这 种 方 式 会 一 定 程 度 上 给 服 务 器 带 来 性 能 压 力 。 好 处 在 于 发 送 服 务 器 中 的 日 志 时 可 以 给 日 志 打 。 W i n d o w s 事 件 日 志 主 要 就 是 通 过 这 种 方 式 发 送 1 . 3 . 4   J D B C 、 、 O D B C 目 前 遇 到 的 两 个 认 证 系 统 需 要 通 过 J D B C ， O D B C 去 同 步 数 据 。 1 . 3 . 5   A P I 这 个 不 用 多 说 ， 看 情 况 。 1 . 4   A L L 收 集 范 围 是 否 完 全 ？ 数 据 收 集 是 否 冗 余 ？ 数 据 收 集 是 否 缺 失 ？ 这 个 阶 段 是 我 们 需 要 不 断 重 复 去 思 考 的 问 题 ！ 比 如 ： 交 换 机 镜 像 流 量 ， 是 收 集 核 心 交 换 数 据 ， 还 是 接 入 交 换 数 据 ， 收 集 的 过 程 中 ， 会 不 会 产 生 重 复 的 流 量 。 W e b 日 志 ， 是 接 负 载 的 日 志 ， 还 是 接 中 间 件 日 志 等 问 题 。 1 . 5   系 统 调 研 系 统 调 研 在 数 据 收 集 过 程 中 ， 对 于 ， ， ， 的 问 题 ， 还 是 需 要 我 们 更 细 致 的 去 了 解 业 务 系 统 。 * . i n f o     @ 1 2 7 . 0 . 0 . 1 ( 日 志 服 务 器 I P ) / e t c / r s y s l o g . c o n f 标 签 w h a t w h e r e h o w a l l
包 括 1 . 系 统 资 产 ： I P 分 布 ， 域 名 ， 服 务 器 ， 设 备 等 资 产 信 息 ； 2 . 系 统 功 能 ： 承 载 业 务 ， 使 用 对 象 ， 业 务 交 互 流 程 ; 3 . 系 统 架 构 ： 系 统 规 模 ， 系 统 应 用 架 构 ， 系 统 网 络 架 构 ; 4 . 系 统 组 件 ： 软 件 ， 应 用 组 件 ， 开 发 语 言 ， 数 据 库 。 二 、 数 据 治 理 二 、 数 据 治 理 数 据 收 集 上 之 后 ， 属 于 原 始 数 据 ， 对 于 小 型 数 据 平 台 ， 可 能 直 接 就 存 储 于 E S 了 。 对 于 大 型 数 据 分 析 平 台 而 言 ， 日 志 都 是 发 送 到 采 集 器 上 ， 由 采 集 器 对 日 志 进 行 初 步 处 理 后 ， 再 将 处 理 过 的 日 志 发 到 数 据 平 台 。 数 据 治 理 部 分 的 工 作 ， 就 需 要 去 考 虑 如 何 处 理 这 些 数 据 ， 也 就 是 洗 菜 的 工 作 。 数 据 的 洗 菜 部 分 ， 我 简 单 总 结 了 一 下 ， 包 括 ： 1 . 数 据 的 冗 余 2 . 数 据 的 挑 选 3 . 数 据 的 质 量 4 . 数 据 的 分 类 5 . 数 据 的 含 义 6 . 数 据 的 变 量 7 . 数 据 的 可 用 性 8 . 数 据 的 完 整 性 2 . 1   数 据 的 冗 余 数 据 的 冗 余 数 据 收 集 的 时 候 ， 我 们 提 到 过 的 问 题 ， 那 时 关 心 的 是 收 集 了 重 复 的 数 据 ， 在 数 据 治 理 过 程 中 对 于 已 收 集 重 复 的 数 据 进 行 处 理 。 比 如 w e b 日 志 如 果 负 载 和 中 间 件 的 日 志 全 接 ， 且 接 了 多 个 系 统 的 w e b 日 志 ， 假 若 我 们 要 了 解 某 个 I P 大 量 访 问 4 0 4 的 情 况 ， 一 定 会 产 生 误 报 和 不 准 确 。 2 . 2   数 据 的 挑 选 数 据 的 挑 选 数 据 的 挑 选 ， 挑 选 出 可 用 的 日 志 ， 挑 选 出 重 要 的 日 志 ， 挑 选 出 日 志 中 重 要 的 字 段 。 比 如 服 务 器 登 录 成 功 会 有 以 下 几 类 左 右 的 日 志 ， 如 下 ： 最 常 用 的 就 是 我 们 判 断 登 录 源 I P 是 否 来 自 堡 垒 机 ， 是 否 属 于 运 维 网 等 ， 是 否 有 r o o t 用 户 的 登 录 等 ， 因 此 我 们 需 要 挑 选 出 合 适 的 日 志 用 来 做 判 断 。 不 然 把 这 些 日 志 都 当 做 登 录 日 志 进 行 范 式 化 ， 那 么 规 则 在 生 效 的 时 候 肯 定 又 会 有 重 复 的 告 警 。 所 以 我 们 挑 出 合 适 的 日 志 进 行 范 式 化 ， 进 行 应 用 。 冗 余 1 .   A p e   2 6   0 9 : 5 2 : 0 3   c e n t o s - l i n u x   s s h d [ 1 4 6 1 3 ] :   A c c e p t e d   p a s s w o r d   f o r   r o o t   f r o m   1 0 . 2 1 1 . 5 5 . 2   p o r t   2 5 0 4 8   s s h 2   （ / v a t / l o g / s e c u r e ） 2 .   A p r   2 6   0 3 : 1 3 : 2 4   c e n t o s - l i n u x   s s h d [ 2 7 1 1 ] :   A c c e p t e d   p u b l i c k e y   f o r   r o o t   f r o m   1 0 . 2 1 1 . 5 5 . 2   p o r t   5 4 3 9 2   s s h 2 :   R S A   9 7 : 9 e : e c : 0 b : d 8 : 6 5 : 7 b : 4 9 : 9 9 : 0 9 : 1 9 : 0 f : 8 1 : 1 a : 4 c : 0 0   （ / v a t / l o g / s e c u r e ） 3 .   A p r   2 6   0 3 : 1 3 : 2 4   c e n t o s - l i n u x   s s h d [ 2 7 1 1 ] :   p a m _ u n i x ( s s h d : s e s s i o n ) :   s e s s i o n   o p e n e d   f o r   u s e r   r o o t   b y   ( u i d = 0 )   （ / v a t / l o g / s e c u r e ） 4 .   A p r   2 6   0 3 : 1 4 : 4 8   c e n t o s - l i n u x   s u :   p a m _ u n i x ( s u : s e s s i o n ) :   s e s s i o n   o p e n e d   f o r   u s e r   a d m i n   b y   r o o t ( u i d = 0 )   （ / v a t / l o g / s e c u r e ） 5 .   A p r   2 6   0 3 : 1 5 : 1 1   c e n t o s - l i n u x   s u :   p a m _ u n i x ( s u : s e s s i o n ) :   s e s s i o n   o p e n e d   f o r   u s e r   r o o t   b y   r o o t ( u i d = 1 0 0 0 )   （ / v a t / l o g / s e c u r e ） 6 .   A p r   2 6   0 3 : 0 8 : 5 9   c e n t o s - l i n u x   s s h d [ 2 3 9 6 ] :   F a i l e d   p a s s w o r d   f o r   r o o t   f r o m   1 0 . 2 1 1 . 5 5 . 2   p o r t   5 4 3 5 5   s s h 2   （ / v a t / l o g / s e c u r e ） 7 .           s s h : n o t t y r o o t   1 0 . 2 1 1 . 5 5 . 2 K ? ? Z   （ / v a t / l o g / b t m p ） 8 .   A p r   2 6   1 0 : 5 0 : 0 1   c e n t o s - l i n u x   s y s t e m d :   S t a r t i n g   S e s s i o n   3   o f   u s e r   r o o t .   （ / v a t / l o g / m e s s a g e s   ） 9 .   r o o t           p t s / 1                 1 0 . 2 1 1 . 5 5 . 2             W e d   J a n   1 7   1 4 : 3 6       s t i l l   l o g g e d   i n   （ / v a t / l o g / w t m p ） 1 0 .   t y p e = U S E R _ L O G I N   m s g = a u d i t ( 1 5 2 4 6 9 1 5 6 4 . 6 5 2 : 4 7 5 ) :   p i d = 4 3 2 7   u i d = 0   a u i d = 0   s e s = 2 2   s u b j = u n c o n f i n e d _ u : u n c o n f i n e d _ r : u n c o n f i n e d _ t : s 0 - s 0 : c 0 . c 1 0 2 3   m s g = ' o p = l o g i n   i d = 0   e x e = " / u s r / s b i n / s s h d "   h o s t n a m e = 1 0 . 2 1 1 . 5 5 . 2   a d d r = 1 0 . 2 1 1 . 5 5 . 2   t e r m i n a l = / d e v / p t s / 1   r e s = s u c c e s s ’ （ / v a t / l o g / a u d i t / a u d i t . l o g ）
同 时 ， 登 录 失 败 的 日 志 也 是 如 此 ， 一 次 登 录 失 败 ， 会 产 生 3 条 不 同 的 登 录 失 败 日 志 ， 我 们 当 然 没 必 要 每 类 登 录 失 败 日 志 去 用 。 2 . 3   数 据 的 质 量 数 据 的 质 量 数 据 的 质 量 问 题 ！ 当 收 集 的 数 据 质 量 不 符 合 安 全 分 析 的 标 准 时 ， 我 们 就 需 要 返 工 进 行 加 固 ， 加 固 后 的 数 据 则 需 重 新 收 集 。 前 面 我 们 提 过 ， w e b 日 志 中 ， 有 的 中 间 件 默 认 不 产 生 日 志 ， 需 要 我 们 手 动 去 配 置 ， 且 各 w e b 日 志 加 固 的 方 法 也 不 一 样 ， 加 固 需 要 的 参 数 也 不 一 样 ， 但 是 ， 我 们 在 数 据 分 析 阶 段 需 要 的 w e b 日 志 ， 却 需 要 所 有 类 型 的 w e b 日 志 格 式 统 一 ， 参 数 统 一 的 。 举 个 例 子 ， j b o s s 7 . 0 以 下 的 w e b 日 志 默 认 不 产 生 ， 配 置 时 ， 假 设 我 们 没 有 配 置 U A ， 或 者 漏 掉 了 状 态 码 ， 就 不 好 玩 了 ， 或 者 N g i n x 有 状 态 码 ， T o m c a t 没 有 状 态 码 这 种 情 况 。   有 关 w e b 日 志 的 加 固 ， 可 以 参 考 以 下 链 接 ： h t t p s : / / y q . a l i y u n . c o m / z i l i a o / 2 9 2 0 0 h t t p s : / / w w w . c n b l o g s . c o m / z h o u j i e / p / i i s 1 . h t m l 同 样 ， W i n d o w s 系 统 默 认 不 会 记 录 重 要 的 事 件 日 志 ， 如 进 程 和 命 令 行 日 志 、 P o w e r S h e l l 日 志 和 W i n d o w s 驱 动 程 序 框 架 日 志 。 监 控 的 方 法 很 多 ， 以 下 是 s y s m o n 的 使 用 。 h t t p s : / / d o c s . m i c r o s o f t . c o m / e n - u s / s y s i n t e r n a l s / d o w n l o a d s / s y s m o n h t t p : / / w w w . f r e e b u f . c o m / s e c t o o l / 1 2 2 7 7 9 . h t m l A p r   2 6   0 3 : 1 3 : 2 4   c e n t o s - l i n u x   s s h d [ 2 7 1 1 ] :   A c c e p t e d   p u b l i c k e y   f o r   r o o t   f r o m   1 0 . 2 1 1 . 5 5 . 2   p o r t   5 4 3 9 2   s s h 2 :   R S A   9 7 : 9 e : e c : 0 b : d 8 : 6 5 : 7 b : 4 9 : 9 9 : 0 9 : 1 9 : 0 f : 8 1 : 1 a : 4 c : 0 0   （ / v a t / l o g / s e c u r e ） N g i n x : 6 1 . 1 4 4 . 1 1 9 . 6 5   -   -   [ 2 9 / M a y / 2 0 1 7 : 2 2 : 0 1 : 3 2   + 0 8 0 0 ]   " G E T   / p a g e / 1   H T T P / 1 . 1 "   2 0 0   6 4 0 3   " h t t p : / / w w w . b a i d u . c o m "   " S c r a p y / 1 . 1 . 2   ( + h t t p : / / s c r a p y . o r g ) " T o m c a t : 1 0 . 2 1 1 . 5 5 . 2   -   -   [ 1 1 / M a r / 2 0 1 8 : 2 2 : 3 0 : 1 4   + 0 8 0 0 ]   " G E T   / p a g e / 1   H T T P / 1 . 1 "   2 0 0   1 1 2 5 0 I I S : 2 0 0 5 - 0 1 - 0 3 1 6 : 4 4 : 5 7   2 1 8 . 1 7 . 9 0 . 6 0 G E T / p a g e / 1   - 2 1 8 . 1 7 . 9 0 . 6 0 M o z i l l a / 4 . 0 + ( c o m p a t i b l e ; + M S I E + 6 . 0 ; + W i n d o w s + N T + 5 . 2 ; + . N E T + C L R + 1 . 1 . 4 3 2 2 ) 2 0 0 0 0 J b o s s : 1 0 . 2 1 1 . 5 5 . 2   -   -   [ 1 1 / M a r / 2 0 1 8 : 2 2 : 3 0 : 1 4   + 0 8 0 0 ]   " G E T   / p a g e / 1 H T T P / 1 . 1 "   2 0 0   1 1 2 5 0
2 . 4   数 据 的 分 类 数 据 的 分 类 这 个 容 易 ， 将 收 集 上 来 的 各 类 日 志 进 行 分 类 ， 说 白 了 ， 就 是 明 明 白 白 的 了 解 ， 都 收 了 哪 些 种 类 的 日 志 上 来 。 数 据 的 分 类 和 数 据 收 集 过 程 中 进 行 联 动 ， 会 产 生 很 好 的 效 果 。 比 如 ， 在 服 务 器 上 以 s y s l o g 方 式 发 日 志 到 平 台 ， 在 设 备 上 以 s y s l o g 方 式 发 日 志 到 平 台 ， 对 于 平 台 而 言 ， 它 收 集 到 的 是 一 锅 粥 的 日 志 ， 啥 都 有 ， 没 有 分 类 ， 过 滤 。 了 解 过 的 同 学 肯 定 会 说 ， 这 是 范 式 化 的 问 题 啊 ， 那 么 问 题 来 了 ， 如 果 我 们 事 先 给 日 志 已 经 分 好 类 ， 那 么 在 制 造 日 志 的 时 候 ， 或 发 出 日 志 的 时 候 打 上 标 签 ， 比 如 在 第 一 个 字 段 ， 比 如 日 志 的 格 式 等 地 方 ， 这 样 就 解 决 了 范 式 化 问 题 的 第 一 个 难 点 ： 认 出 日 志 。 2 . 5   数 据 的 含 义 数 据 的 含 义 这 条 日 志 说 了 个 啥 ？ 这 个 字 段 会 有 什 么 样 的 取 值 ？ 其 实 这 也 是 数 据 分 析 的 基 础 问 题 ， 日 志 的 翻 译 ！ 比 如 w e b 日 志 ， 在 做 数 据 安 全 分 析 前 ， 至 少 我 们 需 要 知 道 每 个 字 段 的 含 义 是 什 么 。 比 如 安 全 设 备 日 志 ， 每 个 字 段 是 什 么 含 义 。 大 家 可 以 尝 试 翻 译 以 下 服 务 器 日 志 ， 每 个 字 段 是 什 么 含 义 。 a u d i t 日 志 C r o n 日 志 新 建 用 户 日 志 2 . 6   数 据 的 变 量 数 据 的 变 量 在 数 据 翻 译 的 过 程 中 ， 我 们 是 要 对 一 类 日 志 进 行 翻 译 ， 因 此 对 于 这 一 类 日 志 ， 某 个 字 段 的 变 化 取 值 就 是 需 要 我 们 关 系 的 。 比 如 w e b 日 志 中 ， m e t h o d 的 取 值 : G E T , P O S T , P U T , H E A D , D E L E T E , M O V E , C O P Y … … 状 态 码 的 取 值 ： 1 x x , 2 x x , 3 x x , 4 x x , 5 x x 请 求 大 小 ， 时 间 ， u r l ， U A ， r e f e r 这 些 信 息 都 是 我 们 关 心 的 。 数 据 库 日 志 ， 数 据 库 审 计 日 志 ， 系 统 日 志 等 每 类 日 志 的 字 段 变 量 取 值 。 2 . 7   数 据 的 可 用 性 数 据 的 可 用 性 其 实 2 . 1 - 2 . 6 ， 我 们 都 在 从 技 术 层 面 去 处 理 日 志 ， 但 在 实 际 情 况 中 ， 总 会 出 些 问 题 ， 导 致 数 据 会 突 然 的 中 断 发 生 。 1 . 数 据 的 一 致 性 比 如 I P 的 区 域 确 认 ， 端 口 的 服 务 对 应 等 情 况 。 2 . 数 据 的 精 确 性 w e b 日 志 的 源 I P 均 为 F 5 的 I P 。 3 . 数 据 的 完 整 性 数 据 缺 失 ， 字 段 缺 失 ， 日 志 发 送 中 出 错 缺 失 ， 不 适 当 的 配 置 缺 失 等 。 4 . 数 据 的 时 效 性 服 务 器 的 时 间 有 问 题 的 时 候 ， 发 到 平 台 的 原 始 数 据 里 的 时 间 也 是 不 对 的 ， 比 如 我 在 n g i n x 日 志 发 现 某 I P 发 起 S Q L 注 入 后 ， 我 想 在 服 务 器 中 查 看 b a s h 日 志 ， 结 果 服 务 器 的 时 间 不 准 确 ， 导 致 数 据 内 的 时 间 在 两 年 前 ， 当 然 人 肯 定 是 看 得 出 来 ， 但 是 规 则 呢 ， 机 器 学 习 呢 ， 他 们 认 的 不 就 是 这 个 时 间 。 有 时 候 ， 我 们 用 发 到 平 台 的 时 间 做 判 断 标 准 ， 但 这 个 过 程 中 ， 发 的 时 间 ， 延 迟 等 问 题 ， 都 会 导 致 我 们 判 断 规 则 失 效 。 5 . 数 据 的 实 体 统 一 性 比 如 最 可 恨 的 就 是 ， 各 家 厂 商 的 A P T 设 备 ， 有 的 厂 商 在 日 志 中 是 请 求 内 容 或 事 件 内 容 ， 有 的 厂 商 t y p e = U S E R _ C M D   m s g = a u d i t ( 1 5 2 0 4 0 3 5 4 0 . 6 8 0 : 9 8 ) :   p i d = 2 5 1 7   u i d = 1 0 0 0   a u i d = 1 0 0 0   s e s = 1   s u b j = u n c o n f i n e d _ u : u n c o n f i n e d _ r : u n c o n f i n e d _ t : s 0 - s 0 : c 0 . c 1 0 2 3   m s g = ' c w d = " / h o m e / a d m i n "   c m d = 7 3 7 9 7 3 7 4 6 5 6 D 6 3 7 4 6 C 2 0 7 2 6 5 7 3 7 4 6 1 7 2 7 4 2 0 6 D 6 1 7 2 6 9 6 1 6 4 6 2 2 E 7 3 6 5 7 2 7 6 6 9 6 3 6 5   t e r m i n a l = p t s / 0   r e s = f a i l e d ’ t y p e = U S E R _ L O G I N   m s g = a u d i t ( 1 5 2 0 9 6 1 5 2 0 . 8 2 0 : 1 1 6 3 ) :   p i d = 2 1 1 8 6   u i d = 0   a u i d = 0   s e s = 8 3   s u b j = u n c o n f i n e d _ u : u n c o n f i n e d _ r : u n c o n f i n e d _ t : s 0 - s 0 : c 0 . c 1 0 2 3   m s g = ' o p = l o g i n   i d = 0   e x e = " / u s r / s b i n / s s h d "   h o s t n a m e = 1 0 . 2 1 1 . 5 5 . 2   a d d r = 1 0 . 2 1 1 . 5 5 . 2   t e r m i n a l = / d e v / p t s / 1   r e s = s u c c e s s ' / U S R / S B I N / C R O N [ 2 1 0 9 1 ] :   ( r o o t )   C M D   ( / u s r / b i n / s h o o t   - f   / t m p / A W M . t x t   & > / d e v / n u l l ;   m v   / t m p / A W M . t x t   / t m p / M 4 1 6 . t x t . o l d ) M a r   1 6   2 3 : 0 7 : 0 8   c e n t o s - l i n u x   u s e r a d d [ 7 5 1 5 ] :   n e w   u s e r :   n a m e = a d m i n ,   U I D = 1 0 0 0 ,   G I D = 1 0 0 0 ,   h o m e = / h o m e / a d m i n ,   s h e l l = / b i n / b a s h 6 1 . 1 4 4 . 1 1 9 . 6 5   -   -   [ 2 9 / M a y / 2 0 1 7 : 2 2 : 0 1 : 3 2   + 0 8 0 0 ]   " G E T   / p a g e / 1   H T T P / 1 . 1 "   2 0 0   6 4 0 3   " h t t p : / / w w w . b a i d u . c o m "   " S c r a p y / 1 . 1 . 2   ( + h t t p : / / s c r a p y . o r g ) "
t m 的 是 A S S I C 码 。 对 于 日 志 中 是 A S S I C 的 厂 商 ， 我 真 的 想 吐 槽 ， 你 们 的 研 发 真 的 懒 。 三 、 数 据 分 析 三 、 数 据 分 析 买 菜 、 洗 菜 的 目 的 就 是 为 了 炒 菜 ， 大 数 据 安 全 分 析 平 台 的 核 心 价 值 体 系 就 在 于 数 据 分 析 ， 合 理 的 数 据 分 析 会 给 企 业 带 来 巨 大 的 价 值 。 在 这 个 模 块 中 ， 我 自 己 也 是 在 摸 索 中 前 行 ， 在 絮 叨 这 篇 时 ， 我 希 望 从 这 么 几 方 面 絮 叨 。 3 . 1   安 全 架 构 安 全 架 构 自 适 应 架 构 高 大 上 的 地 方 就 不 谈 了 ， 预 测 、 防 护 、 检 测 、 响 应 。 其 实 在 做 好 各 方 面 防 护 的 基 础 上 ， 客 户 最 需 要 的 是 检 测 及 响 应 能 力 ， 单 方 面 的 检 测 和 响 应 很 普 遍 ， W A F 有 报 警 ， 主 机 I D S 有 报 警 ， P C 终 端 有 报 警 ， A P T 有 报 警 ， 但 是 关 联 起 来 的 能 力 … … 3 . 2   态 势 感 知 态 势 感 知 道 哥 语 录 ： 个 人 也 是 深 受 启 发 ， 在 应 急 时 ， 在 渗 透 时 ， 在 安 全 加 固 时 ， 不 管 是 w e b 日 志 ， 流 量 日 志 ， 主 机 日 志 ， 都 多 多 少 少 会 留 下 蛛 丝 马 迹 。 如 果 我 们 利 用 这 些 日 志 ， 设 置 下 各 种 检 测 锚 点 ， 是 不 是 就 可 以 快 速 的 检 测 出 哪 里 出 现 了 异 常 。 3 . 3   应 用 场 景 应 用 场 景 应 用 场 景 简 单 列 举 例 。 1 . 业 务 安 全 风 险 注 册 ， 登 录 ， 交 易 ， 查 看 报 表 ， 文 件 下 载 ， 数 据 传 输 ， 后 台 管 理 等 等 偏 业 务 的 安 全 风 险 。 2 . 主 机 安 全 风 险 异 常 登 录 ， 敏 感 操 作 ， 异 常 进 程 / 服 务 ， 异 常 c r o n 任 务 ， 启 动 项 异 常 ， 权 限 异 常 ， 敏 感 文 件 等 等 安 全 风 险 。 3 . 内 网 安 全 风 险 主 机 外 联 ， 异 常 D N S 解 析 ， 异 常 N T P 解 析 ， 钓 鱼 端 口 访 问 ， 敏 感 端 口 范 围 ， 内 网 扫 描 探 测 等 等 安 全 风 险 。 全 、 快 速 、 准 确 的 感 知 过 去 、 现 在 、 未 来 的 安 全 威 胁 ， 帮 助 客 户 第 一 次 「 看 清 楚 」 己 和 这 个 世 界 。 让 数 据 在 线 ， 基 于 数 据 分 析 ， 多 个 事 件 源 之 间 的 关 联 ， 连 接 不 同 的 数 据 ， 从 而 创 造 新 的 价 值 ， 试 图 反 馈 全 局 的 情 况 ， 试 图 还 原 事 件 过 程
4 . 外 网 攻 击 风 险 w e b 攻 击 类 ， 当 然 凭 w e b 日 志 分 析 w e b 攻 击 比 较 粗 糙 ， 比 较 W A F 分 析 的 是 r e q u e s t 请 求 ， 而 w e b 日 志 没 有 r e q u e s t 的 所 有 信 息 ， 优 势 在 于 统 计 分 析 和 机 器 学 习 。 3 . 4   数 据 安 全 分 析 理 论 数 据 安 全 分 析 理 论 《 数 据 驱 动 安 全 》 这 本 书 的 开 篇 有 如 下 一 张 图 ， 说 是 数 据 安 全 分 析 中 的 技 能 图 。 3 . 4 . 1   黑 客 技 能 黑 客 技 能 并 不 是 每 个 人 都 是 大 黑 客 的 ， 甲 方 企 业 也 不 需 要 大 黑 客 。 这 里 我 理 解 的 黑 客 技 能 为 安 全 攻 防 角 度 的 了 解 ， 未 知 攻 焉 知 防 ， 一 直 都 在 说 的 话 题 。 我 理 解 为 发 生 安 全 问 题 时 ， 攻 击 者 的 思 维 和 防 护 者 的 思 维 的 对 弈 ， 这 里 的 黑 客 技 能 就 是 防 护 者 的 思 维 。 举 个 例 子 ， 一 个 S t r u t s 2 系 统 被 攻 击 ， w e b 日 志 和 W A F 会 记 录 ， 突 破 w e b 层 面 时 ， 黑 客 会 在 服 务 器 上 做 什 么 ？ 执 行 命 令 ， 访 问 敏 感 文 件 ， 远 程 下 载 木 马 ， 安 装 黑 客 工 具 等 操 作 ， 假 设 在 内 网 漫 游 时 ， 内 网 探 测 ， 内 网 扫 描 ， 后 台 登 录 等 行 为 。 综 上 理 想 状 态 下 的 行 为 ， 都 有 相 应 的 日 志 记 录 ， 我 们 是 否 可 以 埋 下 检 测 锚 点 呢 ? 这 里 就 要 提 到 几 个 理 论 知 识 ： 1 .   k i l l c h a i n 2 .   威 胁 建 模 S T R I D E
3 .   资 产 脆 弱 性 风 险 理 论 h t t p s : / / w w w . d a r k r e a d i n g . c o m / a t t a c k s - b r e a c h e s / d e c o n s t r u c t i n g - t h e - c y b e r - k i l l - c h a i n / a / d - i d / 1 3 1 7 5 4 2 h t t p s : / / d o c s . m i c r o s o f t . c o m / e n - u s / p r e v i o u s - v e r s i o n s / c o m m e r c e - s e r v e r / e e 8 2 3 8 7 8 ( v = c s . 2 0 ) 3 . 4 . 2   安 全 领 域 专 家 安 全 领 域 专 家 这 里 我 理 解 为 大 安 全 。 如 等 保 ， 分 保 ， 2 7 0 0 1 ， P C I 等 大 方 面 的 了 解 ， 有 助 于 我 们 在 管 理 方 面 和 技 术 方 面 合 理 的 设 置 检 测 。 3 . 4 . 3   统 计 学 知 识 统 计 学 知 识 A .   W A F 能 检 测 r e q u e s t 请 求 的 所 有 信 息 ， 你 w e b 日 志 只 有 其 中 几 个 信 息 ， 靠 U R L 中 的 正 则 就 判 断 攻 击 ， 太 草 率 了 吧 。 B .   额 ， 我 们 可 以 做 统 计 ， 做 溯 源 啊 。 A .   也 是 哦 ， 统 计 联 动 W A F ， 不 就 好 很 多 了 。 当 然 这 只 是 一 个 小 c a s e ， 企 业 内 部 需 要 做 统 计 的 数 据 点 很 多 ， 比 如 D N S ， N T P ， 账 户 ， 交 易 等 太 多 太 多 。 3 . 4 . 4   机 器 学 习 机 器 学 习 这 个 技 术 能 力 达 不 到 ， 接 触 的 很 少 ， 只 从 大 佬 口 中 了 解 过 一 些 学 习 判 断 算 法 ， 区 域 分 布 ， 统 计 分 析 ， 历 史 行 为 啊 ， 给 安 全 先 行 大 佬 们 递 茶 。 h t t p : / / w w w . f r e e b u f . c o m / c o l u m n / 1 7 3 8 7 6 . h t m l h t t p : / / w w w . f r e e b u f . c o m / c o l u m n / 1 5 1 3 2 3 . h t m l h t t p : / / w w w . f r e e b u f . c o m / a r t i c l e s / n e o p o i n t s / 1 5 2 4 5 7 . h t m l 3 . 4 . 5   其 他 其 他 其 他 的 从 字 面 意 思 我 也 没 搞 懂 … … 3 . 5   数 据 安 全 分 析 方 法 实 践 数 据 安 全 分 析 方 法 实 践 3 . 5 . 1   规 则 分 析 规 则 分 析 单 一 规 则 与 关 联 规 则 单 一 规 则 就 是 利 用 单 一 日 志 的 某 一 字 段 判 断 安 全 问 题 ， 或 控 制 某 一 个 字 段 变 的 情 况 下 计 数 等 情 况 ， 就 是 利 用 单 一 日 志 做 的 检 测 规 则 。 关 联 规 则 就 是 将 多 个 数 据 源 进 行 一 定 场 景 下 的 关 联 ， 比 如 f t p 爆 破 了 ， 成 功 后 大 量 下 载 文 件 了 。 这 些 不 便 细 说 ， 可 以 私 下 细 聊 。 3 . 5 . 2   威 胁 情 报 威 胁 情 报 这 个 不 多 说 ， 内 网 D N S 请 求 的 域 名 都 发 送 到 威 胁 情 报 了 ， 然 后 根 据 返 回 进 行 判 断 。 h t t p s : / / v e n u s e y e . v i p / h t t p s : / / x . t h r e a t b o o k . c n / 3 . 5 . 3   统 计 学 方 法 统 计 学 方 法 统 计 4 0 4 的 I P ， 统 计 4 0 4 的 U R L ， 统 计 攻 击 者 的 历 史 行 为 … … 3 . 6 . 4   用 户 行 为 分 析 用 户 行 为 分 析
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理