设为首页收藏本站
切换到窄版

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
Nmaps Club»论坛 › Pentests Wiki › Wiki › 数据库 › [9121] 2015-07-12_大数据安全分析（理念篇） ...
返回列表 发新帖
查看: 1|回复: 0

[9121] 2015-07-12_大数据安全分析（理念篇）

[复制链接]
s7ckTeam

6万

主题

-6万

回帖

-58

积分

管理员

积分
-58
发表于 6 天前 | 显示全部楼层 |阅读模式
2015-07-12_大数据安全分析（理念篇） 大 数 据 安 全 分 析 （ 理 念 篇 ） F r e e B u f   2 0 1 5 - 0 7 - 1 2 微 信 号 微 信 号 : f r e e b u f 一 、 引 言 一 、 引 言 单 纯 的 防 御 措 施 无 法 阻 止 蓄 意 的 攻 击 者 ， 这 已 经 是 大 家 都 认 同 的 事 实 ， 应 对 挑 战 单 纯 的 防 御 措 施 无 法 阻 止 蓄 意 的 攻 击 者 ， 这 已 经 是 大 家 都 认 同 的 事 实 ， 应 对 挑 战 业 界 有 了 诸 多 方 面 的 探 索 和 实 践 ， 业 界 有 了 诸 多 方 面 的 探 索 和 实 践 ， 而 其 中 最 有 趣 的 就 非 安 全 分 析 莫 属 了 ， 围 绕 着 安 全 分 析 展 开 ， 我 们 可 以 看 到 大 数 据 、 安 全 智 能 、 情 景 感 知 、 威 胁 情 而 其 中 最 有 趣 的 就 非 安 全 分 析 莫 属 了 ， 围 绕 着 安 全 分 析 展 开 ， 我 们 可 以 看 到 大 数 据 、 安 全 智 能 、 情 景 感 知 、 威 胁 情 报 、 数 据 挖 掘 、 可 视 化 等 等 ， 因 为 这 些 都 是 安 全 分 析 师 手 中 的 武 器 。 报 、 数 据 挖 掘 、 可 视 化 等 等 ， 因 为 这 些 都 是 安 全 分 析 师 手 中 的 武 器 。 下 面 想 针 对 个 人 有 一 定 了 解 的 地 方 ， 具 体 谈 几 个 方 面 ， 每 个 方 面 单 独 成 为 一 篇 ： 1 . 安 全 分 析 的 相 关 背 景 及 理 念 2 . 安 全 分 析 中 的 狩 猎 （ H u n t i n g ） 和 事 件 响 应 3 . 安 全 分 析 与 可 视 化 4 . 安 全 分 析 相 关 技 能 今 年 的 R S A 大 会 主 题 是 “ 变 化 ， 挑 战 当 今 的 安 全 理 念 ” ， 那 么 我 们 开 篇 也 先 谈 谈 理 念 吧 。 二 、 安 全 战 略 思 路 的 变 化 二 、 安 全 战 略 思 路 的 变 化 坏 的 消 息 是 ， 入 侵 总 会 发 生 ， 再 强 的 防 御 也 难 以 做 到 御 敌 于 国 门 之 外 ， 攻 击 者 总 会 进 入 到 你 的 网 络 中 ； 那 么 好 消 息 就 是 入 侵 和 破 环 是 两 回 事 ， 虽 然 也 存 在 入 侵 开 始 到 实 际 损 害 发 生 之 间 时 间 窗 口 很 短 的 情 况 ， 但 是 我 们 也 还 是 看 到 ， 大 多 数 入 侵 如 果 想 达 到 目 的 ， 需 要 较 长 的 时 间 ， 特 别 定 向 攻 击 和 A P T 攻 击 。 那 么 如 果 安 全 团 队 可 以 在 攻 击 者 完 成 使 命 之 前 阻 止 其 活 动 ， 就 可 以 做 到 这 点 ： 我 们 有 可 能 遭 受 入 侵 ， 但 可 能 不 会 遭 遇 破 环 。 据 此 有 效 的 战 略 是 尽 可 能 多 的 进 行 实 时 防 御 ， 来 防 止 入 侵 的 可 能 ， 同 时 配 合 积 极 的 检 测 （ H u n t i n g ） 与 事 件 响 应 来 避 免 出 现 破 环 ， 或 者 最 大 限 度 的 减 少 破 坏 的 影 响 。 由 此 我 们 知 道 ， 传 统 的 安 全 产 品 没 有 过 时 ， 我 们 还 是 需 要 4 A ， 需 要 防 火 墙 、 I D P s 以 及 A V 这 些 不 同 的 产 品 ， 形 成 一 定 的 防 御 纵 深 ， 阻 止 随 机 性 的 攻 击 （ 通 常 追 求 机 会 ， 被 选 中 往 往 是 因 为 展 现 了 易 被 利 用 的 漏 洞 ） ， 并 且 延 缓 攻 击 节 奏 ， 扩 大 检 测 和 响 应 的 时 间 窗 口 。 这 是 一 切 的 基 础 ， 如 果 没 有 这 一 步 ， 后 续 的 检 测 和 响 应 也 就 缺 少 了 根 基 ， 在 现 实 中 无 法 实 施 。 从 这 点 上 说 ， 个 人 也 不 赞 成 将 某 些 针 对 特 定 组 织 的 攻 击 都 归 属 于 A P T 范 围 ， 如 果 它 是 一 些 传 统 的 安 全 措 施 就 可 以 防 范 的 。 这 可 能 误 导 某 些 组 织 ， 在 缺 乏 基 本 防 护 措 施 （ 产 品 、 组 织 、 制 度 等 ） 的 情 况 下 ， 盲 目 的 追 新 求 异 ， 达 不 到 切 实 的 安 全 效 果 。 三 、 以 威 胁 为 中 心 的 安 全 理 念 三 、 以 威 胁 为 中 心 的 安 全 理 念 实 时 防 御 是 以 漏 洞 为 中 心 的 ， 基 于 漏 洞 的 签 名 检 测 机 制 有 着 较 高 的 准 确 性 ， 可 以 用 以 进 行 自 动 化 的 阻 截 。 但 当 基 于 已 知 威 胁 的 签 名 机 制 不 能 检 测 针 对 其 的 高 级 别 威 胁 时 ， 我 们 就 需 要 转 化 思 路 ， 因 此 积 极 的 检 测 和 响 应 则 是 以 威 胁 为 中 心 ， 它 不 再 强 调 单 点 的 检 测 ， 也 不 再 单 纯 的 追 求 告 警 的 精 确 性 ， 它 促 使 你 从 面 上 去 着 手 ， 将 若 干 的 点 关 联 起 来 ， 以 数 据 为 驱 动 来 解 决 问 题 。 在 整 个 过 程 中 （ 数 据 收 集 、 检 测 、 分 析 ） 都 需 要 以 威 胁 为 中 心 ， 如 果 丢 掉 这 个 中 心 点 ， 单 纯 的 追 求 数 据 的 大 而 全 ， 则 必 然
达 不 到 效 果 。 以 威 胁 为 中 心 ， 用 数 据 来 驱 动 安 全 ， 是 检 测 A P T 类 型 威 胁 的 有 效 手 段 。 需 要 强 调 的 是 ， 以 威 胁 为 中 心 聚 焦 在 数 据 收 集 ， 但 并 不 强 调 数 据 的 大 ， 而 是 价 值 的 高 ， 认 为 它 是 一 个 动 态 的 、 周 期 性 的 过 程 ， 随 着 威 胁 的 变 化 ， 以 及 分 析 能 力 的 改 变 ， 数 据 收 集 的 范 围 将 会 产 生 变 化 的 。 四 、 数 据 收 集 四 、 数 据 收 集 古 语 言 “ 磨 刀 不 误 砍 柴 工 ” ， 这 句 谚 语 非 常 适 合 来 描 述 数 据 收 集 的 重 要 性 。 但 如 果 我 们 单 纯 的 强 调 全 量 的 数 据 ， 会 是 什 么 样 子 ？ 通 过 简 单 的 数 据 计 算 ， 我 们 可 以 知 道 监 控 1 G 的 数 据 流 量 ， 如 果 采 用 P C A P 文 件 格 式 存 储 完 整 的 内 容 数 据 ， 那 么 一 天 就 需 要 大 约 1 0 T 的 磁 盘 空 间 。 如 果 我 们 要 保 留 9 0 天 的 数 据 ， 再 考 虑 备 份 、 数 据 索 引 等 需 要 的 空 间 ， 哪 会 是 多 少 ？ 如 果 你 需 要 监 控 的 网 络 流 量 不 止 1 G ， 如 果 还 需 要 考 虑 主 机 及 业 务 应 用 的 日 志 ？ 庞 大 数 据 的 存 储 和 维 护 固 然 是 问 题 ， 还 需 要 考 虑 到 当 盲 目 收 集 数 据 之 后 ， 也 许 这 些 数 据 的 命 运 是 永 远 躺 在 磁 盘 中 ， 仿 佛 从 不 存 在 ， 更 甚 者 还 会 给 后 续 分 析 过 程 带 来 混 乱 、 不 确 定 性 和 低 效 率 。 因 此 明 智 的 问 题 是 “ 我 从 哪 里 获 得 所 需 要 的 数 据 ？ ” ， 而 不 是 “ 我 需 要 对 该 数 据 提 出 什 么 样 的 问 题 ？ ” G a r t n e r 在 《 S e c u r i t y   I n f o r m a t i o n   a n d   E v e n t   M a n a g e m e n t   F u t u r e s   a n d   B i g   D a t a   A n a l y t i c s   f o r   S e c u r i t y 》 一 文 中 也 特 别 的 强 调 “ 分 析 的 意 识 和 探 索 数 据 的 欲 望 ” ， 认 为 这 才 是 大 数 据 安 全 中 最 关 键 的 成 功 标 准 ， 首 先 学 会 问 问 题 ， 而 不 是 盲 目 收 集 数 据 或 者 是 急 于 建 立 一 套 H a d o o p 大 数 据 平 台 。 五 、 数 据 种 类 五 、 数 据 种 类 以 威 胁 为 中 心 进 行 数 据 收 据 ， 自 然 包 括 威 胁 情 报 的 收 集 ， 在 之 前 的 《 小 议 威 胁 情 报 》 中 已 有 涉 及 ， 后 续 有 时 间 也 会 就 如 何 建 立 组 织 的 威 胁 情 报 平 台 整 理 自 己 的 观 点 和 大 家 共 同 讨 论 ， 这 里 不 再 多 言 ， 而 专 注 于 组 织 内 部 的 数 据 收 集 。 企 业 内 部 数 据 一 般 需 要 考 虑 一 下 几 个 种 类 ： 1 . 环 境 业 务 类 数 据 ： 包 括 资 产 及 属 性 （ 业 务 、 服 务 、 漏 洞 、 使 用 者 . . . ） 、 员 工 与 账 号 、 组 织 结 构 等 ， 这 类 数 据 也 会 被 称 环 境 感 知 数 据 、 友 好 类 情 报 等 。 此 类 数 据 往 往 难 以 从 机 器 中 直 接 获 取 ， 但 对 安 全 分 析 会 有 巨 大 的 帮 助 ， 往 往 要 依 赖 安 全 体 系 建 设 而 逐 步 完 善 ； 2 . 网 络 数 据 ： 包 括 F P C （ F u l l   P a c k e t   C a p t u r e ， 一 般 是 P C A P 格 式 ） 、 会 话 或 F l o w 数 据 ， P S T R （ P a c k e t   S t r i n g ， 这 种 数 据 格 式 包 括 指 定 的 协 议 头 部 内 容 ， 如 H T T P 头 数 据 ） 。 P S T R 数 据 大 约 是 F P C 的 4 % 左 右 ， 而 F l o w 数 据 则 是 0 . 0 1 % 。 P S T R 是 大 小 更 容 易 管 理 ， 并 且 允 许 增 强 可 见 性 的 一 种 数 据 类 型 。 3 . 设 备 、 主 机 及 应 用 的 日 志 ： 它 可 以 包 括 诸 如 W e b 代 理 日 志 、 路 由 器 防 火 墙 日 志 、 V P N 日 志 、 w i n d o w s 安 全 及 系 统 日 志 等 ， 不 同 来 源 的 数 据 类 型 在 大 小 和 实 用 价 值 上 都 不 同 。 4 . 报 警 数 据 ： 检 测 工 具 基 于 其 配 置 发 现 异 常 ， 进 而 生 成 的 通 知 就 是 报 警 ， 通 常 的 报 警 数 据 来 自 I D S （ 主 机 或 网 络 ） 、 防 火 墙 、 A V 等 安 全 设 备 。 依 据 环 境 和 配 置 ， 日 志 的 数 据 量 可 以 有 很 大 的 变 化 ， 但 通 常 小 于 P S T R 。
六 、 六 、 A C F 方 法 方 法 那 么 如 何 确 定 需 要 采 集 用 以 进 行 安 全 分 析 的 数 据 呢 ， 这 里 介 绍 一 个 A C F （ A p p l i e d   C o l l e c t i o n   F r a m e w o r k ） 方 法 [ 1 ] ， 它 可 以 帮 助 评 估 哪 些 数 据 应 该 是 收 集 工 作 的 重 点 。 A C F 不 是 一 个 纯 技 术 的 手 段 ， 需 要 安 全 团 队 从 其 他 业 务 部 门 收 集 早 期 的 信 不 是 一 个 纯 技 术 的 手 段 ， 需 要 安 全 团 队 从 其 他 业 务 部 门 收 集 早 期 的 信 息 ， 并 配 合 完 成 整 个 工 作 。 它 由 四 个 阶 段 组 成 ： 定 义 威 胁 、 量 化 风 险 、 确 定 数 据 源 、 筛 选 聚 焦 。 息 ， 并 配 合 完 成 整 个 工 作 。 它 由 四 个 阶 段 组 成 ： 定 义 威 胁 、 量 化 风 险 、 确 定 数 据 源 、 筛 选 聚 焦 。 1 . 定 义 威 胁 ： 定 义 威 胁 ： 这 里 不 是 泛 泛 而 谈 ， 如 竞 争 对 手 、 脚 本 小 子 等 ， 需 要 确 定 针 对 具 体 组 织 的 具 体 威 胁 。 它 应 该 是 “ 发 生 什 么 样 糟 糕 的 事 情 ， 会 影 响 到 组 织 的 生 存 ” 这 样 的 问 题 ， 并 且 答 案 应 该 来 自 领 导 层 或 者 是 被 其 认 可 。 一 旦 关 键 业 务 安 全 需 求 确 定 了 ， 就 需 要 深 入 挖 掘 可 能 的 威 胁 ， 通 过 研 究 网 络 基 础 设 施 及 相 关 的 业 务 流 程 ， 明 确 相 关 研 究 、 生 产 、 存 储 、 加 工 、 访 问 等 相 关 环 节 ， 进 而 明 确 可 能 的 入 侵 及 破 坏 方 法 。 2 . 量 化 风 险 ： 量 化 风 险 ： 一 旦 潜 在 的 威 胁 名 单 确 定 ， 就 需 要 考 虑 优 先 级 ， 一 般 实 现 的 方 式 是 通 过 计 算 威 胁 影 响 和 概 率 的 乘 积 ， 得 到 每 个 潜 在 威 胁 的 风 险 。 虽 然 这 种 方 法 可 以 提 供 和 威 胁 相 关 的 量 化 指 标 ， 但 毕 竟 是 主 观 的 。 为 保 障 评 估 确 实 符 合 实 际 ， 往 往 需 要 一 组 人 来 参 与 量 化 风 险 的 过 程 ， 有 些 机 构 还 会 在 这 个 过 程 中 引 入 第 三 方 的 网 络 渗 透 测 试 人 员 ， 共 同 参 与 完 成 这 个 过 程 。 3 . 确 定 数 据 源 ： 确 定 数 据 源 ： 在 这 个 阶 段 确 定 可 以 提 供 检 测 和 分 析 价 值 的 主 要 数 据 元 ， 从 具 有 最 高 风 险 权 重 的 技 术 威 胁 开 始 ， 考 虑 可 以 从 哪 里 看 到 威 胁 相 应 的 线 索 、 证 据 。 比 如 考 虑 关 键 文 件 服 务 器 的 数 据 泄 露 威 胁 ， 应 该 确 定 服 务 器 的 架 构 、 网 络 位 置 、 具 有 访 问 权 的 用 户 ， 以 及 可 以 获 得 数 据 的 其 它 途 径 。 根 据 这 些 信 息 ， 得 到 相 应 的 数 据 源 清 单 。 4 . 筛 选 聚 焦 ： 筛 选 聚 焦 ： 在 最 后 的 阶 段 你 需 要 选 择 最 需 要 的 数 据 源 ， 这 是 技 术 上 最 深 入 的 步 骤 ， 需 要 评 估 每 个 数 据 源 以 评 估 其 价 值 。 往 往 有 一 些 数 据 源 需 要 很 高 的 存 储 空 间 ， 它 提 供 的 价 值 和 处 理 管 理 的 开 销 相 比 ， 可 能 不 值 得 收 藏 。 组 织 必 须 考 虑 成 本 / 效 益 关 系 ， 从 成 本 的 角 度 看 ， 这 种 分 析 应 该 考 虑 到 硬 件 和 软 件 的 资 源 ， 例 如 维 护 产 生 的 人 员 组 织 成 本 ， 数 据 存 储 资 源 等 。 可 以 评 估 有 问 题 的 数 据 源 在 分 析 过 程 中 可 能 出 现 的 几 率 。 考 虑 需 要 到 类 似 这 样 的 程 度 ： 哪 些 类 型 （ 源 目 的 地 址 、 端 口 协 议 ） 的 P A C P 包 需 要 捕 获 ， 那 种 w i n d o w s 日 志 （ 如 登 录 成 功 、 登 录 失 败 、 账 号 创 建 、 文 件 权 限 变 更 等 ） 是 最 重 要 的 需 要 保 留 。 通 过 这 样 的 方 法 ， 你 可 以 通 过 直 接 和 业 务 目 标 挂 钩 ， 以 及 对 业 务 连 续 性 的 威 胁 来 证 明 需 求 的 合 理 性 ， 这 样 也 可 以 较 大 限 度 保 证 之 后 在 基 础 设 施 建 设 上 的 投 入 。 正 如 之 上 曾 经 提 到 的 ， 威 胁 为 中 心 的 方 法 强 调 周 期 性 的 过 程 ， 需 要 明 白 ， 永 远 不 会 完 成 数 据 收 集 的 工 作 ， 当 你 做 了 更 多 的 检 测 和 分 析 的 工 作 ， 当 网 络 逐 步 扩 展 ， 需 要 重 新 评 估 你 的 收 集 计 划 。 七 、 基 于 威 胁 情 报 和 攻 击 链 的 方 法 七 、 基 于 威 胁 情 报 和 攻 击 链 的 方 法 A C F 虽 然 是 一 个 经 过 实 践 验 证 的 方 法 ， 但 是 也 有 自 身 的 不 足 ， 特 别 是 缺 乏 实 践 经 验 情 况 下 ， 往 往 集 中 在 入 侵 的 后 期 阶 段 相 关 数 据 收 集 ， 存 在 检 测 纵 深 不 足 ， 缺 少 冗 余 的 响 应 时 间 等 风 险 。 这 时 可 以 参 照 一 种 基 于 威 胁 情 报 和 攻 击 链 的 方 法 ， 用 来 验 证 、 完 善 数 据 收 集 计 划 ， 此 方 法 来 源 于 D a v i d   J .   B i a n c o 的 关 于 情 报 驱 动 的 企 业 安 全 监 控 的 讲 演 （ P P T   、 视 频 ） 。 这 种 方 法 大 体 步 骤 如 下 ， 对 更 详 细 内 容 感 兴 趣 的 可 以 去 参 考 他 的 P P T 及 视 频 ： 1 . 以 攻 击 链 为 横 轴 ， 检 测 指 标 （ 参 考 之 前 的 《 小 议 威 胁 情 报 》 ） 为 纵 轴 ， 完 成 对 应 的 表 格 ， 体 现 在 攻 击 的 各 个 阶 段 可 以 利 用 的 相 关 数 据 ； 2 . 基 于 不 同 检 测 指 标 对 黑 客 攻 击 的 影 响 程 度 ， 给 出 评 估 ；
3 . 基 于 有 效 检 测 A P T 类 型 攻 击 而 不 被 大 量 报 警 淹 没 ， 给 出 评 估 （ 参 见 下 图 ） ； 4 . 基 于 现 实 中 可 达 的 工 具 能 够 实 现 ， 给 出 评 估 ； 5 . 综 合 以 上 3 项 评 估 的 数 据 ， 确 定 数 据 收 集 计 划 。 这 种 方 法 也 是 一 种 周 期 性 的 活 动 ， 需 要 根 据 新 的 威 胁 情 报 和 分 析 工 作 的 进 展 而 不 断 修 订 ， 个 人 更 倾 向 于 认 为 它 是 对 A C F 方 法 中 步 骤 3 、 4 的 具 体 化 操 作 指 南 ， A C F 中 的 步 骤 3 对 应 着 这 里 的 步 骤 1 ， 而 A C F 的 步 骤 4 对 应 了 这 里 的 步 骤 2 - 5 。 八 、 小 结 八 、 小 结 大 数 据 安 全 分 析 的 第 一 部 分 内 容 就 写 到 这 里 了 。 我 们 反 思 了 当 前 威 胁 形 式 下 安 全 理 念 的 变 化 ， 我 们 需 要 以 实 时 防 御 为 基 础 的 积 极 检 测 （ H u n t i n g ） 和 响 应 来 避 免 出 现 或 者 缓 解 可 能 的 破 坏 活 动 ， 它 以 威 胁 为 中 心 ， 侧 重 于 数 据 的 收 集 。 在 考 虑 数 据 收 集 计 划 时 ， 我 们 可 以 参 考 A C F 方 法 ， 以 及 基 于 威 胁 情 报 和 攻 击 链 的 方 法 ， 确 定 最 佳 的 成 本 / 效 益 。 完 成 了 初 步 的 数 据 收 集 之 后 ， 就 是 安 全 分 析 师 体 现 风 采 的 时 间 了 ， 我 们 将 在 下 一 篇 文 章 来 讨 论 安 全 分 析 的 具 体 工 作 以 及 相 关 分 析 平 台 产 品 的 话 题 。 *   译 者 / Z e n M i n d ， 转 载 请 注 明 来 自 F r e e B u f 黑 客 与 极 客 （ F r e e B u f . C O M ） 阅 读 原 文

回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver|手机版|小黑屋|Nmaps Club

GMT+8, 2025-1-23 10:28 , Processed in 0.269704 second(s), 29 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表