搜索

[11962] 2017-11-02_如何有效收集公开来源的威胁情报

文档创建者：s7ckTeam
浏览次数：10
最后更新：2025-01-18
2017-11-02_如何有效收集公开来源的威胁情报 如 何 有 效 收 集 公 开 来 源 的 威 胁 情 报 s c u - i g r o u p   F r e e B u f   2 0 1 7 - 1 1 - 0 2 * 本 文 原 创 作 者 ： s c u - i g r o u p ， 本 文 属 F r e e B u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 一 、 前 言 一 、 前 言 威 胁 情 报 作 为 信 息 安 全 领 域 一 个 正 在 茁 壮 成 长 的 分 支 ， 在 当 下 依 旧 处 于 混 浊 状 态 。 即 网 络 中 存 在 着 大 量 的 所 威 胁 情 报 作 为 信 息 安 全 领 域 一 个 正 在 茁 壮 成 长 的 分 支 ， 在 当 下 依 旧 处 于 混 浊 状 态 。 即 网 络 中 存 在 着 大 量 的 所 谓 谓 “ 情 报 情 报 ” ， 它 们 的 结 构 不 同 、 关 注 方 向 不 同 、 可 信 度 不 同 、 情 报 内 容 不 同 、 情 报 的 来 源 也 是 千 奇 百 怪 。 这 使 得 ， 它 们 的 结 构 不 同 、 关 注 方 向 不 同 、 可 信 度 不 同 、 情 报 内 容 不 同 、 情 报 的 来 源 也 是 千 奇 百 怪 。 这 使 得 威 胁 情 报 在 实 际 的 运 用 中 面 临 许 多 问 题 ， 而 这 其 中 的 关 键 问 题 在 于 ， 在 现 阶 段 无 法 统 一 有 效 的 提 取 出 威 胁 情 报 威 胁 情 报 在 实 际 的 运 用 中 面 临 许 多 问 题 ， 而 这 其 中 的 关 键 问 题 在 于 ， 在 现 阶 段 无 法 统 一 有 效 的 提 取 出 威 胁 情 报 中 能 够 应 用 的 关 键 信 息 。 中 能 够 应 用 的 关 键 信 息 。 为 了 在 一 定 程 度 上 解 决 这 一 问 题 ， 我 们 做 了 一 点 微 小 的 工 作 ， 通 过 爬 取 网 上 已 经 公 开 的 威 胁 情 报 内 容 ， 提 取 其 中 的 域 名 、 U R L 、 I P 等 数 据 ， 作 为 威 胁 情 报 库 的 基 础 数 据 。 由 此 可 以 看 出 ， 威 胁 情 报 库 的 丰 富 ， 在 于 情 报 来 源 的 丰 富 ， 也 在 于 对 威 胁 情 报 内 容 的 有 效 提 取 。 二 、 来 源 二 、 来 源 我 们 关 注 的 是 威 胁 情 报 中 的 域 名 、 U R L 、 I P 等 数 据 ， 这 些 数 据 的 来 源 主 要 有 两 类 。 一 、 开 源 的 黑 名 单 ， 在 网 上 有 大 量 的 开 源 黑 名 单 F i r e H O L 、 s a n s . e d u 等 。 这 些 黑 名 单 更 新 迅 速 、 可 信 度 高 ， 是 我 们 所 关 注 的 信 息 的 一 个 很 好 的 来 源 。 且 十 分 容 易 处 理 。 二 、 安 全 咨 询 类 网 站 上 的 文 章 ， 在 这 些 文 章 中 往 往 包 含 了 很 多 的 特 定 主 题 下 的 I o C 信 息 ， 这 些 信 息 具 有 针 对 性 强 的 特 点 ， 即 一 个 I P 或 域 名 可 以 对 应 到 某 一 具 体 的 事 件 。 这 也 是 威 胁 情 报 收 集 中 非 常 重 要 的 一 类 来 源 ， 但 其 最 大 的 问 题 是 这 些 信 息 一 般 都 在 文 章 中 出 现 ， 其 间 夹 杂 了 大 量 的 冗 余 信 息 ， 使 得 提 取 这 些 数 据 具 有 一 定 的 困 难 。 关 于 来 源 ， 我 们 正 努 力 搜 集 其 他 的 威 胁 情 报 来 源 。 因 为 收 集 的 情 报 越 全 面 ， 越 能 发 挥 威 胁 情 报 的 作 用 。 目 前 在 这 一 领 域 的 先 驱 者 国 内 有 3 6 0 威 胁 情 报 中 心 和 微 步 在 线 。 三 、 开 源 黑 名 单 获 取 脚 本 三 、 开 源 黑 名 单 获 取 脚 本 现 有 的 来 源 主 要 是 一 些 网 站 ， 针 对 这 些 来 源 ， 想 要 自 动 化 的 提 取 信 息 最 有 效 的 办 法 是 爬 虫 。 下 面 介 绍 我 们 编 写 的 其 中 的 一 个 主 要 爬 虫 脚 本 ， 该 脚 本 主 要 爬 取 F i r e H O L 网 站 上 的 I P 黑 名 单 。 其 使 用 到 的 p y t h o n 库 如 上 图 所 示 。 该 爬 虫 主 要 分 为 三 个 步 骤 。 第 一 步 获 取 基 础 页 面 中 的 文 件 链 接 ， 这 一 步 中 主 要 的 难 点 在 于 解 析 下 载 到 的 H T M L 文 件 ， 在 本 例 中 ， 使 用 u r l l i b 2 包 拿 到 的 H T M L 文 件 中 并 不 包 含 所 需 信 息 ， 通 过 抓 包 发 现 在 一 个 请 求 的 J S O N 文 件 中 。 因 此 只 要 直 接 获 取 该 J S O N 文 件 就 可 以 得 到 想 要 的 文 件 的 下 载 链 接 。 其 代 码 如 下 。
其 得 到 的 文 件 如 下 图 所 示 。 将 该 j s o n 文 件 解 析 后 就 能 得 到 想 要 的 文 件 链 接 。 在 获 取 到 了 具 体 文 件 的 下 载 链 接 后 ， 就 可 以 通 过 如 下 代 码 进 行 第 二 步 ， 使 用 多 线 程 的 方 式 迅 速 的 将 存 有 I P 、 域 名 的 文 件 取 回 。 所 以 在 爬 虫 运 行 时 会 生 成 大 量 的 h t m l 文 件 。 第 三 步 ， 依 据 文 件 中 的 数 据 类 别 ， 分 别 将 这 些 文 件 中 的 内 容 存 入 到 数 据 库 中 。 按 照 数 据 种 类 的 不 同 ， 存 储 在 3 张 表 中 ， 分 别 是 U R L 、 I P 、 域 名 的 表 ， 给 不 同 的 来 源 建 立 一 个 索 引 ， 高 效 的 存 储 在 数 据 库 中 。 其 中 有 U R L 2 4 6 0 1 条 、 I P 1 1 6 3 4 8 1 条 、 域 名 5 4 2 6 5 条 。 并 且 随 着 我 们 工 作 的 开 展 ， 这 个 数 据 库 中 的 内 容 会 越 来 越 多 。
除 了 以 上 提 到 的 这 个 网 站 外 ， 我 们 还 收 集 了 其 余 的 2 0 多 个 网 站 ， 并 在 不 断 地 添 加 过 程 中 ， 详 情 请 访 问 我 们 的 G i t h u b ， 来 源 和 相 关 代 码 都 已 上 传 。 四 、 从 文 章 中 提 取 四 、 从 文 章 中 提 取 I o C 信 息 信 息 从 文 章 中 提 取 I o C 信 息 是 我 们 关 注 的 数 据 （ 恶 意 I P 、 恶 意 U R L 、 恶 意 域 名 ） 的 另 一 个 来 源 。 从 文 章 中 提 取 的 I o C 信 息 比 起 开 源 黑 名 单 中 的 数 据 来 说 有 一 大 优 势 ， 就 是 每 一 个 I o C 信 息 都 可 以 对 应 到 具 体 的 事 件 ， 而 这 些 事 件 往 往 都 是 通 过 安 全 人 员 分 析 的 具 有 高 可 信 度 的 一 类 信 息 。 所 以 这 类 信 息 比 起 开 源 黑 名 单 中 的 数 据 来 说 具 有 更 高 的 价 值 。 另 外 ， 这 些 网 站 的 文 章 中 往 往 还 有 别 的 类 似 网 站 的 链 接 ， 还 可 以 通 过 这 些 链 接 中 寻 找 新 的 来 源 。 在 这 里 展 示 其 中 一 个 例 子 ， b a d c y b e r . c o m 是 国 外 一 个 信 息 安 全 类 咨 询 网 站 ， 会 每 周 定 期 地 发 布 一 些 有 关 信 息 安 全 的 文 章 。 通 过 筛 选 这 些 文 章 ， 可 以 发 现 威 胁 情 报 类 的 事 件 咨 询 ， 并 提 取 出 用 的 I o C 信 息 和 新 的 I o C 来 源 。 如 下 图 所 示 即 是 爬 取 的 b a d c y b e r 中 发 布 的 信 息 安 全 咨 询 类 文 章 的 题 目 和 链 接 。 从 这 些 咨 询 类 文 章 中 筛 选 出 威 胁 情 报 类 文 章 ， 一 个 篇 是 否 是 我 们 需 要 的 威 胁 情 报 类 文 章 ， 主 要 看 该 文 章 中 是 否 有 I o C 信 息 ， 有 则 提 取 出 来 放 到 数 据 库 中 。 下 图 展 示 的 是 从 这 些 文 章 中 提 取 的 I o C 信 息 。 包 括 ， 文 章 链 接 、 文 章 中 出 现 的 I o C 信 息 、 时 间 。
五 、 一 个 小 例 子 五 、 一 个 小 例 子 在 获 取 了 这 么 多 的 数 据 之 后 ， 这 里 给 出 一 个 使 用 这 些 数 据 的 小 例 子 。 在 W i n d o w s 和 L i n u x 中 分 别 使 用 w i n p c a p 库 和 l i b p c a p 库 用 C 语 言 编 写 一 个 捕 获 D N S 包 的 小 程 序 D N S _ S n i f f e r ， 该 程 序 可 以 抓 取 电 脑 中 发 起 的 域 名 请 求 ， 并 将 这 些 请 求 存 到 文 件 中 ， 并 通 过 程 序 自 动 比 对 这 些 域 名 请 求 是 否 在 威 胁 情 报 库 中 。 其 大 致 流 程 如 下 图 所 示 。 把 捕 获 到 的 数 据 存 储 在 一 个 如 下 图 所 示 的 文 件 中 。
然 后 利 用 p y t h o n 脚 本 r e q u e s t . p y 查 询 这 些 域 名 ， 判 断 其 中 是 否 有 恶 意 行 为 。 如 果 发 现 有 恶 意 行 为 结 果 如 下 图 所 示 。 六 、 结 语 六 、 结 语 威 胁 情 报 的 收 集 是 一 项 非 常 复 杂 且 庞 大 的 工 程 ， 特 别 是 威 胁 情 报 来 源 丰 富 ， 内 容 结 构 不 一 致 ， 给 收 集 工 作 带 来 不 小 的 挑 战 。 但 这 也 是 非 常 值 得 研 究 的 问 题 ， 不 少 企 业 已 在 威 胁 情 报 的 自 动 采 集 、 提 取 和 威 胁 情 报 信 息 的 标 准 化 上 做 了 不 少 的 工 作 ， 我 们 也 将 朝 这 个 方 向 继 续 努 力 。 在 此 ， 希 望 通 过 我 们 所 做 的 一 点 微 小 的 工 作 抛 砖 引 玉 ，   欢 迎 大 家 一 起 讨 论 。 详 情 见 : h t t p s : / / g i t h u b . c o m / s c u - i g r o u p / T i _ C o l l e c t o r * 本 文 原 创 作 者 ： s c u - i g r o u p ， 本 文 属 F r e e B u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理