搜索

[12550] 2018-04-05_Harpoon：OSINT威胁情报工具

文档创建者：s7ckTeam
浏览次数：5
最后更新：2025-01-18
2018-04-05_Harpoon：OSINT威胁情报工具 H a r p o o n ： O S I N T 威 胁 情 报 工 具 s e c i s t   F r e e B u f   2 0 1 8 - 0 4 - 0 5 H a r p o o n 是 一 款 自 动 化 的 用 于 从 各 种 公 开 资 源 中 收 集 威 胁 情 报 的 工 具 。 它 是 由 是 一 款 自 动 化 的 用 于 从 各 种 公 开 资 源 中 收 集 威 胁 情 报 的 工 具 。 它 是 由 P y t h o n   3 编 写 的 ， 并 在 其 设 计 中 编 写 的 ， 并 在 其 设 计 中 体 现 了 模 块 化 思 想 ， 每 个 平 台 和 任 务 都 会 有 一 个 插 件 。 大 家 可 以 在 体 现 了 模 块 化 思 想 ， 每 个 平 台 和 任 务 都 会 有 一 个 插 件 。 大 家 可 以 在 G i t h u b 上 查 看 其 源 码 ， 并 向 作 者 提 出 建 议 或 上 查 看 其 源 码 ， 并 向 作 者 提 出 建 议 或 P u l l   R e q u e s t s 。 。 安 装 和 配 置 ： 接 着 ， 我 们 通 过 查 看 h a r p o o 的 帮 助 模 块 了 解 每 个 模 块 的 使 用 方 法 H a r p o o n   ? 在 过 去 的 一 年 半 里 ， 我 一 直 忙 于 对 多 种 恶 意 软 件 的 威 胁 情 报 收 集 和 分 析 任 务 。 威 胁 情 报 的 主 要 来 源 ， 一 方 面 是 被 动 D N S / 恶 意 软 件 数 据 库 ， 另 一 方 面 是 恶 意 活 动 数 据 库 。 其 目 的 是 映 射 攻 击 的 基 础 架 构 ， 并 在 可 能 的 情 况 下 将 其 与 其 他 恶 意 活 动 相 关 联 。 某 些 威 胁 情 报 平 台 是 完 全 免 费 的 ， 并 且 面 向 所 有 人 开 放 （ 例 如 O T X   或   R o b T e x ） 。 而 有 的 则 是 完 全 商 业 化 的 ， 需 要 收 取 一 定 的 费 用 才 能 使 用 （ 例 如   V i r u s T o t a l   或   P a s s i v e T o t a l ） 。 最 后 不 难 发 现 这 项 任 务 的 大 部 分 时 间 ， 都 花 在 了 在 不 同 平 台 寻 找 信 息 上 。 为 此 ， 许 多 人 试 图 创 建 一 个 平 台 来 集 中 化 收 集 这 些 信 息 。 但 在 研 究 过 程 中 ， 我 们 发 现 总 有 另 一 些 平 台 要 需 要 我 们 考 虑 。 新 标 准 问 题 完 全 适 用 于 威 胁 情 报 （ 新 标 准 问 题 完 全 适 用 于 威 胁 情 报 （ x k c d   9 2 7 ） ） 公 开 资 源 情 报 计 划 （ O S I N T ） 在 另 一 方 面 则 更 加 多 样 化 。 我 们 的 目 标 是 ， 尽 可 能 多 的 向 互 联 网 上 的 个 人 或 组 织 提 供 互 联 网 上 可 公 开 访 问 的 任 何 数 据 信 息 。 当 然 ， 还 有 一 些 有 趣 的 平 台 （ 如 S p y O n W e b ） ， 它 会 从 公 开 资 源 网 站 聚 合 信 息 ， 接 着 进 行 组 织 ， 方 便 用 户 迅 速 和 方 便 地 搜 索 网 站 。 总 而 言 之 ， 大 量 任 务 需 要 我 们 手 动 完 成 ， 并 且 很 糟 糕 。 起 初 ， 我 试 图 创 建 一 些 P y t h o n 脚 本 ， 来 自 动 化 的 帮 我 完 成 一 部 分 任 务 ， 但 它 很 快 就 变 得 一 团 糟 ： 脚 本 越 来 越 多 ， 有 p y t h o n   2 中 的 也 有 p y t h o n   3 的 ， 一 些 使 用 配 置 文 件 ， 还 有 一 些 在 参 数 中 获 取 A P I 密 钥 … 最 终 ， 我 决 定 将 这 些 脚 本 作 为 模 块 组 织 成 一 个 名 为 H a r p o o n 的 工 具 。 用 了 几 个 月 后 ， 我 觉 决 定 将 这 款 工 具 开 源 ， 并 希 望 能 帮 到 大 家 。 关 于 此 工 具 的 一 些 说 明 ：
H a r p o o n 仅 支 持 P y t h o n   3 许 多 O S I N T 工 具 都 尝 试 从 域 或 电 子 邮 件 收 集 尽 可 能 多 的 信 息 ， 而 不 关 心 其 来 源 。 H a r p o o n 并 不 遵 循 这 一 理 念 。 它 主 要 允 许 你 为 每 个 命 令 实 现 单 个 任 务 。 我 认 为 在 调 查 期 间 ， 了 解 信 息 的 来 源 以 及 信 息 的 可 靠 性 非 常 重 要 。 我 重 写 了 一 些 库 （ 如 S p y O n W e b ） ， 因 为 我 想 明 确 地 知 道 它 做 了 什 么 以 及 是 如 何 做 的 。 所 以 我 重 复 造 轮 子 了 很 多 次 ， 并 且 我 感 到 很 满 意 。 H a r p o o n 被 组 织 成 容 易 实 现 的 子 命 令 ， 这 些 命 令 依 赖 于 内 部 或 外 部 库 。 这 些 命 令 使 用 单 个 配 置 文 件 ， 当 需 要 A P I 密 钥 时 需 要 我 们 手 动 完 成 。 该 工 具 仍 有 许 多 不 足 之 处 需 要 改 进 ， 因 此 也 欢 迎 大 家 提 出 建 议 或 P u l l   R e q u e s t s 。 安 装 安 装 我 已 通 过 p i p 打 包 H a r p o o n （ 感 谢 @ c y b e r s t e e z 的 帮 助 ） ， 因 此 大 家 可 以 通 过 p i p   i n s t a l l   g i t + s s h : / / g i t @ g i t h u b . c o m / T e - k / h a r p o o n   — p r o c e s s - d e p e n d e n c y - l i n k s 进 行 安 装 。 打 包 最 大 的 挑 战 就 是 我 写 的 大 多 数 库 都 托 管 在 g i t h u b 而 不 是 P y p i ， 所 以 应 该 在 同 一 时 间 安 装 它 们 。 或 者 ， 你 可 以 在 克 隆 存 储 库 （ p i p   i n s t a l l   - r   r e q u i r e m e n t s . t x t ） 后 安 装 r e q u i r e m e n t s . t x t 中 的 所 有 内 容 。 如 果 你 想 使 用 截 图 模 块 （ 网 站 截 图 ） ， 你 需 要 通 过 n p m 来 安 装 它 ： n p m   i n s t a l l   - g   p h a n t o m j s 现 在 我 们 已 经 安 装 了 H a r p o o n 。 接 着 ， 我 们 需 要 安 装 H a r p o o n 所 需 文 件 并 对 其 进 行 配 置 。 要 安 装 所 需 文 件 （ 目 前 ， 主 要 是   M a x M i n d   G e o I P 数 据 库 ） ， 只 需 运 行 h a r p o o n   c o n f i g   - u 命 令 即 可 。 最 后 ， 我 们 需 要 进 行 相 关 的 配 置 ， 主 要 是 提 供 你 可 以 / 想 要 使 用 的 平 台 的 A P I 密 钥 。 我 们 只 需 运 行 h a r p o o n   c o n f i g ， 它 将 复 制 空 配 置 文 件 并 使 用 v i m 打 开 它 ， 以 便 你 可 以 提 供 给 定 的 密 钥 。 如 果 你 没 有 相 关 密 钥 ， 留 空 即 可 。 你 可 以 使 用 h a r p o o n   c o n f i g   - c 命 令 查 看 配 置 模 块 列 表 。 在 我 当 前 的 系 统 上 ， 显 示 结 果 如 下 ：
H a r p o o n 所 需 的 所 有 文 件 （ 包 括 配 置 文 件 ） 都 安 装 在 ~ / . c o n f i g / h a r p o o n 目 录 中 。 功 能 功 能 在 没 有 列 出 模 块 的 情 况 下 ， 我 很 难 对 这 些 功 能 进 行 描 述 ， 因 为 我 几 乎 为 我 需 要 自 动 执 行 的 每 项 任 务 都 创 建 了 一 个 新 命 令 。 下 面 ， 我 将 通 过 实 例 来 演 示 H a r p o o n 的 用 法 ： 威 胁 情 报 平 台 ： 威 胁 情 报 平 台 ：   V i r u s   T o t a l ,   P a s s i v e   T o t a l ,   H y b r i d   A n a l y s i s ,   A l i e n V a u l t   O T X ,   S h o d a n ,   C e n s y s ,   R o b T e x ,   T h r e a t G r i d ,   G r e y N o i s e ,     T o t a l H a s h ,   M I S P ,   M a l S h a r e ： 最 重 要 的 是 ， 我 已 经 实 现 了 一 些 更 高 级 的 命 令 ， 来 从 所 有 这 些 平 台 上 通 过 i p 和 域 名 收 集 信 息 。 这 些 命 令 会 从 所 有 配 置 的 插 件 中 搜 索 相 关 信 息 ：
网 络 信 息 ： 网 络 信 息 ： i p ， d n s 和 a s n 命 令 会 提 供 相 关 I P ， 域 或 A S N 码 （ 位 置 ， D N S 解 析 或 A S N 信 息 ） 的 基 本 信 息 。 社 交 媒 体 ： 社 交 媒 体 ： 快 速 保 存 社 交 媒 体 账 户 中 的 所 有 内 容 是 非 常 有 必 要 的 ， 网 站 截 图 的 功 能 在 这 就 非 常 适 用 。 目 前 仅 T w i t t e r 和 T e l e g r a m 存 在 ： 短 网 址 服 务 ： 短 网 址 服 务 ： 为 了 尽 可 能 多 的 从 A P I 获 取 数 据 ， 我 也 通 过 命 令 实 现 了 b i t . l y 和 g o o . g l 的 短 网 址 服 务 ：
我 还 实 现 了 其 他 一 些 命 令 ， 例 如 ， 有 一 个 命 令 让 g i t h u b 在 g i t h u b   r e p o s 中 搜 索 ， 或 者 通 过 p g p 来 搜 索 密 钥 。 我 特 别 喜 欢 的 一 个 命 令 是 ， 用 于 检 查 不 同 缓 存 平 台 中 是 否 存 在 网 页 的 c a c h e 命 令 。 最 后 ， 我 们 还 可 以 通 过 h e l p 命 令 来 查 看 其 它 命 令 的 使 用 方 法 ：
h a r p o o n t o o l s 在 使 用 过 程 中 ， 我 发 现 我 经 常 会 重 复 使 用 一 些 命 令 。 所 以 我 创 建 了 一 个 存 储 库 h a r p o o n t o o l s ， 它 使 用 H a r p o o n 功 能 来 安 装 命 令 。 你 可 以 通 过 p i p   i n s t a l l   g i t + s s h : / / g i t @ g i t h u b . c o m / T e - k / h a r p o o n t o o l s 安 装 它 。 现 在 我 只 实 现 了 i p i n f o ， a s n i n f o 和 d n s ： 示 例 示 例 我 们 以 最 近 的 P a l o   A l t o 关 于 Q u a s a r   R A T 的 报 告 和 a k a m a i c d n [ . ] r u 域 为 例 。 首 先 ， 我 们 来 检 查 下 D N S 情 况 : 没 有 条 目 被 配 置 ， 让 我 们 看 看 是 否 可 以 使 用 r o b t e x ， 来 获 取 到 其 它 以 前 使 用 的 I P ： 查 看 这 些 I P 的 所 属 地 区 ： 我 们 可 以 使 用 c r t . s h 检 查 该 域 是 否 创 建 了 证 书 ：
显 然 他 们 使 用 的 是 C l o u d f a r e 托 管 该 域 名 。 让 我 们 通 过 O T X 看 看 ， 是 否 可 以 获 取 到 1 9 4 . 8 5 . 6 1 . 7 6 这 个 I P 地 址 的 其 它 信 息 ：
创 建 新 命 令 创 建 新 命 令 H a r p o o n 是 一 款 基 于 插 件 的 工 具 ， 因 此 只 需 创 建 新 插 件 就 可 以 轻 松 添 加 新 的 功 能 。 你 只 需 在 h a r p o o n / c o m m a n d s 中 创 建 一 个 新 文 件 ， 并 实 现 一 个 类 继 承 C o m m a n d 类 。 假 设 我 们 想 实 现 一 个 p i n g 命 令 ， 我 们 可 以 创 建 下 面 的 p i n g . p y 文 件 ：
最 后 ， 欢 迎 大 家 随 时 向 我 提 出 意 见 或 建 议 ， 也 可 通 过 T w i t t e r 与 我 取 得 联 系 。 在 这 里 我 要 特 别 感 谢 S t a r c a t 对 博 客 文 章 的 反 馈 ！ * 参 考 来 源 ： r a n d h o m e ， F B 小 编   s e c i s t   编 译 ， 转 载 请 注 明 来 自 F r e e B u f . C O M 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理