搜索

[12795] 2018-06-06_自己动手打造Github代码泄露监控工具

文档创建者：s7ckTeam
浏览次数：4
最后更新：2025-01-18
2018-06-06_自己动手打造Github代码泄露监控工具 自 己 动 手 打 造 G i t h u b 代 码 泄 露 监 控 工 具 z t e n c m c p   F r e e B u f   2 0 1 8 - 0 6 - 0 6 0 x 0 0   背 景 背 景 众 说 周 知 ， 众 说 周 知 ， G i t h u b 这 块 肥 肉 很 受 安 全 人 员 和 黑 客 关 注 。 因 为 很 多 新 进 程 序 猿 和 老 手 不 经 意 就 会 把 他 们 的 劳 动 成 果 分 享 出 来 ， 而 往 往 这 种 开 源 精 神 ， 奉 献 精 神 会 对 企 业 带 来 一 定 的 安 全 风 这 块 肥 肉 很 受 安 全 人 员 和 黑 客 关 注 。 因 为 很 多 新 进 程 序 猿 和 老 手 不 经 意 就 会 把 他 们 的 劳 动 成 果 分 享 出 来 ， 而 往 往 这 种 开 源 精 神 ， 奉 献 精 神 会 对 企 业 带 来 一 定 的 安 全 风 险 。 险 。 例 如 代 码 里 面 包 含 各 种 敏 感 信 息 （ 用 户 名 、 密 码 、 数 据 库 信 息 、 内 网 I P , 甚 至 程 序 猿 的 身 高 、 体 重 、 年 龄 和 婚 姻 状 况 。 哈 哈 ） ， 所 以 G i t h u b 信 息 泄 露 监 控 就 不 得 不 亮 剑 。 另 外 也 是 小 弟 所 在 的 企 业 被 第 三 方 找 出 有 敏 感 信 息 泄 露 ， 囧 ， 本 来 打 算 自 己 找 些 开 源 工 具 。 看 了 些 开 源 工 具 ， 都 不 太 适 合 ， 所 以 就 有 了 这 篇 自 己 动 手 打 造 G i t h u b 代 码 泄 露 监 控 工 具 。 0 x 0 1   撸 起 袖 子 开 干 撸 起 袖 子 开 干 人 生 苦 短 ， 我 用 P y t h o n ! P y t h o n 强 大 的 库 、 简 洁 语 言 以 及 开 发 迅 速 等 特 点 ， 深 受 广 大 程 序 开 发 者 喜 爱 。 那 么 我 们 就 用 P y t h o n 来 开 发 吧 ！ 原 理 及 步 骤 原 理 及 步 骤 我 们 知 道 G i t h u b 并 未 开 放 查 询 搜 索 的 A P I , 那 么 我 们 只 能 通 过 爬 虫 来 爬 取 页 面 ， 然 后 通 过 解 析 器 对 返 回 的 内 容 解 析 ， 从 而 获 取 到 我 们 想 要 的 信 息 。 具 体 步 骤 如 下 ： 1 . 登 陆 G i t h u b ; 2 . 查 询 关 键 词 结 果 呈 现 ； 3 . 邮 件 预 警 ； 4 . 配 置 文 件 读 取 。 开 发 环 境 及 用 到 的 开 发 环 境 及 用 到 的 P y t h o n 库 库 开 发 环 境 为 ： M a c O S 1 0 . 1 2 . 6 ,   P y t h o n 版 本 3 . 6 . 5 P y t h o n 库 ： r e q u e s t s , l x m l , c s v , t q d m , e m a i l , s m t p l i b , c o n f i g p a r s e r , t i m e 请 看 官 老 爷 们 去 了 解 以 上 P y t h o n 库 的 用 法 ， 这 里 不 再 赘 述 。 0 x 0 2   步 骤 解 析 步 骤 解 析 1 . 登 陆 登 陆 G i t h u b 登 陆 这 里 设 置 了 一 个 坑 ， 登 陆 h t t p s : / / g i t h u b . c o m / l o g i n 会 跳 转 到 h t t p s : / / g i t h u b . c o m / s e s s i o n ， 然 后 提 交 请 求 主 体 。 而 主 体 包 含 了 如 下 参 数 ： “ c o m m i t = S i g n + i n & u t f 8 = % E 2 % 9 C % 9 3 & a u t h e n t i c i t y _ t o k e n = s C l U k e a 9 k 0 G J % 2 B T V R K R Y s v L K P G P f L D k n M W V S d % 2 F y W v y G A R 9 Z z 0 9 b i p e s v X U o 8 N D 2 8 7 0 Q 2 F E V s Q W F K S c y q t V 0 w 1 P A % 3 D % 3 D & l o g i n = Y o u r U s e r n a m e & p a s s w o r d = Y o u r P a s s w o r d ” c o m m i t 、 u f t 8 、 l o g i n 和 p a s s w o r d 值 相 对 来 说 是 固 定 的 ， 我 们 要 做 到 工 具 登 陆 ， 那 么 需 要 获 取 到 a u t h e n t i c i t y _ t o k e n 这 个 值 ， 然 后 一 起 通 过 P O S T 方 法 提 交 。 那 应 该 如 何 获 取 该 值 呢 ？ 我 们 打 开 浏 览 器 尝 试 手 动 正 常 登 陆 ， 同 时 按 F 1 2 打 开 “ 开 发 者 工 具 ” ， 输 入 用 户 名 和 密 码 可 以 看 到 跳 转 到 h t t p s : / / g i t h u b . c o m / s e s s i o n ， 而 a u t h e n t i c i t y _ t o k e n 的 值 就 在 如 下 图 位 置 ： 虽 然 是 隐 藏 的 ， 但 是 我 们 可 以 通 过 X p a t h 来 获 取 它 ， 然 后 跟 其 他 参 数 一 起 提 交 登 陆 G i t h u b 。 看 代 码 ：
2 . 查 询 关 键 词 及 结 果 呈 现 查 询 关 键 词 及 结 果 呈 现 登 陆 后 请 求 查 询 的 U R L , 然 后 获 取 响 应 的 页 面 ， 使 用 x p a t h 解 析 节 点 获 取 想 要 的 信 息 。 关 于 x p a t h 的 语 法 请 看 这 里 h t t p : / / w w w . r u n o o b . c o m / x p a t h / x p a t h - t u t o r i a l . h t m l 我 们 还 要 将 获 取 的 信 息 写 入 表 格 里 面 ， 便 于 以 后 查 看 。 详 情 如 下 ： 以 上 代 码 的 核 心 主 要 是 采 用 x p a t h 解 析 D O M 树 ， 然 后 根 据 需 要 的 数 据 逐 一 获 取 然 后 写 入 表 格 中 。 最 后 请 求 r a w . g i t h u b u s e r c o n t e n t . c o m 来 获 取 源 代 码 ， 根 据 用 户 提 供 的 p a y l o a d 进 行 逐 一 匹 配 ， 如 果 匹 配 则 记 录 p a y l o a d 、 U R L 以 及 代 码 ， 然 后 发 送 邮 件 预 警 。 3 . 邮 件 预 警 邮 件 预 警 其 实 邮 件 发 送 部 分 不 是 工 具 的 重 点 ， 但 是 还 是 有 必 要 贴 上 代 码 部 分 。 请 看 ：
4 . 配 置 文 件 读 取 配 置 文 件 读 取 我 们 将 创 建 一 个 . i n i 的 文 件 ， 便 于 工 具 读 取 我 们 想 要 传 入 工 具 的 关 键 词 、 用 户 名 、 密 码 以 及 p a y l o a d 等 等 。 i n i 配 置 文 件 定 义 如 下 ： 然 后 我 们 在 m a i n 函 数 中 读 取 它 们 ， 然 后 传 入 工 具 中 。 以 上 代 码 中 存 在 另 外 一 个 s e n d _ m a i l 函 数 ， 同 样 是 发 送 邮 件 的 功 能 跟 s e n d _ w a r n i n g 功 能 一 样 ， 只 是 发 送 的 内 容 不 一 样 。 这 里 不 再 赘 述 。 这 样 我 们 就 完 成 了 整 个 工 具 的 核 心 部 分 。 怎 么 样 ？ 对 于 老 司 机 来 说 很 简 单 吧 ！ 0 x 0 3   监 控 效 果 监 控 效 果 1 .   运 行 效 果 运 行 效 果
2 .   邮 件 预 警 邮 件 预 警 0 x 0 4   总 结 总 结 该 工 具 的 特 点 在 于 它 会 先 使 用 主 关 键 词 进 行 搜 索 ， 比 如 公 司 域 名 、 邮 箱 、 人 员 姓 名 等 等 。 然 后 再 从 结 果 中 去 搜 索 使 用 者 自 定 义 的 p a y l o a d , 如 P a s s w o r d , U s e r , D a t a b a s e 等 等 。 另 外 配 合 c r o n t a b 可 以 做 到 每 天 进 行 搜 索 然 后 进 行 预 警 ， 但 是 建 议 每 天 运 行 2 次 ， 以 防 触 发 G i t h u b 的 反 爬 机 制 。 其 实 写 工 具 并 不 难 ， 多 思 考 ， 多 练 习 ， 人 人 都 是 开 发 大 佬 。 最 后 感 谢 @ 0 x b u g 大 佬 的 H a w k e y e 带 来 的 灵 感 和 参 考 。 最 后 完 整 代 码 参 考 h t t p s : / / g i t h u b . c o m / H e l l 0 W 0 r l d 0 / G i t h u b - H u n t e r 。 各 位 大 佬 请 轻 拍 ！ 谢 谢 ！ * 本 文 作 者 ： z t e n c m c p ， 转 载 请 注 明 来 自 F r e e B u f . C O M 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理