搜索

[99] 2019-12-02_LangSrcCurise子域名监控系统

文档创建者：s7ckTeam
浏览次数：6
最后更新：2025-01-15
2019-12-02_LangSrcCurise子域名监控系统 L a n g S r c C u r i s e 子 域 名 监 控 系 统 l a n g z i . f u n   A d m i n   T e a m   2 0 1 9 - 1 2 - 0 2 前 言 思 路 参 考 来 自 @ g u i m a i z i 师 傅 的 子 域 名 收 集 与 监 测 V 3 . 0 ， 以 及 D j a n g o 练 习 时 长 两 周 半 完 成 的 一 套 S r c 子 域 名 资 产 检 测 系 统 。 L a n g S r c C u r i s e 资 产 监 控 系 统 是 一 套 通 过 网 络 搜 索 引 擎 监 控 其 下 指 定 域 名 ， 并 且 能 进 行 持 续 性 信 息 收 集 整 理 的 自 动 化 资 产 监 控 管 理 系 统 ， 基 于 D j a n g o 开 发 。 本 项 目 仅 进 行 资 产 持 续 收 集 监 控 ， 无 漏 洞 利 用 、 攻 击 性 行 为 ， 请 使 用 者 遵 守 当 地 相 关 法 律 ， 勿 用 于 非 授 权 测 试 ， 如 本 项 目 仅 进 行 资 产 持 续 收 集 监 控 ， 无 漏 洞 利 用 、 攻 击 性 行 为 ， 请 使 用 者 遵 守 当 地 相 关 法 律 ， 勿 用 于 非 授 权 测 试 ， 如 作 他 用 所 承 受 的 法 律 责 任 一 概 与 作 者 无 关 ， 下 载 使 用 即 代 表 使 用 者 同 意 上 述 观 点 。 作 他 用 所 承 受 的 法 律 责 任 一 概 与 作 者 无 关 ， 下 载 使 用 即 代 表 使 用 者 同 意 上 述 观 点 。 监 控 流 程 通 过 初 始 化 监 控 域 名 列 表 ， 自 动 循 环 执 行 如 下 任 务 ： 1 .   通 过   b a i d u   进 行 子 域 名 采 集 2 .   通 过   b i n g   进 行 子 域 名 采 集 3 .   通 过   s o u g o u   进 行 子 域 名 采 集 4 .   通 过   b a i d u   接 口 进 行 子 域 名 采 集 5 .   通 过   s e r t s h   接 口 进 行 子 域 名 采 集 6 .   通 过   s e c u r i t y t r a i l s   接 口 进 行 子 域 名 采 集 7 .   通 过   s s l 证 书   进 行 子 域 名 采 集 8 .   通 过   子 域 名 爆 破   进 行 子 域 名 采 集 9 .   通 过   对 资 产 网 址 爬 行   进 行 子 域 名 采 集 1 0 .   通 过   域 名 服 务 器   进 行 端 口 扫 描 ， 服 务 探 测 1 1 .   通 过   域 名 服 务 器   进 行 探 测 是 否 部 署 w e b 服 务 1 2 .   通 过   域 名 服 务 器   进 行 其 他 数 据 清 洗 管 理 需 要 环 境 1 .   p y t h o n = = 3 . 6 2 .   m y s q l = = 8 . 0 3 .   n m a p = = 7 . 8 4 .   d j a n g o = = 2 . 1 . 1 安 装 环 境 L i n u x   用 户 依 次 安 装 以 下 服 务 ： 1 .   p y t h o n 3 . 6 2 .   n m a p 3 .   s u d o   p y t h o n 3   - m   p i p   i n s t a l l   - r   r e q u i r e m e n t . t x t 4 .   M y S Q L 8 . 0 注 意 ： 在 注 意 ： 在 l i n u x 下 执 行 任 何 生 成 数 据 库 ， 启 动 任 何 服 务 命 令 前 都 需 要 加 上 下 执 行 任 何 生 成 数 据 库 ， 启 动 任 何 服 务 命 令 前 都 需 要 加 上   s u d o
W i n d o w s   用 户 依 次 执 行 如 下 操 作 ： 1 .   p y t h o n 3 . 6 2 .   n m a p 并 添 加 到 环 境 变 量 3 .   p y t h o n 3   - m   p i p   i n s t a l l   - r   r e q u i r e m e n t . t x t 4 .   M y S Q L 8 . 0 开 始 使 用 开 启 m y s q l 服 务 1 .   第 一 步 先 开 启 m y s q l 服 务 ， 并 且 允 许 用 户 连 接 2 .   设 置 M y S Q L 最 大 连 接 数 为 5 1 2 ， 最 大 插 入 缓 存 数 据 量 为 2 0 0 M 推 荐 m y s q l . i n i 设 置 如 下 ： 配 置 数 据 库 信 息 在 主 目 录 下 的   c o n f i g . i n i   文 件 中 修 改 相 关 m y s q l 登 陆 信 息 并 且 到 s e c u r i t y t r a i l s 注 册 账 号 填 写 自 己 的 A P I 初 始 化 数 据 库 在   L a n g S r c C u r i s e   文 件 夹 下 依 次 执 行 如 下 命 令 ： [ m y s q l ] d e f a u l t - c h a r a c t e r - s e t = u t f 8 [ m y s q l d ] p o r t = 3 3 0 6 c h a r a c t e r - s e t - s e r v e r = u t f 8 d e f a u l t - s t o r a g e - e n g i n e = I n n o D B m a x _ c o n n e c t i o n s = 5 1 2 m a x _ c o n n e c t _ e r r o r s = 1 0 m a x _ a l l o w e d _ p a c k e t   =   2 0 0 M l o g - e r r o r = " E : / p h p s t u d y _ p r o / E x t e n s i o n s / M y S Q L 8 . 0 . 1 2 / e r r o r . l o g " d e f a u l t _ a u t h e n t i c a t i o n _ p l u g i n = m y s q l _ n a t i v e _ p a s s w o r d #   这 里 的 日 志 输 出 自 己 修 改 路 径 [ S e r v e r ] h o s t   =   1 2 7 . 0 . 0 . 1   #   m y s q l 登 陆 的 i p ， l i n u x 下 设 置 为 l o c a l h o s t ， 也 可 以 填 写 服 务 器 远 程 I P p o r t   =   3 3 0 6   #   m y s q l   端 口 u s e r n a m e   =   r o o t p a s s w o r d   =   r o o t d b n a m e   =   L a n g S r c C u r i s e   #   你 要 用 的 数 据 库 名 字 ， 数 据 库 自 动 创 建 [ A P I ] s e c u r i t y t r a i l s   =   P 0 Y 3 0 8 O O 9 q w f 5 j p k 4 7 b L 0 P C J 9 A K s 9 s e X #   h t t p s : / / s e c u r i t y t r a i l s . c o m   注 册
1 .   p y t h o n 3   m a n a g e . p y   m a k e m i g r a t i o n s 2 .   p y t h o n 3   m a n a g e . p y   m i g r a t e 3 .   p y t h o n 3   m a n a g e . p y   c r e a t e s u p e r u s e r   #   按 照 提 示 注 册 生 成 管 理 员 账 号 密 码 若 出 现 d j a n g o . s e s s i o n . t a b l e 相 关 错 误 ， 修 改 s e t t i n g s . p y 中 S E C R E T _ K E Y 值 为 随 机 字 符 串 初 始 化 监 控 域 名 编 辑 域 名 ： 在   i n i t i a l i z e   文 件 夹   编 辑   d o m a i n s . l i s t   文 件 执 行 命 令 ： 在   主 目 录   L a n g S r c C u r i s e   文 件 夹 下 依 次 执 行 如 下 命 令 ： 1 .   p y t h o n 3   m a n a g e . p y   i n i t i a l 完 成 将 监 控 域 名 初 始 化 到 数 据 库 配 置 网 址 过 滤 黑 名 单 其 下 的 网 址 都 会 被 自 动 过 滤 ， 请 勿 修 改 文 件 名 配 置 I P 过 滤 黑 名 单 其 下 的 I P 地 址 都 会 自 动 过 滤 ， 请 勿 修 改 文 件 名 配 置 子 域 名 爆 破 字 典 通 过 连 续 爆 破 1 9 个 S R C 主 域 名 ， 每 个 S R C 测 试 5 9 W 条 子 域 名 字 典 ， 通 过 判 断 存 活 的 子 域 名 的 方 式 过 滤 ， 按 照 重 复 数 量 统 计 前 排 字 典 ， 请 勿 修 改 文 件 名 启 动 服 务 在   L a n g S r c C u r i s e   文 件 夹 下 依 次 执 行 如 下 命 令 ： 1 .   p y t h o n 3   m a n a g e . p y   r u n s e r v e r   0 : 8 8 8 8 添 加 用 户 添 加 的 用 户 可 以 在 前 端 获 取 数 据 ， 并 且 能 够 在 前 端 添 加 查 询 数 据 访 问 网 址 ： h t t p : / / 1 2 7 . 0 . 0 . 1 : 8 8 8 8 / l s r c / A u x i l i a r y / B l a c k _ U r l . l i s t A u x i l i a r y / B l a c k _ I p . l i s t A u x i l i a r y / S u b D o m a i n D i c t . l i s t
可 供 选 项 ： 是 否 拥 有 添 加 资 产 权 限 ： 是 是 否 拥 有 添 加 资 产 权 限 ： 是 / 否 否 如 果 设 置 成 否 ， 则 该 账 号 无 法 在 前 端 添 加 资 产 数 据 。 扫 描 设 置 设 置 扫 描 策 略 ， 线 程 数 进 程 数 以 及 运 行 入 库 状 态 码
这 张 表 只 能 存 在 一 列 数 据 ， 其 中 配 置 方 案 名 称 随 便 填 写 ， 允 许 入 库 状 态 码 即 该 网 址 返 回 的 状 态 码 ， 如 果 符 合 这 个 表 的 内 容 ， 则 保 存 到 数 据 库 ， 实 际 上 是 一 个 过 滤 规 则 ， 注 意 其 中 的 数 据 格 式 参 考 p y t h o n 的 列 表 ， 并 且 是 英 文 输 入 法 下 的 , 和 [ ] 。 比 如 ： 因 为 数 据 任 务 都 是 同 时 在 跑 ， 所 以 比 较 吃 资 源 ， 建 议 线 程 等 数 量 都 设 置 在 4 或 者 以 下 开 启 扫 描 在   L a n g S r c C u r i s e   文 件 夹 下 依 次 执 行 如 下 命 令 ： 1 .   p y t h o n 3   m a n a g e . p y   s t a r t s c a n 如 果 出 现 大 量 的 M y s q l 数 据 库 报 错 ， 关 闭 窗 口 重 新 执 行 上 命 令 需 要 管 理 员 权 限 默 认 不 会 扫 描 网 址 对 应 默 认 不 会 扫 描 网 址 对 应 I P 主 机 的 端 口 服 务 ， 可 以 开 启 但 是 速 度 会 降 低 ， 并 且 目 前 没 有 检 测 主 机 的 端 口 服 务 ， 可 以 开 启 但 是 速 度 会 降 低 ， 并 且 目 前 没 有 检 测 C D N ， 酌 情 处 理 ， 不 建 议 ， 酌 情 处 理 ， 不 建 议 开 启 开 启 如 果 需 要 开 启 端 口 扫 描 ： 取 消 注 释 第 1 1 1 行 和 1 1 2 行 配 置 方 案 ： 随 便 取 个 名 字 允 许 入 库 状 态 码 ： [ 2 0 0 , 3 0 1 , 3 0 2 , 4 0 4 ] c o r e / R u n _ T a s k s . p y
还 能 扫 描 还 能 扫 描 C 段 信 息 ， 取 消 部 分 注 释 就 行 ， 可 以 但 没 必 要 段 信 息 ， 取 消 部 分 注 释 就 行 ， 可 以 但 没 必 要 后 续 如 果 需 要 删 除 所 有 的 数 据 库 ， 然 后 重 新 开 始 扫 描 ， 执 行 如 下 步 骤 ： 1 .   直 接 在 数 据 库 中 删 除 ， 或 者 在 c o n f i g . i n i 将 数 据 库 名 修 改 成 一 个 新 的 名 字 2 .   执 行 命 令   p y t h o n 3   m a n a g e . p y   m a k e m i g r a t i o n s 3 .   执 行 命 令   p y t h o n 3   m a n a g e . p y   m i g r a t e 4 .   执 行 命 令   p y t h o n 3   m a n a g e . p y   c r e a t e s u p e r u s e r   #   按 照 提 示 注 册 生 成 管 理 员 账 号 密 码 前 面 步 骤 设 置 完 毕 后 ， 每 次 如 果 需 要 启 动 ， 可 以 如 下 步 骤 ： 启 动 m y s q l ： s u d o   s e r v i c e   m y s q l   s t a r t 启 动 W E B ： p y t h o n 3   m a n a g e . p y   r u n s e r v e r   0 : 8 8 8 8 启 动 扫 描 程 序 ： p y t h o n 3   m a n a g e . p y   s t a r t s c a n 访 问 地 址 ： h t t p : / / i p : 8 8 8 8   前 台 访 问 地 址 ： h t t p : / / i p : 8 8 8 8 / l s r c   后 台 管 理 建 议 是 每 间 隔 建 议 是 每 间 隔 7 2 小 时 重 启 一 次 扫 描 端 。 小 时 重 启 一 次 扫 描 端 。 部 署 建 议 w e b 端 部 署 在 服 务 器 ， 数 据 可 以 给 小 弟 小 妹 们 用 ， 给 他 们 生 成 几 个 用 户 账 号 。 不 建 议 使 用 服 务 器 扫 描 资 产 不 建 议 使 用 服 务 器 扫 描 资 产 自 己 使 用 超 级 管 理 员 账 号 ， 如 果 只 是 想 要 简 单 的 检 索 数 据 ， 在 后 端 直 接 操 作 搜 索 即 可 ， 还 可 以 导 出 各 种 格 式 的 数 据 文 件 。 在 服 务 器 不 建 议 开 启 扫 描 任 务 ， 开 个 W E B 服 务 和 数 据 库 即 可 ， 本 地 扫 描 端 直 接 连 接 远 程 服 务 器 传 输 数 据 。 L i n u x 安 装 环 境 爬 坑 记 录 （ B y c h i l d @ 0 y e . p w ） 下 载 该 项 目 源 码 安 装 p y t h o n 3 . 6 问 题 解 决 p i p 升 级 问 题 a p t - g e t   u p d a t e g i t   c l o n e     h t t p s : / / g i t h u b . c o m / L a n g z i F u n / L a n g S r c C u r i s e . g i t h t t p s : / / w w w . j i a n s h u . c o m / p / 2 a 5 c d 5 1 9 e 5 8 3 h t t p s : / / b l o g . c s d n . n e t / l a n l u y u g / a r t i c l e / d e t a i l s / 8 2 8 7 8 1 5 2 h t t p : / / w w w . 3 6 0 d o c . c o m / c o n t e n t / 1 7 / 1 1 2 4 / 1 7 / 4 3 4 6 2 4 2 8 _ 7 0 6 7 8 9 3 7 5 . s h t m l
阿 里 云 腾 讯 云 升 级 过 后 还 不 能 安 装 p i p 乌 班 图 安 装 M y S Q L 8 . 0 解 决 中 文 编 码 解 决 s c a p y 安 装 问 题 D j a n g o 连 接 M y S Q L 出 错 M y S Q L 配 置 优 化 M y S Q L 8 . 0 配 置 文 件 目 录 快 速 上 手 后 台 h t t p s : / / w w w . j i a n s h u . c o m / p / d e 7 a 5 b 7 3 4 4 6 5 h t t p s : / / w w w . l i n u x i d c . c o m / L i n u x / 2 0 1 8 - 1 1 / 1 5 5 4 0 8 . h t m h t t p s : / / w w w . j i a n s h u . c o m / p / 4 e 2 0 0 0 9 2 0 3 3 2 h t t p s : / / g i t h u b . c o m / g i a m p a o l o / p s u t i l / i s s u e s / 1 1 4 3 h t t p s : / / w w w . c n b l o g s . c o m / l j d 4 y o u / p / 8 5 9 2 7 6 5 . h t m l h t t p s : / / w w w . c n b l o g s . c o m / l y q 8 6 3 9 8 7 3 2 2 / p / 8 0 7 4 7 4 9 . h t m l h t t p s : / / b l o g . c s d n . n e t / q i n g z h o n g _ h e 2 0 1 0 / a r t i c l e / d e t a i l s / 5 0 7 0 8 1 0 6 h t t p s : / / b l o g . c s d n . n e t / w i n d x x f / a r t i c l e / d e t a i l s / 6 0 4 9 7 1 6 / e t c / m y s q l / m y s q l . c o n f . d h t t p s : / / b l o g . c s d n . n e t / P Y 0 3 1 2 / a r t i c l e / d e t a i l s / 8 9 4 8 1 4 2 1 c d   / v a r / l i b / d p k g / s u d o   m v   i n f o /   i n f o _ b a k s u d o   m k d i r   i n f o                                   #   再 新 建 一 个 新 的 i n f o 文 件 夹 s u d o   a p t - g e t   u p d a t e                           #   更 新 s u d o   a p t - g e t   - f   i n s t a l l                   #   修 复 s u d o   m v   i n f o / *   i n f o _ b a k /                 #   执 行 完 上 一 步 操 作 后 会 在 新 的 i n f o 文 件 夹 下 生 成 一 些 文 件 ， 现 将 这 些 文 件 全 部 移 到 i n f o _ b a k 文 件 夹 下 s u d o   r m   - r f   i n f o                                 #   把 自 己 新 建 的 i n f o 文 件 夹 删 掉 s u d o   m v   i n f o _ b a k   i n f o
管 理 员 检 索 数 据 直 接 在 后 台 搜 索 即 可 ， 支 持 导 出 各 种 格 式 的 数 据 内 容 管 理 员 检 索 数 据 直 接 在 后 台 搜 索 即 可 ， 支 持 导 出 各 种 格 式 的 数 据 内 容 用 户 信 息 表 存 储 用 户 账 号 密 码 口 令 数 据 此 处 的 用 户 只 能 在 前 台 登 陆 进 行 简 单 数 据 查 看 用 户 登 陆 日 志 表 存 储 用 户 登 陆 日 期 与 登 陆 I P 以 及 登 陆 状 态 恶 意 爆 破 记 录 用 户 I P 地 址 数 据 展 示 表 汇 总 所 有 受 监 控 的 子 域 名 全 部 数 据 信 息 存 储 获 取 到 的 子 域 名 资 产 详 细 数 据 用 作 前 台 具 体 展 示 用 作 设 置 是 否 进 行 手 动 挖 掘 漏 洞 标 识
监 控 域 名 表 存 储 要 进 行 监 控 的 域 名 资 产 存 储 域 名 相 对 于 的 企 业 备 案 信 息 存 储 该 域 名 子 域 名 捕 获 数 量 主 机 端 口 表 存 储 子 域 名 对 应 I P 相 关 开 放 端 口 ， 服 务 ， 所 在 地 区 发 现 真 实 I P ， 开 放 服 务 ， 以 及 隐 藏 端 口 下 的 后 台 页 面 资 产
网 址 索 引 表
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理