搜索

[14165] 2019-05-29_Superl-url：一款开源关键词URL采集工具

文档创建者：s7ckTeam
浏览次数：5
最后更新：2025-01-18
2019-05-29_Superl-url：一款开源关键词URL采集工具 S u p e r l - u r l ： 一 款 开 源 关 键 词 U R L 采 集 工 具 s u p e r l   F r e e B u f   2 0 1 9 - 0 5 - 2 9 s u p e r l - u r l 是 一 款 开 源 的 ， 并 且 功 能 强 大 的 关 键 词 是 一 款 开 源 的 ， 并 且 功 能 强 大 的 关 键 词 U R L 采 集 工 具 ， 可 以 根 据 关 键 词 ， 对 搜 索 引 擎 内 容 检 索 结 果 的 网 址 内 容 进 行 采 集 。 采 集 工 具 ， 可 以 根 据 关 键 词 ， 对 搜 索 引 擎 内 容 检 索 结 果 的 网 址 内 容 进 行 采 集 。     程 序 主 要 运 用 于 安 全 渗 透 测 试 项 目 ， 以 及 批 量 评 估 各 类 C M S 系 统 0 D A Y 的 影 响 程 度 ， 同 时 也 是 批 量 采 集 自 己 获 取 感 兴 趣 的 网 站 的 一 个 小 程 序 ~ ~ 本 来 几 年 前 就 写 好 了 ， 没 什 么 技 术 含 量 ， 没 想 到 小 伙 伴 的 使 用 需 求 还 蛮 大 的 ， 不 敢 私 藏 ~ ~     立 了 f l a g ， g i t 的 s t a r 过 2 0 0 就 一 定 抽 时 间 去 升 级 ， 这 个 f l a g 已 经 实 现 ， 目 前 已 经 是 4 . 0 版 本 ~ ~     更 新 后 就 在 这 里 发 出 来 了 。 优 势 介 绍 优 势 介 绍 1 . 支 持 多 搜 索 引 擎 ， 很 方 便 添 加 集 成 。 ( 已 内 置 了 百 度 ， 搜 狗 ， 3 6 0 ) , 结 构 模 块 化 ， 很 方 便 进 行 扩 展 ， 可 以 无 限 添 加 。 2 . 开 源 ， 跨 平 台 ， 使 用 p y t h o n 开 发 ； 3 . 做 了 兼 容 性 优 化 ， 同 时 支 持 p y t h o n 2 和 p y t h o n 3 ； 4 . 支 持 自 动 过 滤 重 复 内 容 ， 支 持 过 滤 标 题 中 存 在 指 定 关 键 词 的 内 容 ， 支 持 过 滤 域 名 ； 5 . 保 存 方 式 同 时 支 持 本 地 t x t 和 m y s q l 数 据 库 ； 6 . 从 搜 索 引 擎 采 集 到 的 地 址 ， 是 真 实 网 站 地 址 ， 不 是 像 百 度 快 照 那 样 的 三 方 地 址 ； 7 . 多 进 程 同 时 采 集 。 每 个 搜 索 引 擎 都 单 独 一 个 进 程 ； 8 . 可 灵 活 的 通 过 配 置 文 件 自 定 义 要 保 存 的 结 果 格 式 。 比 如 只 输 出 带 参 数 的 原 始 真 实 U R L ， 或 者 只 输 出 域 名 ， 或 者 同 时 输 出 标 题 ， 搜 索 引 擎 名 称 。 9 . 可 自 定 义 每 页 采 集 时 间 间 隔 ， 防 止 被 屏 蔽 ； 运 行 效 果 运 行 效 果
使 用 说 明 使 用 说 明 1 . 安 装 p y t h o n 2 或 者 p y t h o n 3 运 行 环 境 ； 2 . 如 果 提 示 没 有 找 到 库 ， 则 需 要 安 装 依 赖 ： 如 果 是 p y t h o n 3 ， 则 ： 如 果 是 P y t h o n 2 ， 则 ： 3 . 根 据 自 己 的 需 要 ， 修 改 根 目 录 下 的 c o n f i g . c f g 配 置 文 件 。   配 置 文 件 说 明 配 置 文 件 说 明 节 点 节 点 参 数 参 数 示 例 值 示 例 值 说 明 说 明 g l o b a l s a v e _ t y p e m y s q l 保 存 类 型 ， 可 选 择 f i l e 或 者 m y s q l ， 如 果 是 f i l e 则 保 存 为 本 地 t x t g l o b a l s l e e p _ t i m e 1 每 次 搜 索 处 理 完 一 页 后 的 等 待 时 间 ， 防 止 太 频 繁 被 搜 索 引 擎 屏 蔽 u r l u r l _ t y p e r e a l u r l 保 存 文 件 t x t 里 面 显 示 的 u r l 类 型 。 r e a l u r l = 真 实 网 站 地 址 ， b a s e u r l = 原 始 搜 索 引 擎 地 址 ， u r l p a r a m = 带 参 数 的 真 实 网 站 地 址 f i l t e r f i l t e r _ s t a t u s T r u e 是 否 开 启 过 滤 器 ， 如 果 开 启 ， 则 过 滤 域 名 和 标 题 都 不 生 效 f i l t e r f i l t e r _ d o m a i n T r u e 是 否 过 滤 域 名 f i l t e r f i l t e r _ t i t l e T r u e 是 否 过 滤 标 题 l o g w r i t e _ t i t l e T r u e 是 否 显 示 标 题 l o g w r i t e _ n a m e T r u e 是 否 显 示 搜 索 引 擎 名 称 e n g i n e b a i d u T r u e 百 度 搜 索 引 擎 模 块 是 否 开 启 e n g i n e s o u g o u T r u e 搜 狗 模 块 是 否 开 启 e n g i n e s o F a l s e 搜 搜 模 块 是 否 开 启   ( 搜 搜 现 在 抓 取 不 到 了 ) p a g e s i z e b a i d u _ p a g e s i z e 5 0 每 页 条 数 p a g e s i z e s o u g o u _ p a g e s i z e 5 0 每 页 条 数 p a g e s i z e s o _ p a g e s i z e 1 0 每 页 条 数 m y s q l h o s t 1 2 7 . 0 . 0 . 1 如 果 保 存 类 型 为 M y s q l ， 则 此 节 点 必 须 配 置 正 确 m y s q l p o r t 3 3 0 6 端 口 m y s q l u s e r r o o t 用 户 名 m y s q l p a s s w o r d r o o t 密 码 m y s q l d a t a b a s e s u p e r l d b 数 据 库 名 称 m y s q l t a b l e s e a r c h _ d a t a 表 名 称 f i l e s a v e _ p a t h d i r r e s u l t 如 果 保 存 类 型 为 f i l e ， 则 这 里 设 置 的 是 保 存 的 路 径 ， 当 前 为 程 序 根 目 录 的 r e s u l t 文 件 夹 p l u g i n p r T r u e 预 留 的 插 件 功 能 ， 暂 时 不 支 持 如 果 保 存 方 式 为 如 果 保 存 方 式 为 M y s q l , 还 需 要 执 行 以 下 还 需 要 执 行 以 下 s q l 创 建 表 ： 创 建 表 ： 项 目 地 址 项 目 地 址 ： 【 点 击 底 部 阅 读 原 文 查 看 】 至 于 要 不 要 再 开 发 一 个 J A V A   G U I 版 本 的 或 者 p h p 写 W E B 版 本 的 ， 先 观 望 观 望 ~ * 本 文 作 者 ： 本 文 作 者 ： s u p e r l ， 转 载 请 注 明 来 自 ， 转 载 请 注 明 来 自 F r e e B u f . C O M 精 彩 推 荐 精 彩 推 荐 p i p   i n s t a l l   C o n f i g P a r s e r p i p   i n s t a l l   t l d e x t r a c t p i p   i n s t a l l   t l d e x t r a c t p i p   i n s t a l l   - i   h t t p s : / / p y p i . t u n a . t s i n g h u a . e d u . c n / s i m p l e   c o n f i g p a r s e r C R E A T E   T A B L E   ` s e a r c h _ d a t a `   (             ` i d `   i n t ( 1 1 )   u n s i g n e d   N O T   N U L L   A U T O _ I N C R E M E N T ,             ` e n g i n e `   v a r c h a r ( 2 0 )   N O T   N U L L   D E F A U L T   ' ' ,             ` k e y w o r d `   v a r c h a r ( 1 0 0 )   N O T   N U L L   D E F A U L T   ' '
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理