搜索

[11826] 2017-09-26_ACHE：一款功能强大的聚焦型网络爬虫

文档创建者：s7ckTeam
浏览次数：5
最后更新：2025-01-18
2017-09-26_ACHE：一款功能强大的聚焦型网络爬虫 A C H E ： 一 款 功 能 强 大 的 聚 焦 型 网 络 爬 虫 A l p h a _ h 4 c k   F r e e B u f   2 0 1 7 - 0 9 - 2 6 工 具 介 绍 工 具 介 绍 今 天 给 大 家 介 绍 的 是 一 款 名 叫 今 天 给 大 家 介 绍 的 是 一 款 名 叫 A C H E 的 聚 焦 型 网 络 爬 虫 工 具 ， 你 可 以 给 它 指 定 一 个 需 要 搜 索 的 主 题 或 属 性 内 的 聚 焦 型 网 络 爬 虫 工 具 ， 你 可 以 给 它 指 定 一 个 需 要 搜 索 的 主 题 或 属 性 内 容 ， 它 便 会 给 你 返 回 相 关 的 搜 索 页 面 。 容 ， 它 便 会 给 你 返 回 相 关 的 搜 索 页 面 。 在 配 置 A C H E 时 ， 你 需 要 定 义 一 个 你 感 兴 趣 的 话 题 （ 例 如 渗 透 测 试 或 菜 谱 ） ， 接 下 来 A C H E 便 会 创 建 一 个 模 型 来 检 测 符 合 该 主 题 的 W e b 页 面 ， 并 使 用 识 别 种 子 来 作 为 爬 取 起 始 点 。 从 起 始 点 开 始 ， A C H E 将 会 对 W e b 页 面 进 行 爬 取 ， 并 尽 可 能 地 检 索 出 所 有 与 该 主 题 有 关 的 页 面 ， 与 此 同 时 ， 它 还 会 避 免 重 复 爬 取 相 同 的 W e b 区 域 。 爬 取 完 成 之 后 ， 你 便 能 够 得 到 一 系 列 与 你 所 设 置 的 主 题 有 关 的 W e b 页 面 了 。 下 载 、 安 装 与 编 译 下 载 、 安 装 与 编 译 使 用 下 列 命 令 将 A C H E 源 码 克 隆 到 本 地 ： 接 下 来 ， 使 用 c o m p i l e _ c r a w l e r . s h 对 A C H E 源 码 进 行 编 译 ： 为 为 A C H E 的 页 面 分 类 器 创 建 模 型 的 页 面 分 类 器 创 建 模 型 为 了 针 对 某 一 主 题 进 行 W e b 页 面 的 爬 取 ， A C H E 需 要 访 问 其 内 容 模 型 。 接 下 来 ， 分 类 器 需 要 利 用 这 个 模 型 来 决 定 需 要 爬 取 的 新 页 面 ， 并 判 断 该 页 面 是 否 符 合 用 户 所 设 置 的 主 题 。 我 们 假 设 你 在 一 个 A 字 典 和 一 个 B 字 典 中 分 别 保 存 A 样 本 和 B 样 本 ， 而 这 些 字 典 需 要 存 储 在 训 练 数 据 字 典 中 。 下 面 给 出 的 代 码 可 以 帮 助 你 通 过 这 些 样 本 来 构 建 爬 取 模 型 ：
： 该 路 径 所 指 向 的 是 包 含 A 样 本 和 B 样 本 的 字 典 路 径 。 ： 该 路 径 指 向 的 是 你 新 生 成 的 字 典 （ 模 型 ） ， 该 模 型 由 以 下 两 份 文 件 组 成 :   p a g e c l a s s i f i e r . m o d e l 和 p a g e c l a s s i f i e r . f e a t u r e s 。 运 行 运 行 A C H E 当 模 型 生 成 之 后 ， 你 需 要 准 备 好 种 子 文 件 ， 其 中 的 每 一 行 都 是 一 个 U R L 地 址 。 你 可 以 使 用 下 列 命 令 开 启 爬 虫 ： ： 该 路 径 指 向 配 置 字 典 。 ： 即 种 子 文 件 路 径 。 ： 该 路 径 指 向 模 型 字 典 ， 其 中 包 含 p a g e c l a s s i f i e r . m o d e l 和 p a g e c l a s s i f i e r . f e a t u r e s 。 ： 该 路 径 指 向 数 据 输 出 字 典 。 ： 该 路 径 指 向 语 言 检 测 配 置 ： “ l i b s / l a n g d e t e c t - 0 3 - 0 3 - 2 0 1 4 . j a r ” 。 A C H E 运 行 样 例 ： 数 据 输 出 字 典 中 保 存 了 什 么 ？ 数 据 输 出 字 典 中 保 存 了 什 么 ？ d a t a _ t a r g e t ： 包 含 主 题 相 关 的 页 面 。 d a t a _ n e g a t i v e ： 包 含 主 题 不 相 关 的 页 面 。 在 默 认 配 置 下 ， 爬 虫 并 不 会 保 存 主 题 不 相 关 的 页 面 。 d a t a _ m o n i t o r ： 包 含 爬 虫 的 当 前 状 态 。 d a t a _ u r l 和 d a t a _ b a c k l i n k s ： 永 久 保 存 前 端 爬 取 信 息 以 及 爬 取 路 径 图 。 何 时 终 止 爬 虫 运 行 ？ 何 时 终 止 爬 虫 运 行 ？ 除 非 你 手 动 终 止 A C H E 的 运 行 ， 否 则 它 将 会 在 爬 取 到 最 大 页 面 数 之 后 终 止 运 行 ， 默 认 配 置 下 最 大 为 9 M ， 具 体 可 以 参 考 文 件 d a t a _ m o n i t o r / h a r v e s t i n f o . c s v 来 了 解 当 前 已 下 载 了 多 少 页 面 。 其 中 ， 前 三 列 数 据 分 别 为 相 关 页 面 数 、 已 访 问 页 面 数 和 时 间 戳 。 *   参 考 来 源 ： A C H E ，   F B 小 编 A l p h a _ h 4 c k 编 译 ， 转 载 请 注 明 来 自 F r e e B u f . C O M
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理