搜索

[11925] 2017-10-23_爬虫采集去重优化浅谈

文档创建者：s7ckTeam
浏览次数：4
最后更新：2025-01-18
2017-10-23_爬虫采集去重优化浅谈 爬 虫 采 集 去 重 优 化 浅 谈 d a w n e r   F r e e B u f   2 0 1 7 - 1 0 - 2 3 以 前 在 做 漏 洞 以 前 在 做 漏 洞 F u z z 爬 虫 时 ， 曾 做 过 爬 虫 时 ， 曾 做 过 U R L 去 重 相 关 的 工 作 ， 当 时 是 参 考 了 去 重 相 关 的 工 作 ， 当 时 是 参 考 了 s e a y 法 师 的 文 章 以 及 网 上 零 碎 的 一 些 资 法 师 的 文 章 以 及 网 上 零 碎 的 一 些 资 料 ， 感 觉 做 的 很 简 单 。 近 来 又 遇 到 相 关 问 题 ， 于 是 乎 有 了 再 次 改 进 算 法 的 念 头 。 料 ， 感 觉 做 的 很 简 单 。 近 来 又 遇 到 相 关 问 题 ， 于 是 乎 有 了 再 次 改 进 算 法 的 念 头 。 首 先 ， 针 对 U R L 本 身 的 去 重 ， 可 以 直 接 对 整 块 U R L 进 行 处 理 。 在 参 考 网 上 的 一 些 文 章 时 ， 发 现 它 们 大 多 采 用 了   U R L 压 缩 存 储 的 方 法 。 不 过 使 用 这 些 算 法 在 数 据 量 较 大 的 时 候 ， 能 大 幅 减 小 存 储 的 空 间 ： 基 于 磁 盘 的 顺 序 存 储 。 基 于 H a s h 算 法 的 存 储 。 基 于 M D 5 压 缩 映 射 的 存 储 。 基 于 嵌 入 式 B e r k e l e y   D B 的 存 储 。 基 于 布 隆 过 滤 器 （ B l o o m   F i l t e r ） 的 存 储 。 对 于   U R L   直 接 去 重 ， 主 要 涉 及 的 是 存 储 优 化 方 面 ， 对 于 本 文 不 是 重 点 ， 这 里 不 再 细 说 。 而 对 于 而 对 于   U R L   逻 辑 上 的 去 重 ， 则 需 要 更 多 地 追 求 数 据 的 可 用 性 ， 这 是 做 测 试 工 作 需 要 去 考 量 的 。 逻 辑 上 的 去 重 ， 则 需 要 更 多 地 追 求 数 据 的 可 用 性 ， 这 是 做 测 试 工 作 需 要 去 考 量 的 。 这 里 先 给 出   s e a y   文 章 中 的 相 似 度 去 重 算 法 ， 大 致 是 下 面 这 样 的 ：
这 段 函 数 的 大 概 作 用 是 ， 最 后 它 会 根 据 算 法 返 回 一 个 h a s h 值 ， 这 个 h a s h 值 也 就 是 该 U R L 的 h a s h 相 似 度 。 如 果 两 个 U R L 计 算 出 的 h a s h 值 最 后 比 较 相 等 ， 我 们 则 可 以 判 断 两 个 U R L 是 具 有 较 高 的 相 似 度 的 。 但 是 这 个 函 数 应 该 是 s e a y 举 例 时 随 手 提 出 的 （ 这 里 强 调 下 ， 免 得 被 喷 ， 后 文 不 再 细 说 ） ， 只 是 简 单 做 了 d e m o ， 并 没 有 进 行 细 化 检 验 。 在 比 较 粗 糙 的 情 况 下 ， 该 算 法 确 实 能 剔 除 一 些 简 单 的 参 数 重 复 的 情 况 ， 但 一 旦 参 数 复 杂 或 者 u r l 不 规 范 ， 是 不 太 能 很 好 的 进 行 去 重 的 。 那 么 在 针 对 U R L 获 取 的 过 程 中 ， 我 们 还 可 以 做 的 小 优 化 有 哪 些 呢 ？ 日 期 时 间 命 名 日 期 时 间 命 名 首 先 ， 我 们 可 以 根 据 日 期 来 去 重 。 我 们 知 道 ， 在 爬 取 一 些 B l o g 和 和 门 户 等 系 统 时 ， 经 常 会 遇 到 以 日 期 命 名 的 目 录 。 这 些 目 录 大 概 归 纳 起 来 ， 存 在 类 似 下 面 的 形 式 ： 当 然 ， 还 有 些 文 件 会 以 时 间 + 随 机 值 命 名 ， 也 可 能 是 用 u n i x 时 间 戳 命 名 ， 这 些 可 能 是 根 据 上 传 和 编 辑 时 间 来 定 义 的 。 笔 者 建 议 是 ， 使 用 r e d i s 或 者 m e m c a c h e 之 类 等 缓 存 型 数 据 库 ， 将 其 直 接 存 储 ； 或 者 在 数 据 量 较 大 的 时 候 ， 考 虑 将 其 作 临 时 存 储 ， 需 要 的 时 候 再 进 行 对 比 。 比 如 ， 一 旦 出 现 日 期 时 间 命 名 的 目 录 或 静 态 文 件 ， 我 们 可 以 考 虑 将 其 存 储 为 下 面 的 格 式 ： 目 录 层 级 命 名 格 式 U R L 地 址 ( 或 压 缩 过 的 h a s h 值 ) 有 人 可 能 说 ， 在 前 面 s e a y 提 出 的 那 个 案 例 里 ， 好 像 是 可 以 解 决 类 似 日 期 相 似 度 的 问 题 。 那 我 们 先 看 看 下 面 的 例 子 ， 此 处 输 出 仍 然 基 于 上 面 那 个 函 数 ： d e f   u r l s i m i l a r ( u r l ) :                 h a s h _ s i z e = 1 9 9 9 9 9                 t m p = u r l p a r s e . u r l p a r s e ( u r l )                 s c h e m e = t m p [ 0 ]                 n e t l o c = t m p [ 1 ]                 p a t h = t m p [ 2 ] [ 1 : ]                 q u e r y = t m p [ 4 ]                 # F i r s t   g e t   t a i l                 i f   l e n ( p a t h . s p l i t ( ' / ' ) ) > 1 :                         t a i l = p a t h . s p l i t ( ' / ' ) [ - 1 ] . s p l i t ( ' . ' ) [ - 1 ]                         # p r i n t   t a i l                 e l i f   l e n ( p a t h . s p l i t ( ' / ' ) ) = = 1 :                         t a i l = p a t h                 e l s e :                         t a i l = ' 1 '                   # S e c o n d   g e t   p a t h _ l e n g t h                 p a t h _ l e n g t h = l e n ( p a t h . s p l i t ( ' / ' ) ) - 1                 # T h i r d   g e t   d i r e c t y   l i s t   e x c e p t   l a s t                 p a t h _ l i s t = p a t h . s p l i t ( ' / ' ) [ : - 1 ] + [ t a i l ]                 # F o u r t h   h a s h                 p a t h _ v a l u e = 0                 f o r   i   i n   r a n g e ( p a t h _ l e n g t h + 1 ) :                         i f   p a t h _ l e n g t h - i = = 0 :                                 p a t h _ v a l u e + = h a s h ( p a t h _ l i s t [ p a t h _ l e n g t h - i ] ) % 9 8 7 6 5                         e l s e :                                 p a t h _ v a l u e + = l e n ( p a t h _ l i s t [ p a t h _ l e n g t h - i ] ) * ( 1 0 * * ( i + 1 ) )                 # g e t   h o s t   h a s h   v a l u e                 n e t l o c _ v a l u e = h a s h ( h a s h l i b . n e w ( " m d 5 " , n e t l o c ) . h e x d i g e s t ( ) ) % h a s h _ s i z e                 u r l _ v a l u e = h a s h ( h a s h l i b . n e w ( " m d 5 " , s t r ( p a t h _ v a l u e + n e t l o c _ v a l u e ) ) . h e x d i g e s t ( ) ) % h a s h _ s i z e                 r e t u r n   u r l _ v a l u e 2 0 1 0 - 1 1 - 1 1 1 0 - 1 1 - 1 1 2 0 1 0 1 1 1 1
输 出 结 果 如 下 ： 我 们 可 以 看 到 ， 在 普 通 情 况 下 ， 确 实 于 相 同 父 级 目 录 下 ， 相 似 度 算 法 是 可 以 判 断 正 确 的 。   但 是 一 旦 日 期 格 式 不 规 范 ， 或 者 父 级 目 录 存 在 一 定 的 差 异 ， 这 里 是 不 能 很 好 的 判 断 的 。 当 然 ， 我 们 也 可 以 通 过 机 器 学 习 来 完 成 去 重 的 工 作 。 不 过 就 简 化 工 作 而 言 ， 还 是 可 以 使 用 一 些 小 T i p s ， 根 据 规 则 匹 配 来 做 到 。 静 态 文 件 的 去 重 静 态 文 件 的 去 重 我 们 知 道 ， 在 爬 取 U R L 的 过 程 中 ， 也 会 遇 到 许 多 静 态 文 件 ， 如 s h t m l 、 h t m l 、 c s s 等 等 。 这 些 文 件 在 大 多 数 的 情 况 下 ， 是 没 有 太 大 意 义 的 。 除 非 测 试 者 倾 向 于 使 用 “ 宁 可 错 杀 一 百 ， 绝 不 放 过 一 个 ” 的 全 量 采 集 手 法 。 这 时 候 ， 我 们 可 以 配 置 黑 名 单 ， 建 立 文 件 后 缀 规 则 库 进 行 过 滤 。 当 然 ， 在 这 些 静 态 后 缀 的 U R L 链 接 ， 也 可 能 带 上 参 数 混 淆 的 情 况 。   个 人 建 议 是 ， 用 于 回 调 的 j s o n 、 x m l 等 U R L ， 里 面 可 能 储 存 敏 感 内 容 ， 尽 量 别 动 ； 其 他 类 型 的 静 态 文 件 ， 仍 然 采 取 将 参 数 分 离 的 方 式 ， 最 后 对 U R L 进 行 去 重 存 储 。 特 定 情 况 的 过 滤 特 定 情 况 的 过 滤 在 爬 取 特 定 网 站 时 ， 我 们 可 以 预 先 做 好 配 置 ， 指 定 过 滤 一 些 目 录 和 页 面 ， 以 节 省 大 量 时 间 资 源 。 反 过 来 ， 我 们 也 可 以 指 定 只 爬 取 指 定 目 录 下 的 页 面 ， 定 向 获 取 我 们 想 要 的 内 容 。 敏 感 页 面 的 感 知 敏 感 页 面 的 感 知 在 前 面 s e a y 提 出 的 d e m o 算 法 中 ， 在 这 种 情 况 下 是 有 一 定 局 限 的 。 比 如 我 们 需 要 在 敏 感 目 录 下 ， 尽 可 能 多 的 拿 到 文 件 信 息 。 比 如 我 们 爬 取 到 了 后 台 管 理 目 录 ， 可 能 会 遇 到 下 面 的 情 况 ： 输 出 结 果 如 下 ： p r i n t   u r l s i m i l a r ( ' h t t p : / / w w w . b a i d u . c o m / b l o g / 2 0 1 0 - 1 0 - 1 1 / ' ) p r i n t   u r l s i m i l a r ( ' h t t p : / / w w w . b a i d u . c o m / b l o g / 2 0 1 0 - 1 0 - 1 3 / ' ) p r i n t   u r l s i m i l a r ( ' h t t p : / / w w w . b a i d u . c o m / b l o g / 2 0 1 0 - 9 - 1 3 / ' ) p r i n t   u r l s i m i l a r ( ' h t t p : / / w w w . b a i d u . c o m / w h i s p e r / 2 0 1 0 - 1 0 - 1 1 / ' ) 1 1 0 0 8 6 1 1 0 0 8 6 3 7 2 9 4 4 8 4 2 p r i n t   u r l s i m i l a r ( ' h t t p : / / w w w . b a i d u . c o m / b l o g / a d m i n / l o g i n . p h p ' ) p r i n t   u r l s i m i l a r ( ' h t t p : / / w w w . b a i d u . c o m / b l o g / a d m i n / m a n a g e _ i n d e x . p h p ' ) p r i n t   u r l s i m i l a r ( ' h t t p : / / w w w . b a i d u . c o m / b l o g / a d m i n / t e s t . c s s ' )
很 明 显 有 问 题 不 是 么 ？ 当 然 ， 我 们 可 以 通 过 对 敏 感 页 面 关 键 词 进 行 监 控 ； 或 者 也 可 以 指 定 后 缀 文 件 ， 进 行 白 名 单 监 控 。 但 是 一 旦 这 样 做 ， 而 且 还 想 采 用 前 面 的 h a s h 算 法 的 话 ， 大 家 自 行 定 义 的 过 滤 函 数 的 优 先 级 ， 肯 定 需 要 大 于 该 算 法 。 并 且 ， 我 们 在 这 样 做 的 过 程 中 ， 也 应 该 考 虑 过 滤 成 本 的 问 题 ， 建 议 采 用 选 择 性 启 用 。 高 频 敏 感 目 录 的 优 待 高 频 敏 感 目 录 的 优 待 可 能 在 爬 取 的 过 程 中 ， 部 分 爬 虫 是 兼 用 了 目 录 爆 破 的 手 段 的 。 如 果 采 用 了 这 种 手 法 并 且 匹 配 成 功 后 ， 我 们 可 以 将 该 目 录 下 的 内 容 单 独 使 用 一 份 过 滤 规 则 ， 从 而 避 免 去 重 算 法 的 误 判 。 响 应 页 面 的 过 滤 响 应 页 面 的 过 滤 对 于 某 些 网 站 来 讲 ， 可 能 有 不 少 页 面 因 为 链 接 是 失 效 的 ， 会 被 冠 以 4 0 4 页 面 和 5 0 x 错 误 。 另 外 ， 在 无 权 访 问 的 时 候 ， 可 能 网 站 会 做 3 0 x 跳 转 和 4 0 3 目 录 限 制 。 这 些 页 面 没 有 实 质 性 内 容 ， 在 大 多 数 时 候 是 没 有 意 义 的 ， 我 们 可 以 在 配 置 文 件 里 对 需 要 爬 取 的 这 类 页 面 做 白 名 单 ， 比 如 保 留 4 0 3 页 面 ， 或 者 存 取 3 0 x 跳 转 前 （ 后 ） 的 页 面 。 W A F （ 警 告 ） 页 面 过 滤 （ 警 告 ） 页 面 过 滤 4 0 7 6 8 4 0 7 6 8 4 0 7 6 8
某 些 网 站 可 能 被 装 上 了 W A F ， 在 访 问 频 率 过 快 时 ， 可 能 会 得 到 一 个 W A F 的 警 告 页 面 。 而 在 C M S 本 身 就 做 了 限 制 的 情 况 下 ， 会 以 2 0 x 的 响 应 码 展 示 一 些 没 有 不 存 在 的 页 面 。 当 然 ， 我 们 可 以 通 过 分 布 式 换 代 理 的 方 式 ， 去 解 决 部 分 这 样 的 问 题 ， 这 里 先 不 多 做 讨 论 。 这 时 候 ， 我 们 可 以 配 置 相 应 的 次 数 阈 值 ， 如 果 某 些 页 面 出 现 的 次 数 过 多 ， 可 以 将 其 标 记 为 警 告 （ W A F ） 页 面 ， 进 而 做 出 过 滤 处 理 。 这 里 对 某 页 面 的 识 别 ， 可 以 通 过 黑 名 单 关 键 字 标 记 ； 或 者 尝 试 计 算 页 面 h a s h 值 ， 比 如 下 面 这 样 ： 当 然 ， 我 们 在 实 际 计 算 页 面 h a s h 值 和 做 关 键 字 监 控 时 ， 也 可 能 由 于 反 爬 虫 机 制 的 存 在 （ 如 添 加 随 机 值 ） ， 需 要 适 时 调 整 相 似 度 来 计 算 h a s h 值 或 者 采 用 其 他 手 段 。 当 然 这 也 会 消 耗 更 多 的 时 间 和 机 器 资 源 。 但 某 些 特 定 的 情 况 下 ， 可 能 也 会 带 来 意 想 不 到 的 收 获 。 无 意 义 参 数 页 面 去 重 无 意 义 参 数 页 面 去 重 我 们 在 采 集 页 面 的 过 程 中 ， 同 样 有 可 能 会 遇 到 一 些 毫 无 意 义 的 、 高 频 出 现 的 多 参 数 页 面 。 这 类 页 面 可 能 是 回 调 页 面 ， 也 可 能 是 临 时 渲 染 的 随 机 页 面 。 在 这 里 ， 大 家 可 以 通 过 前 面 处 理 W A F （ 警 告 ） 的 方 法 进 行 过 滤 。 当 然 ， 使 用 前 面 的 h a s h 算 法 也 是 可 以 应 对 大 部 分 情 况 的 。 毕 竟 网 站 的 这 类 的 U R L 有 限 ， 不 必 为 了 几 种 特 型 去 消 耗 更 多 的 资 源 ， 这 样 得 不 偿 失 。 J S 代 码 中 的 代 码 中 的 U R L 在 我 们 提 取 j s 代 码 ， 也 就 是 遇 到 a j a x 之 类 的 交 互 情 况 时 ， 可 能 会 遇 到 需 要 拼 接 的 G E T 请 求 ， 或 者 直 接 可 以 取 用 的 P O S T 请 求 。 这 类 的 U R L 地 址 ， 最 好 是 结 合 p h a n t o m j s 等 w e b k i t ， 更 方 便 地 进 行 动 态 拼 接 。 它 们 会 显 得 比 较 特 殊 ， 可 能 仅 仅 返 回 状 态 码 ， 也 可 能 会 返 回 实 质 性 的 敏 感 内 容 。 这 种 情 况 ， 就 需 要 根 据 爬 取 者 的 要 求 ， 对 爬 取 的 过 滤 规 则 进 行 适 应 性 调 整 。 总 结 总 结 笔 者 这 里 旨 在 提 出 一 些 对 相 似 U R L 去 重 的 小 优 化 ， 可 能 效 果 有 限 ， 也 可 能 存 在 未 尽 人 意 之 处 。 欢 迎 大 家 提 出 建 议 ， 希 望 少 一 些 爱 喷 的 童 鞋 ， 多 一 点 讨 论 的 大 牛 ， 与 诸 君 共 勉 。 参 考 文 章 参 考 文 章 c o n t e n t   =   u r l l i b 2 . u r l o p e n ( ' h t t p : / / w w w . t e s t . c o m / ' ) . r e a d ( ) m d 5 _ s u m   =   h a s h l i b . m d 5 ( ) m d 5 _ s u m . u p d a t e ( c o n t e n t ) p r i n t   m d 5 _ s u m . h e x d i g e s t ( )
如 何 避 免 重 复 抓 取 同 一 个 网 页   h t t p s : / / s e g m e n t f a u l t . c o m / q / 1 0 1 0 0 0 0 0 0 2 6 6 4 9 0 4 浅 谈 动 态 爬 虫 与 去 重   h t t p : / / b o b a o . 3 6 0 . c n / l e a r n i n g / d e t a i l / 3 3 9 1 . h t m l 网 络 爬 虫 ： U R L 去 重 策 略 之 布 隆 过 滤 器 ( B l o o m F i l t e r ) 的 使 用   h t t p : / / b l o g . c s d n . n e t / l e m o n _ t r e e 1 2 1 3 8 / a r t i c l e / d e t a i l s / 4 7 9 7 3 7 1 5 实 用 科 普 ： 爬 虫 技 术 浅 析   编 写 爬 虫 应 注 意 的 点   h t t p : / / w w w . c n s e a y . c o m / ? p = 4 1 0 2 网 络 爬 虫   ( s p i d e r )   U R L 消 重 设 计   U R L 去 重 设 计   h t t p : / / w o s h i z n . i t e y e . c o m / b l o g / 5 3 2 6 0 5 * 本 文 作 者 ： 本 文 作 者 ： d a w n e r ； 转 载 请 注 明 来 自 ； 转 载 请 注 明 来 自   F r e e B u f . C O M 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理