搜索

[11483] 2017-06-22_国内外电商平台反爬虫机制报告

文档创建者：s7ckTeam
浏览次数：4
最后更新：2025-01-18
2017-06-22_国内外电商平台反爬虫机制报告 国 内 外 电 商 平 台 反 爬 虫 机 制 报 告 l e o p a r d 7 7 7 7 7 7 7   F r e e B u f   2 0 1 7 - 0 6 - 2 2 电 商 平 台 的 核 心 引 擎 大 致 分 为 两 块 ， 搜 索 架 构 和 产 品 布 局 ， 应 该 说 各 有 各 的 特 色 。 当 然 今 天 的 主 题 是 反 爬 虫 机 电 商 平 台 的 核 心 引 擎 大 致 分 为 两 块 ， 搜 索 架 构 和 产 品 布 局 ， 应 该 说 各 有 各 的 特 色 。 当 然 今 天 的 主 题 是 反 爬 虫 机 制 ， 电 商 平 台 如 何 能 保 护 好 自 己 的 数 据 ， 又 不 影 响 正 常 用 户 体 验 ， 所 谓 当 今 业 界 一 场 持 久 的 攻 防 博 弈 。 制 ， 电 商 平 台 如 何 能 保 护 好 自 己 的 数 据 ， 又 不 影 响 正 常 用 户 体 验 ， 所 谓 当 今 业 界 一 场 持 久 的 攻 防 博 弈 。 一 阶 爬 虫 （ 技 术 篇 ） 一 阶 爬 虫 （ 技 术 篇 ） 应 用 场 景 一 ： 静 态 结 果 页 ， 无 频 率 限 制 ， 无 黑 名 单 。 应 用 场 景 一 ： 静 态 结 果 页 ， 无 频 率 限 制 ， 无 黑 名 单 。 攻 ： 直 接 采 用 s c r a p y 爬 取 防 ： n g i n x 层 写 l u a 脚 本 , 将 爬 虫 I P 加 入 黑 名 单 ， 屏 蔽 一 段 时 间 （ 不 提 示 时 间 ） 应 用 场 景 二 ： 静 态 结 果 页 ， 无 频 率 限 制 ， 有 黑 名 单 应 用 场 景 二 ： 静 态 结 果 页 ， 无 频 率 限 制 ， 有 黑 名 单 攻 ： 使 用 代 理 （ h t t p   p r o x y 、 V P N ） ， 随 机 u s e r - a g e n t 防 ： 加 大 频 率 周 期 , 每 小 时 或 每 天 超 过 一 定 次 数 屏 蔽 I P 一 段 时 间 （ 不 提 示 时 间 ） 应 用 场 景 三 ： 静 态 结 果 页 ， 有 频 率 限 制 ， 有 黑 名 单 应 用 场 景 三 ： 静 态 结 果 页 ， 有 频 率 限 制 ， 有 黑 名 单 攻 ： 使 用 代 理 ， 随 机 1 - 3 秒 爬 取 ， 爬 1 0 秒 休 息 1 0 秒 ， 甚 至 范 围 时 间 爬 取 ， 增 加 机 器 防 ： 当 5 分 钟 内 请 求 超 过 6 0 次 ， 弹 出 验 证 码 页 面 ， 通 过 验 证 增 加 5 分 钟 无 限 制 时 间 , 不 通 过 验 证 码 则 屏 蔽 增 加 一 小 时   ( 时 间 自 拟 ) 应 用 场 景 四 （ 应 用 场 景 四 （ A m a z o n ） ： 静 态 结 果 页 ， 有 频 率 限 制 ， 有 黑 名 单 ， 有 验 证 码 ） ： 静 态 结 果 页 ， 有 频 率 限 制 ， 有 黑 名 单 ， 有 验 证 码 攻 ： p y t h o n + t e s s e r a c t 验 证 码 识 别 库 模 拟 训 练 ， 或 基 于 t o r 、 c r a w l e r a ( 收 费 ) 的 中 间 件 （ 广 度 遍 历 I P ） 防 ： 前 端 异 步 加 载 j s ， 动 态 加 密 t o k e n 应 用 场 景 五 （ 应 用 场 景 五 （ A l i e x p r e s s ） ： 动 态 结 果 页 ， 有 频 率 限 制 ， 有 黑 名 单 ， 有 验 证 码 ） ： 动 态 结 果 页 ， 有 频 率 限 制 ， 有 黑 名 单 ， 有 验 证 码 攻 ： p y t h o n + S e l e n i u m ， 利 用 c h r o m e 内 核 加 载 动 态 结 果 页 ， 更 推 荐 用 n o d e + h e x + i e 内 核 做 一 个 爬 取 客 户 端 。 j a v a 程 序 可 以 参 考 《 简 单 破 解 J a v a 浏 览 器 组 件 j x b r o w s e r 》 防 ： 见 二 阶 爬 虫 一 阶 爬 虫 属 于 单 纯 的 技 术 性 博 弈 ， 下 面 开 始 真 正 的 人 机 交 互 博 弈 二 阶 爬 虫 （ 进 阶 篇 ） 二 阶 爬 虫 （ 进 阶 篇 ） 应 用 场 景 六 （ 应 用 场 景 六 （ P C 天 猫 搜 索 页 ） ： 天 猫 搜 索 页 ） ： h t t p s ， 动 态 结 果 页 ， 有 频 率 限 制 ， 无 黑 名 单 ， 有 验 证 码 ， 动 态 结 果 页 ， 有 频 率 限 制 ， 无 黑 名 单 ， 有 验 证 码 防 ： 基 于 个 性 化 为 主 导 ， 提 倡 用 户 主 动 登 陆 来 获 取 更 优 质 的 用 户 体 验 。 根 据 购 买 习 惯 为 用 户 推 荐 一 些 正 常 促 销 的 商 品 ， 如 9 . 9 洗 发 露 、 沐 浴 露 、 茶 叶 等 （ 威 露 士 经 常 做 ） ， 以 及 一 些 优 质 的 钻 展 商 品 。 不 但 能 区 别 人 机 ， 还 能 搜 集 用 户 访 问 喜 好 ， 针 对 性 优 化 个 性 化 大 数 据 ， 还 可 以 抵 御 d d o s ， 可 谓 一 举 三 得
攻 ： 搜 集 刷 单 账 号 ， 用 分 布 式 任 务 应 用 场 景 七 （ 生 意 参 谋 ） ： 应 用 场 景 七 （ 生 意 参 谋 ） ： h t t p s ， ， R e a c t 单 页 面 应 用 ， 有 验 证 码 ， 单 页 面 应 用 ， 有 验 证 码 ， L o c a l S t o r a g e ， 机 器 学 习 中 间 件 ， 机 器 学 习 中 间 件 防 ： 生 意 参 谋 本 身 是 收 费 类 的 官 方 服 务 ， 从 内 测 h t t p 过 渡 到 h t t p s ， 而 且 近 期 加 大 对 采 集 行 为 的 打 击 ， 直 接 采 取 封 号 警 告 策 略 。 以 增 加 用 户 采 集 成 本 为 限 制 ， 约 束 攻 击 方 收 敛 性 为 。 单 页 面 应 用 访 问 是 遵 循 一 定 正 常 轨 迹 的 。 例 如 请 求 ： 1 .   用 户 信 息 获 取 2 .   数 据 列 表 1 3 .   数 据 列 表 2 4 .   数 据 详 情 1 … 针 对 数 据 可 视 化 应 用 ， 大 部 分 数 据 是 经 计 算 分 析 得 到 ， 并 不 会 经 常 改 变 （ 甚 至 不 变 ） 。 那 么 ， 数 据 结 果 存 储 入 那 么 ， 数 据 结 果 存 储 入 L o c a l S t r o a g e 中 ， 不 但 节 省 了 网 络 请 求 加 快 页 面 速 度 （ 相 当 于 缓 存 ） ， 还 能 区 分 用 户 行 为 轨 迹 中 ， 不 但 节 省 了 网 络 请 求 加 快 页 面 速 度 （ 相 当 于 缓 存 ） ， 还 能 区 分 用 户 行 为 轨 迹 。 详 细 的 来 说 ， 通 过 程 序 编 程 得 到 的 爬 虫 ， 无 论 是 基 于 u r l   r e q u e s t ， 还 是 基 于 解 压 w e b k i t （ 如 ： j x b r o w e r ） 。 所 生 成 的 爬 虫 对 象 都 是 临 时 对 象 ， 那 么 不 会 存 储 L o c a l S t r o a g e 数 据 ， 因 此 导 致 ， 访 问 数 据 页 的 请 求 轨 迹 每 次 都 会 是 1 .   用 户 信 息 获 取 2 .   数 据 列 表 1 （ 实 际 应 被 存 储 到 L o c a l S t r o a g e ） 3 .   数 据 列 表 2 （ 实 际 应 被 存 储 到 L o c a l S t r o a g e ） 4 .   数 据 详 情 1 … 而 正 常 用 户 行 为 （ 一 直 通 过 浏 览 器 访 问 重 复 页 面 ） 1 .   用 户 信 息 获 取 2 .   数 据 详 情 1 …   总 之 ， 不 会 请 求 L o c a l S t o r a g e 里 有 的
加 解 密 的 J S 代 码 另 外 ， 单 页 面 应 用 是 异 步 加 载 数 据 ， 一 个 页 面 种 有 A B C 三 类 ， 只 有 A 类 需 要 验 证 码 时 用 d i a l o g 占 屏 ， B C 类 数 据 正 常 显 示 ， 爬 虫 开 发 时 必 然 考 虑 不 到 这 些 情 况 ， 验 证 码 并 非 强 制 要 求 输 入 （ 刷 新 后 照 常 访 问 ） 还 可 以 分 析 每 天 用 户 请 求 数 ， 访 问 习 惯 等 等 分 析 用 户 行 为 轨 迹 的 方 式 大 致 有 3 种 ： n g i n x 流 量 中 间 件 ， w e b   c o n t r o l l e r 层 拦 截 器 ， 日 志 收 集 ( f l u m e   +   h a d o o p   +   s p e r k ) * 。 可 能 基 于 贝 叶 斯 或 决 策 树 分 析 【 实 际 怎 么 算 只 有 开 发 者 知 道 】 曾 经 被 封 过 一 次 ,   不 是 实 时 性 的 第 二 天 才 被 封 ,   所 以 应 该 时   日 志 离 线 计 算 日 志 离 线 计 算   得 出 的 结 果 攻 ： c h r o m e 插 件 ( 可 获 取 h t t p s 流 量 ) , 另 外 把 页 面 中 的 跳 转 链 接 记 录 到 数 据 库 中 .   因 为 一 些 链 接 只 需 要 修 改 日 期 或 I D 等 参 数 就 可 以 复 用 .   链 接 中 的 一 些 铆 点 可 能 就 是 计 算 用 于 轨 迹 的 因 素 .   P S : 这 也 是 生 意 参 谋 一 直 警 告 的 方 式 这 也 是 生 意 参 谋 一 直 警 告 的 方 式 ,   所 有 行 为 由 所 有 行 为 由 s e t I t e m :   f u n c t i o n ( e ,   t )   {                                         r e t u r n   v o i d   0   = = =   t   ?   t h i s . r e m o v e I t e m ( e )   :   ( l o c a l S t o r a g e . s e t I t e m ( e ,   t h i s . _ s e r i a l i z e ( t ) ) ,                                         t )                                 } ,                                 g e t I t e m :   f u n c t i o n ( e )   {                                         r e t u r n   t h i s . d e s e r i a l i z e ( l o c a l S t o r a g e . g e t I t e m ( e ) )                                 } ,
读 者 自 行 负 责 读 者 自 行 负 责 ,   与 本 文 作 者 无 关 与 本 文 作 者 无 关 三 阶 爬 虫 （ 反 攻 篇 ） 三 阶 爬 虫 （ 反 攻 篇 ） 讲 道 理 攻 击 方 为 何 需 要 去 爬 取 电 商 平 台 的 数 据 ， 就 为 一 个 目 的 ， 逆 演 算 出 平 台 的 权 重 计 算 ， 推 导 出 各 类 合 理 范 围 内 的 指 标 （ 配 合 刷 单 ， 刷 流 量 ） 。 从 技 术 层 面 上 ， 永 远 是 一 个 相 互 博 弈 的 过 程 ， 如 果 有 人 下 血 本 采 用 半 人 工 ， 堆 机 器 的 方 式 暴 力 抓 取 ， 也 是 难 以 防 控 的 。 而 且 众 所 周 知 ， 电 商 技 术 的 转 化 含 金 量 非 常 高 ， 机 器 和 人 工 的 成 本 就 是 九 牛 一 毛 ， 如 果 你 的 模 型 与 业 务 模 型 擦 边 ， 辅 助 上 一 些 内 部 渠 道 ， 无 论 是 作 为 商 家 还 是 服 务 商 都 极 快 的 变 现 因 此 ， 反 爬 虫 的 最 终 核 心 点 是 要 让 攻 击 者 不 知 道 自 己 已 经 被 判 定 为 爬 虫 了 。 那 么 ， 攻 击 者 只 会 悠 哉 的 爬 取 数 据 ， 并 兴 高 采 烈 的 开 始 演 算 。 而 从 平 台 方 我 们 的 最 终 目 的 是 为 了 保 护 我 们 的 数 据 和 模 型 ， 那 么 关 键 点 就 来 了 。 需 要 是 让 攻 击 方 获 取 得 数 据 不 具 有 代 表 性 ， 模 型 不 可 行 即 可 。 配 合 上 流 量 木 桶 ， 定 位 到 攻 击 者 ， 我 们 将 原 始 数 据 进 行 一 些 离 散 加 工 ， 加 入 一 些 噪 音 ， 让 攻 击 方 往 错 误 的 方 向 上 推 导 模 型 。 最 终 攻 击 方 讲 无 法 区 分 哪 些 数 据 是 可 用 ， 那 些 又 是 噪 音 。 这 时 候 ， 你 会 说 ， 如 果 系 统 误 杀 正 常 用 户 ， 给 出 个 一 些 展 示 数 据 错 的 离 谱 怎 么 办 。 这 个 度 其 实 很 好 把 握 ， 我 们 只 需 要 在 排 名 * 、 成 交 单 数 、 点 击 率 等 此 类 动 态 变 化 的 维 度 加 入 噪 音 ， 不 去 加 工 价 格 、 运 费 、 产 品 详 情 ， 即 使 被 程 序 判 定 为 攻 击 者 ， 并 不 影 响 正 常 用 户 的 体 验 * 本 文 作 者 ： l e o p a r d 7 7 7 7 7 7 7 ， 转 载 请 注 明 F r e e B u f . C O M
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理