搜索

[27461] 2020-08-12_文字点选验证码再也不是难题，通过率96%的深度学习了解一下！

文档创建者：s7ckTeam
浏览次数：3
最后更新：2025-01-19
2020-08-12_文字点选验证码再也不是难题，通过率96%的深度学习了解一下！ 文 字 点 选 验 证 码 再 也 不 是 难 题 ， 通 过 率   9 6 %   的 深 度 学 习 了 解 一 下 ！ 原 创   韦 世 东   N i g h t T e a m   2 0 2 0 - 0 8 - 1 2 验 证 码 是 计 算 机 领 域 发 明 的 一 大 障 碍 ， 它 已 经 成 为 爬 虫 工 程 师 最 大 的 拦 路 虎 ， 是 爬 虫 工 程 师 必 须 要 面 对 的 一 道 屏 障 。 面 对 上 面 这 种 无 干 扰 且 较 规 整 的 字 符 型 验 证 码 ， P y t h o n   P I L   尚 且 可 以 一 战 。 但 如 果 是 下 面 这 样 带 干 扰 的 呢 ？ 不 要 以 为 简 单 的 灰 度 、 二 值 化 就 能 够 解 决 问 题 。 验 证 码 的 形 态 多 变 ， 仅 仅 是 字 符 型 验 证 码 都 能 玩 出 多 种 花 样 ： 面 对 这 种 花 里 胡 哨 的 验 证 码 ， P y t h o n   P I L   也 只 能 一 声 叹 息 了 。 何 况 后 续 还 出 现 了 行 为 验 证 码 （ 滑 动 验 证 码 、 滑 动 拼 图 验 证 码 、 文 字 点 选 验 证 码 、 图 标 点 选 验 证 码 、 空 间 验 证 码 等 等 ） ：
这 就 相 当 为 难 人 了 。 好 在 后 来 近 年 来 深 度 学 习 和 计 算 机 视 觉 技 术 飞 速 发 展 ， 我 们 可 以 利 用 深 度 学 习 来 识 别 上 面 列 举 的 验 证 码 。 网 上 关 于 深 度 学 习 识 别 验 证 码 的 文 章 不 少 ， 相 信 大 家 或 多 或 少 的 见 过 ， 效 果 确 实 很 好 。 但 当 你 将 它 应 用 到 实 际 工 作 中 的 时 候 ， 你 就 会 遇 到 新 的 问 题 ： 1 . 哎 ！ 这 验 证 码 的 长 度 怎 么 不 一 样 的 ， 一 下 哎 ！ 这 验 证 码 的 长 度 怎 么 不 一 样 的 ， 一 下   4   位 一 下 位 一 下   6   位 ？ 位 ？ 2 . 哎 ！ 这 训 练 好 的 模 型 识 别 率 怎 么 就 变 低 了 呢 ？ 哎 ！ 这 训 练 好 的 模 型 识 别 率 怎 么 就 变 低 了 呢 ？ 3 . 哎 ！ 图 片 上 要 点 击 的 文 字 怎 么 定 位 呢 ？ 哎 ！ 图 片 上 要 点 击 的 文 字 怎 么 定 位 呢 ？ 4 . 哎 ！ 定 位 完 了 之 后 怎 么 确 定 哪 个 字 对 应 哪 个 位 置 啊 ？ 哎 ！ 定 位 完 了 之 后 怎 么 确 定 哪 个 字 对 应 哪 个 位 置 啊 ？ 5 . 哎 ！ 模 型 训 练 我 会 了 ， 训 练 完 怎 么 做 成 接 口 拿 来 调 用 呢 ？ 哎 ！ 模 型 训 练 我 会 了 ， 训 练 完 怎 么 做 成 接 口 拿 来 调 用 呢 ？ 6 . 哎 ！ 可 不 可 以 边 识 别 边 训 练 啊 ？ 哎 ！ 可 不 可 以 边 识 别 边 训 练 啊 ？ 这 些 问 题 一 下 就 给 你 整 懵 了 ： “ 原 来 学 习 实 验 和 企 业 应 用 还 差 这 么 远 啊 ！ 原 来 学 习 实 验 和 企 业 应 用 还 差 这 么 远 啊 ！ ” 。 可 能 你 还 不 知 道 ， 企 业 中 使 用 的 验 证 码 识 别 服 务 准 确 率 下 限 要 求 下 限 要 求 是   8 0 % ， 一 些 追 求 技 术 的 企 业 要 求 会 更 高 。 现 如 今 ， 爬 虫 工 程 师 招 聘 看 重 的 是 逆 向 能 力 和 单 点 技 术 高 度 。 • 如 果 你 逆 向 能 力 不 强 ， 但 单 点 技 术 实 力 接 近 行 业 上 限 ， 那 么 工 资 也 不 会 低 ； 如 果 你 逆 向 能 力 不 强 ， 但 单 点 技 术 实 力 接 近 行 业 上 限 ， 那 么 工 资 也 不 会 低 ； • 如 果 你 逆 向 能 力 强 ， 单 点 技 术 实 力 也 强 ， 那 你 就 拥 有 了 选 择 的 主 动 权 ； 如 果 你 逆 向 能 力 强 ， 单 点 技 术 实 力 也 强 ， 那 你 就 拥 有 了 选 择 的 主 动 权 ； 这 里 的 单 点 技 术 指 的 是 验 证 码 识 别 技 术 ， 当 然 也 可 以 是 性 能 优 化 或 者 数 据 流 处 理 能 力 。 一 个 中 型 （ 1 0   人 ） 爬 虫 团 队 每 年 消 耗 在   i p   代 理 和 验 证 码 识 别 服 务 上 的 经 费 基 本 在   2 5   万 左 右 （ 价 格 跟 业 务 强 相 关 ） ， 如 果 你 的 技 术 能 够 为 团 队 节 省   1 0 万 的 开 销 ， 你 说 不 招 你 招 谁 呢 ？ 不 招 你 招 谁 呢 ？ 你 看 这 些 爬 虫 工 程 师 的 招 聘 要 求 ， 验 证 码 真 是 不 可 缺 少 的 一 种 “ 保 命 技 能 保 命 技 能 ” 。
在 线 案 例 在 线 案 例 学 完 这 个 专 栏 后 ， 你 将 掌 握 定 长 和 不 定 长 字 符 型 验 证 码 的 识 别 方 法 、 掌 握 行 为 验 证 码 中 点 选 验 证 码 的 文 字 定 位 与 识 别 方 法 ， 同 时 学 会 将 训 练 模 型 转 换 为   A P I   接 口 以 提 供 服 务 能 力 。
有 学 员 学 完 之 后 制 作 了 点 选 验 证 码 的   A P I   服 务 ， 你 可 以 在 线 上 进 行 调 用 。 调 用 代 码 如 下 ： 这 里 用 到 的     如 下 所 示 ： i m p o r t   b a s e 6 4 i m p o r t   r e q u e s t s w i t h   o p e n ( r " 1 . j p g " ,   " r b " )   a s   f :         i m g _ b y t e s   =   f . r e a d ( ) r   =   r e q u e s t s . p o s t ( " h t t p : / / 1 5 2 . 1 3 6 . 1 8 1 . 6 6 : 1 9 1 9 6 / p r e d i c t " ,   j s o n = {         " i m a g e " :   b a s e 6 4 . b 6 4 e n c o d e ( i m g _ b y t e s ) . d e c o d e ( ) ,           " t i t l e _ c o o r d " :   [ 0 ,   3 4 4 ,   1 2 0 ,   3 8 4 ] } ) p r i n t ( r . t e x t ) 1 . j p g
程 序 运 行 结 果 为 如 下 所 示
返 回 结 果 里 不 仅 给 出 了 文 本 的 内 容 ， 还 准 确 的 识 别 出 具 体 某 个 字 对 应 的 坐 标 信 息 具 体 某 个 字 对 应 的 坐 标 信 息 。 值 得 一 提 的 是 ， 这 个 场 景 识 别 的 文 这 个 场 景 识 别 的 文 字 数 量 是 不 定 长 的 ， 五 个 字 也 好 、 八 个 字 也 罢 ， 它 都 能 准 确 识 别 出 来 字 数 量 是 不 定 长 的 ， 五 个 字 也 好 、 八 个 字 也 罢 ， 它 都 能 准 确 识 别 出 来 。 识 别 性 能 很 高 ， 一 张 图 的 识 别 从 请 求 发 起 至 拿 到 响 应 基 本 在   3 0 0   毫 秒 左 右 ， 如 果 追 求 速 度 还 可 以 采 用 异 步 网 络 ， 完 全 能 够 胜 任 工 作 需 求 。 接 口   D e m o   预 计 保 留   3 0   天 ， 感 兴 趣 的 朋 友 可 以 用 文 章 中 给 出 的 几 张 样 本 试 试 。   D e m o   用 到 的 模 型 只 针 对 这 类 图 片 进 行 训 练 ， 其 他 与 之 差 异 较 大 的 图 片 由 于 未 训 练 可 能 会 识 别 不 准 用 到 的 模 型 只 针 对 这 类 图 片 进 行 训 练 ， 其 他 与 之 差 异 较 大 的 图 片 由 于 未 训 练 可 能 会 识 别 不 准 。 识 别 率 高 且 覆 盖 范 围 广 的 前 提 是 有 足 够 的 样 本 做 针 对 训 练 。 视 频 内 容 制 作 人 视 频 内 容 制 作 人 冷 月 冷 月 ， 现 就 读 于 美 国 计 算 机 科 学 专 业   R a n k   排 行 榜 前   1 5   的 大 学 。 曾 分 享 大 量 主 流 验 证 码   J a v a S c r i p t   加 密 ,   分 析 思 路 ,   涉 及   行 为 验 证 、 无 感 验 证 、 轨 迹 检 测 、 设 备 指 纹 、 控 制 流 平 坦 化 、 自 更 新 算 法 等 行 为 验 证 、 无 感 验 证 、 轨 迹 检 测 、 设 备 指 纹 、 控 制 流 平 坦 化 、 自 更 新 算 法 等 。
冷 月 是 国 内 为 数 不 多 的   J S   逆 向 大 成 者 ， 技 术 能 力 当 属 第 一 梯 队 第 一 梯 队 ， 年 纪 轻 轻 （ 1 8   岁 ） 便 将 自 己 的 昵 称 变 成 了 众 多 爬 虫 工 程 师 奋 斗 的 目 标 。 这 次 开 办 验 证 码 识 别 课 的 主 要 目 的 是 希 望 通 过 技 术 分 享 提 高 大 家 在 图 像 识 别 和 验 证 码 识 别 方 面 的 能 力 ， 推 动 爬 虫 相 关 技 术 进 步 。 他 在 接 下 来 还 将 会 为 大 家 带 来 行 为 生 成 相 关 课 程 ,   实 现 用 深 度 学 习 生 成 行 为 数 据 。 学 习 收 获 学 习 收 获 如 何 准 备 训 练 素 材 ； 如 何 准 备 训 练 素 材 ； 固 定 长 度 的 验 证 码 识 别 ； 固 定 长 度 的 验 证 码 识 别 ； 不 固 定 长 度 的 验 证 码 识 别 ； 不 固 定 长 度 的 验 证 码 识 别 ； 深 度 学 习 中 深 度 学 习 中   C e n t e r N e t   网 络 的 原 理 ； 网 络 的 原 理 ； 点 选 验 证 码 目 标 文 字 位 置 识 别 ； 点 选 验 证 码 目 标 文 字 位 置 识 别 ； 将 训 练 模 型 转 化 为 将 训 练 模 型 转 化 为   A P I   接 口 并 部 署 到 服 务 器 ； 接 口 并 部 署 到 服 务 器 ； 课 程 涉 及 的 代 码 、 M a r k d o w n   等 教 材 都 将 发 放 给 学 员 （ 学 员 加 入   G i t H u b   仓 库 ） ， 同 时 冷 月 在 课 程 群 课 程 群 内 为 学 员 答 疑 解 惑 ， 帮 助 你 掌 握 验 证 码 识 别 方 面 的 技 术 难 点 和 实 际 应 用 中 遇 到 的 问 题 。 这 里 只 给 出 点 选 验 证 的   D e m o ， 不 定 长 字 符 型 验 证 码 的   D e m o   没 有 提 供 。 D e m o   应 该 会 存 活   3 0   天 ， 但 也 有 可 能 提 前 关 闭 。 课 程 大 纲 课 程 大 纲 实 战 ： 小 试 牛 刀 ， 从   M N I S T   开 始 体 验 深 度 学 习 中 的 手 写 体 文 字 识 别 ； 理 论 ： 磨 刀 霍 霍 ， 数 据 预 处 理 和 加 载 ； 实 战 ： 全 军 出 击 ， 基 于 全 连 接 的 固 定 长 度 验 证 码 识 别 ； 实 战 ： 乘 胜 追 击 ， 基 于   L S T M   &   C T C   的 不 固 定 长 度 验 证 码 识 别 ； （ 整 体 准 确 率   9 9 % ） 理 论 ： 知 己 知 彼 ， C e n t e r N e t   网 络 基 础 和 定 位 原 理 ；
实 战 ： 十 拿 九 稳 ， 基 于   C e n t e r N e t   的 点 选 验 证 码 目 标 文 字 位 置 识 别 ； （ 整 体 准 确 率   9 6 % ） 实 战 ： 将 训 练 模 型 转 换 为   A P I   接 口 ； 实 战 ： 将   A P I   接 口 部 署 到 服 务 器 ； 课 程 播 放 地 址 和 价 格 课 程 播 放 地 址 和 价 格 课 程 在 冷 月 自 己 写 的 网 站 上 播 放 ， h t t p s : / / l e n g y u e . v i d e o /   （ 点 击 阅 读 原 文 可 前 往 试 听 ） 。 1 0 8 0 P   视 频 ， 画 面 清 晰 、 代 码 清 晰 。 课 程 已 录 制 完 毕 ， 随 时 可 看 ， 无 需 等 待 ！ 具 体 课 程 大 纲 内 容 如 下 图 所 示 。
这 是 能 够 直 接 解 决 工 作 需 求 的 一 套 课 程 ， 如 果 按 项 目 源 码 卖 的 话 大 概 是 一 千 左 右 ， 这 个 课 程 的 定 价 也 是   9 9 9 。 韦 世 东 在 这 里 为 大 家 争 取 到 了   1 5 0   块 钱 的 优 惠 块 钱 的 优 惠 ， 实 打 实 的   1 5 0   块 。 现 在 从 这 个 链 接 前 往 购 买 只 需 要   8 5 0   元 ， 你 就 能 获 得 准 确 率 9 6 %   （ 文 字 点 选 验 证 码 ） 和 准 确 率   9 9 %   （ 不 定 长 字 符 验 证 码 ） 的 代 码 编 写 能 力 。 在 公 司 团 队 中 拥 有 一 手 绝 杀 技 ， 它 不 香 吗 ？ 在 公 司 团 队 中 拥 有 一 手 绝 杀 技 ， 它 不 香 吗 ？ 另 外 ， 购 买 过 夜 幕   J S   逆 向 系 列 课 或 者 高 阶 课 的 朋 友 、 又 或 者 购 买 过 韦 世 东 《 P y t h o n 3   反 爬 虫 原 理 与 绕 过 实 战 》 一 书 的 朋 友 ， 在 上 面 的 优 惠 基 础 上 再 优 惠 在 上 面 的 优 惠 基 础 上 再 优 惠   1 0 1   元 元 ， 最 后 实 付 最 后 实 付   7 4 9   元 元 。 注 意 ： 限 时 优 惠 注 意 ： 限 时 优 惠   1 5   天 ， 过 期 就 没 有 优 惠 了 。 天 ， 过 期 就 没 有 优 惠 了 。 购 买 请 联 系 韦 世 东 ， 付 款 前 出 示 优 惠 资 格 凭 证 即 可 享 受 优 惠 ， 限 时 优 惠 购 买 请 联 系 韦 世 东 ， 付 款 前 出 示 优 惠 资 格 凭 证 即 可 享 受 优 惠 ， 限 时 优 惠   1 5   天 ， 过 期 不 候 天 ， 过 期 不 候 。 完 事 之 后 当 天 开 通 课 程 权 限 ， 立 即 可 看 。 我 上 班 时 间 为   1 0 : 0 0 ～ 1 9 : 3 0 ， 请 在 我 下 班 时 间 找 我 请 在 我 下 班 时 间 找 我 。 课 程 前 置 知 识 要 求 课 程 前 置 知 识 要 求 这 次 课 并 不 是 完 全 零 基 础 的 ， 需 要 学 员 具 备 基 本 的 深 度 学 习 概 念 、 一 些 基 本 的 理 论 知 识 和   P y t h o n   编 程 知 识 （ 这 就 想 你 学 爬 虫 之 前 要 会 一 点 编 程 一 样 ） 。 如 果 你 知 道 什 么 是 深 度 学 习 ， 听 说 过 深 度 学 习 网 络 和 模 型 ， 再 看 看 莫 烦 h t t p s : / / m o r v a n z h o u . g i t h u b . i o / t u t o r i a l s / m a c h i n e - l e a r n i n g / t o r c h / 1 - 1 - A - A N N - a n d - N N /   的 深 度 学 习 公 开 课 ， 那 就 可 以 了 。 课 程 辅 导 课 程 辅 导 课 程 有 单 独 准 备 的   Q Q   交 流 群 ， 大 家 可 以 在 里 面 讨 论 和 提 问 。 除 了 冷 月 外 ， 著 名 的 黄 瓜 也 在 群 里 为 大 家 答 疑 解 惑 ， 鱼 导 也 在 呢 。
另 外 ， 黄 瓜 会 不 定 期 为 大 家 提 供 各 种 网 站 的 训 练 样 本 （ 样 本 数 量 每 份 几 千 到 几 万 不 等 ） ， 样 本 通 常 来 自 工 作 需 求 的 网 站 ， 比 如 什 么 盾 、 什 么 验 、 什 么 讯 、 什 么 浪 之 类 的 。 不 定 期 会 提 供 其 他 类 型 的 验 证 码 识 别 库 源 码 和 样 本 哦 ！ 不 定 期 会 提 供 其 他 类 型 的 验 证 码 识 别 库 源 码 和 样 本 哦 ！ 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理