搜索

[27438] 2019-12-26_刷新你的认知，字体反爬并没有那么简单！

文档创建者：s7ckTeam
浏览次数：3
最后更新：2025-01-19
2019-12-26_刷新你的认知，字体反爬并没有那么简单！ 刷 新 你 的 认 知 ， 字 体 反 爬 并 没 有 那 么 简 单 ！ 原 创   韦 世 东   N i g h t T e a m   2 0 1 9 - 1 2 - 2 6 内 容 选 自 即 将 出 版 即 将 出 版 的 《 P y t h o n 3   反 爬 虫 原 理 与 绕 过 实 战 》 ， 本 次 公 开 书 稿 范 围 为 第   6   章 — — 文 本 混 淆 反 爬 虫 。 本 篇 为 第   6   章 中 的 第   4   小 节 ， 其 余 小 节 将 逐 步 放 送 逐 步 放 送 。 在   C S S 3   之 前 ， W e b   开 发 者 必 须 使 用 用 户 计 算 机 上 已 有 的 字 体 。 但 是 在   C S S 3   时 代 ， 开 发 者 可 以 使 用   @ f o n t - f a c e   为 网 页 指 定 字 体 ， 对 用 户 计 算 机 字 体 的 依 赖 。 开 发 者 可 将 心 仪 的 字 体 文 件 放 在   W e b   服 务 器 上 ， 并 在   C S S   样 式 中 使 用 它 。 用 户 使 用 浏 览 器 访 问   W e b   应 用 时 ， 对 应 的 字 体 会 被 浏 览 器 下 载 到 用 户 的 计 算 机 上 。 在 学 习 浏 览 器 和 页 面 渲 染 的 相 关 知 识 时 ， 我 们 了 解 到   C S S   的 作 用 是 修 饰   H T M L   ， 所 以 在 页 面 渲 染 的 时 候 不 会 改 变   H T M L   文 档 内 容 。 由 于 字 体 的 加 载 和 映 射 工 作 是 由   C S S   完 成 的 ， 所 以 即 使 我 们 借 助   S p l a s h 、 S e l e n i u m   和   P u p p e t e e r   工 具 也 无 法 获 得 对 应 的 文 字 内 容 。 字 体 反 爬 虫 正 是 利 用 了 这 个 特 点 ， 将 自 定 义 字 体 应 用 到 网 页 中 重 要 的 数 据 上 ， 使 得 爬 虫 程 序 无 法 获 得 正 确 的 数 据 。 6 . 4 . 1   字 体 反 爬 虫 示 例 字 体 反 爬 虫 示 例 示 例   7 ： 字 体 反 爬 虫 示 例 。 网 址 ： h t t p : / / w w w . p o r t e r s . v i p / c o n f u s i o n / m o v i e . h t m l 。 任 务 ： 爬 取 影 片 信 息 展 示 页 中 的 影 片 评 分 、 评 价 人 数 和 票 房 数 据 ， 页 面 内 容 如 图   6 - 3 2   所 示 。 图   6 - 3 2   示 例   7   页 面 在 编 写 代 码 之 前 ， 我 们 需 要 确 定 目 标 数 据 的 元 素 定 位 。 定 位 时 ， 我 们 在   H T M L   中 发 现 了 一 些 奇 怪 的 符 号 ， H T M L   代 码 如 下 ： < d i v   c l a s s = " m o v i e - i n d e x " >         < p   c l a s s = " m o v i e - i n d e x - t i t l e " > 用 户 评 分 < / p >         < d i v   c l a s s = " m o v i e - i n d e x - c o n t e n t   s c o r e   n o r m a l - s c o r e " >                 < s p a n   c l a s s = " i n d e x - l e f t   i n f o - n u m   " >                 < s p a n   c l a s s = " s t o n e f o n t " >   ☒ . ☒   < / s p a n >                 < / s p a n >  
页 面 中 重 要 的 数 据 都 是 一 些 奇 怪 的 字 符 ， 本 应 该 显 示 “ 9 . 7 ” 的 地 方 在   H T M L   中 显 示 的 是 “ ☒ . ☒ ” ， 而 本 应 该 显 示 “ 5 6 . 8 3 ” 的 地 方 在 H T M L   中 显 示 的 是 “ ☒ ☒ . ☒ ☒ ” 。 与   6 . 3   节 中 的 映 射 反 爬 虫 不 同 ， 案 例 中 的 文 字 都 被 “ ☒ ” 符 号 代 替 了 ， 根 本 无 法 分 辨 。 这 就 很 奇 怪 了 ， “ ☒ ” 能 代 表 这 么 多 种 数 字 吗 ？ 要 注 意 的 是 ， C h r o m e   开 发 者 工 具 的 元 素 面 板 中 显 示 的 内 容 不 一 定 是 相 应 正 文 的 原 文 ， 要 想 知 道 “ ☒ ” 符 号 是 什 么 ， 还 需 要 到 网 页 源 代 码 中 确 认 。 对 应 的 网 页 源 代 码 如 下 ： 从 网 页 源 代 码 中 看 到 的 并 不 是 符 号 ， 而 是 由 & # x   开 头 的 一 些 字 符 ， 这 与 示 例   6   中 的   S V G   映 射 反 爬 虫 非 常 相 似 。 我 们 将 页 面 显 示 的 数 字 与 网 页 源 代 码 中 的 字 符 进 行 比 较 ， 映 射 关 系 如 图   6 - 3 3   所 示 。 图   6 - 3 3   字 符 与 数 字 的 映 射 关 系 字 符 与 数 字 是 一 一 对 应 的 ， 我 们 只 需 要 多 找 一 些 页 面 ， 将   0   ~   9   数 字 对 应 的 字 符 凑 齐 即 可 。 但 如 果 目 标 网 站 的 字 体 是 动 态 变 化 的 呢 ？ 映 射 关 系 也 是 变 化 的 呢 ？ 根 据   6 . 3   节 的 学 习 和 分 析 ， 我 们 知 道 人 为 映 射 并 不 能 解 决 这 些 问 题 ， 必 须 找 到 映 射 关 系 的 规 律 ， 并 使 用   P y t h o n   代 码 实 现 映 射 算 法 才 行 。 继 续 往 下 分 析 ， 难 道 字 符 映 射 是 先 异 步 加 载 数 据 再 使 用   J a v a S c r i p t   渲 染 的 ？               < / s p a n >         < d i v   c l a s s = " i n d e x - r i g h t " >         < d i v   c l a s s = " s t a r - w r a p p e r " >         < d i v   c l a s s = " s t a r - o n "   s t y l e = " w i d t h : 9 0 % ; " > < / d i v >         < / d i v >                         < s p a n   c l a s s = " s c o r e - n u m " > < s p a n   c l a s s = " s t o n e f o n t " >   ☒ ☒ .   ☒ ☒   万 < / s p a n > 人 评 分 < / s p a n >         < / d i v >         < / d i v >   < / d i v > < d i v   c l a s s = " m o v i e - i n d e x " >         < p   c l a s s = " m o v i e - i n d e x - t i t l e " > 用 户 评 分 < / p >         < d i v   c l a s s = " m o v i e - i n d e x - c o n t e n t   s c o r e   n o r m a l - s c o r e " >                 < s p a n   c l a s s = " i n d e x - l e f t   i n f o - n u m   " >                         < s p a n   c l a s s = " s t o n e f o n t " > . < / s p a n >                 < / s p a n >                 < d i v   c l a s s = " i n d e x - r i g h t " >                     < d i v   c l a s s = " s t a r - w r a p p e r " >                         < d i v   c l a s s = " s t a r - o n "   s t y l e = " w i d t h : 9 0 % ; " > < / d i v >                     < / d i v >                     < s p a n   c l a s s = " s c o r e - n u m " > < s p a n   c l a s s = " s t o n e f o n t " > . 万 < / s p a n > 人 评 分 < / s p a n >                 < / d i v >         < / d i v > < / d i v >
图   6 - 3 4   请 求 记 录 网 络 请 求 记 录 如 图   6 - 3 4   所 示 ， 请 求 记 录 中 并 没 有 发 现 异 步 请 求 ， 这 个 猜 测 并 没 有 得 到 证 实 。 C S S   样 式 方 面 有 没 有 线 索 呢 ？ 页 面 中 包 裹 符 号 的 标 签 的   c l a s s   属 性 值 都 是   s t o n e f o n t ： 但 对 应 的   C S S   样 式 中 仅 设 置 了 字 体 ： 既 然 是 自 定 义 字 体 ， 就 意 味 着 会 加 载 字 体 文 件 ， 我 们 可 以 在 网 络 请 求 中 找 到 加 载 的 字 体 文 件   m o v i e . w o f f ， 并 将 其 下 载 到 本 地 ， 接 着 使 用 百 度 字 体 编 辑 器 看 一 看 里 面 的 内 容 。 百 度 字 体 编 辑 器   F o n t E d i t o r   （ 详 见   h t t p : / / f o n t s t o r e . b a i d u . c o m / s t a t i c / e d i t o r / i n d e x . h t m l ） 是 一 款 在 线 字 体 编 辑 软 件 ， 能 够 打 开 本 地 或 者 远 程 的   t t f 、 w o f f 、 e o t 、 o t f   格 式 的 字 体 文 件 ， 具 备 这 些 格 式 字 体 文 件 的 导 入 和 导 出 功 能 ， 并 且 提 供 字 形 编 辑 、 轮 廓 编 辑 和 字 体 实 时 预 览 功 能 ， 界 面 如 图   6 - 3 5   所 示 。 图   6 - 3 5   百 度 字 体 编 辑 器 界 面 打 开 页 面 后 ， 将   m o v i e . w o f f   文 件 拖 曳 到 百 度 字 体 编 辑 器 的 灰 色 区 域 即 可 ， 字 体 文 件 内 容 如 图   6 - 3 6   所 示 。 图   6 - 3 6   字 体 文 件   m o v i e . w o f f   预 览 该 字 体 文 件 中 共 有   1 2   个 字 体 块 ， 其 中 包 括   2   个 空 白 字 体 块 和   0   ~   9   的 数 字 字 体 块 。 我 们 可 以 大 胆 地 猜 测 ， 评 分 数 据 和 票 房 数 据 中 使 用 的 数 字 正 是 从 此 而 来 。 由 此 看 来 ， 我 们 还 需 要 了 解 一 些 字 体 文 件 格 式 相 关 的 知 识 ， 在 了 解 文 件 格 式 和 规 律 后 ， 才 能 够 找 到 更 合 理 的 解 决 办 法 。 < s p a n   c l a s s = " s t o n e f o n t " > . < / s p a n >   < s p a n   c l a s s = " s t o n e f o n t " > .   万 < / s p a n >   < s p a n   c l a s s = " s t o n e f o n t " > . < / s p a n > . s t o n e f o n t   {             f o n t - f a m i l y :   s t o n e f o n t ;   }
6 . 4 . 2   字 体 文 件 字 体 文 件   W O F F W O F F （ W e b   O p e n   F o n t   F o r m a t ， W e b   开 放 字 体 格 式 ） 是 一 种 网 页 所 采 用 的 字 体 格 式 标 准 。 本 质 上 基 于   S F N T   字 体 （ 如 T r u e T y p e ） ， 所 以 它 具 备   T r u e T y p e   的 字 体 结 构 ， 我 们 只 需 要 了 解   T r u e T y p e   字 体 的 相 关 知 识 即 可 。 T r u e T y p e   字 体 是 苹 果 公 司 与 微 软 公 司 联 合 开 发 的 一 种 计 算 机 轮 廓 字 体 ， T r u e T y p e   字 体 中 的 每 个 字 形 由 网 格 上 的 一 系 列 点 描 述 ， 点 是 字 体 中 的 最 小 单 位 ， 字 形 与 点 的 关 系 如 图   6 - 3 7   所 示 。 图   6 - 3 7   字 形 与 点 的 关 系 字 体 文 件 中 不 仅 包 含 字 形 数 据 和 点 信 息 ， 还 包 括 字 符 到 字 形 映 射 、 字 体 标 题 、 命 名 和 水 平 指 标 等 ， 这 些 信 息 存 在 对 应 的 表 中 ， 所 以 我 们 也 可 以 认 为   T r u e T y p e   字 体 文 件 由 一 系 列 的 表 组 成 ， 其 中 常 用 的 表 及 其 作 用 如 图   6 - 3 8   所 示 。 图   6 - 3 8   构 成 字 体 文 件 的 常 用 表 及 其 作 用 如 何 查 看 这 些 表 的 结 构 和 所 包 含 的 信 息 呢 ？ 我 们 可 以 借 助 第 三 方   P y t h o n   库   f o n t t o o l s   将   W O F F   等 字 体 文 件 转 换 成   X M L   文 件 ， 这 样 就 能 查 看 字 体 文 件 的 结 构 和 表 信 息 了 。 首 先 我 们 要 安 装   f o n t t o o l s   库 ， 安 装 命 令 为 ： 安 装 完 毕 后 就 可 以 利 用 该 库 转 换 文 件 类 型 ， 对 应 的   P y t h o n   代 码 为 ： $   p i p   i n s t a l l   f o n t t o o l s f r o m   f o n t T o o l s . t t L i b   i m p o r t   T T F o n t  
代 码 运 行 后 就 会 在 当 前 目 录 生 成 名 为   m o v i e   的   X M L   文 件 。 文 件 中 字 符 到 字 形 映 射 表   c m a p   的 内 容 如 下 ： m a p   标 签 中 的   c o d e   代 表 字 符 ， n a m e   代 表 字 形 名 称 ， 关 系 如 图   6 - 3 9   所 示 。 图   6 - 3 9   字 符 到 字 形 映 射 关 系 示 例 X M L   中 的 字 符   0 x e 3 3 9   与 网 页 源 代 码 中 的 字 符     对 应 ， 这 样 我 们 就 确 定 了   H T M L   中 的 字 符 码 与   m o v i e . w o f f   字 体 文 件 中 对 应 的 字 形 关 系 。 字 形 数 据 存 储 在 表   g l y f   中 ， 每 个 字 形 的 数 据 都 是 独 立 的 ， 例 如 字 形   u n i E 3 3 9   的 字 形 数 据 如 下 ： T T G l y p h   标 签 中 记 录 着 字 形 的 名 称 、 x   轴 坐 标 和   y   轴 坐 标 （ 坐 标 也 可 以 理 解 为 字 形 的 宽 高 ） 。 c o n t o u r   标 签 记 录 的 是 字 形 的 轮 廓 信 息 ， 也 就 是 多 个 点 的 坐 标 位 置 ， 正 是 这 些 点 构 成 了 如 图   6 - 4 0   所 示 的 字 形 。 f r o m   f o n t T o o l s . t t L i b   i m p o r t   T T F o n t   f o n t   =   T T F o n t ( ' m o v i e . w o f f ' )   #   打 开 当 前 目 录 的   m o v i e . w o f f   文 件 f o n t . s a v e X M L ( ' m o v i e . x m l ' )   #   另 存 为   m o v i e . x m l < c m a p _ f o r m a t _ 4   p l a t f o r m I D = " 0 "   p l a t E n c I D = " 3 "   l a n g u a g e = " 0 " >         < m a p   c o d e = " 0 x 7 8 "   n a m e = " x " / >         < m a p   c o d e = " 0 x e 3 3 9 "   n a m e = " u n i E 3 3 9 " / >         < m a p   c o d e = " 0 x e 6 2 4 "   n a m e = " u n i E 6 2 4 " / >         < m a p   c o d e = " 0 x e 7 d f "   n a m e = " u n i E 7 D F " / >         < m a p   c o d e = " 0 x e 9 c 7 "   n a m e = " u n i E 9 C 7 " / >         < m a p   c o d e = " 0 x e a 1 6 "   n a m e = " u n i E A 1 6 " / >         < m a p   c o d e = " 0 x e e 7 6 "   n a m e = " u n i E E 7 6 " / >         < m a p   c o d e = " 0 x e f d 4 "   n a m e = " u n i E F D 4 " / >         < m a p   c o d e = " 0 x f 1 9 a "   n a m e = " u n i F 1 9 A " / >         < m a p   c o d e = " 0 x f 5 7 b "   n a m e = " u n i F 5 7 B " / >         < m a p   c o d e = " 0 x f 5 9 3 "   n a m e = " u n i F 5 9 3 " / >   < / c m a p _ f o r m a t _ 4 > < T T G l y p h   n a m e = " u n i E 3 3 9 "   x M i n = " 0 "   y M i n = " - 1 2 "   x M a x = " 5 1 0 "   y M a x = " 7 1 9 " >         < c o n t o u r >             < p t   x = " 4 1 0 "   y = " 5 3 4 "   o n = " 1 " / >             < p t   x = " 3 9 8 "   y = " 5 8 6 "   o n = " 0 " / >             < p t   x = " 3 7 7 "   y = " 6 0 9 "   o n = " 1 " / >             < p t   x = " 3 4 1 "   y = " 6 4 6 "   o n = " 0 " / >             < p t   x = " 2 8 9 "   y = " 6 4 6 "   o n = " 1 " / >             . . .         < / c o n t o u r >         < c o n t o u r >             < p t   x = " 1 3 9 "   y = " 2 3 2 "   o n = " 1 " / >             < p t   x = " 1 3 9 "   y = " 1 8 8 "   o n = " 0 " / >             < p t   x = " 1 7 8 "   y = " 1 0 3 "   o n = " 0 " / >             . . .         < / c o n t o u r >         < i n s t r u c t i o n s / >   < / T T G l y p h >
图   6 - 4 0   字 形   u n i E 3 3 9   的 轮 廓 我 们 可 以 在 百 度 字 体 编 辑 器 中 调 整 点 的 位 置 ， 然 后 保 存 字 体 文 件 并 将 新 字 体 文 件 转 换 为   X M L   格 式 ， 相 同 名 称 的 字 形 数 据 如 下 ： 接 着 将 调 整 前 的 字 形 数 据 和 调 整 后 的 字 形 数 据 进 行 对 比 。 如 图   6 - 4 1   所 示 ， 点 的 位 置 调 整 后 ， 字 形 数 据 也 会 发 生 相 应 的 变 化 ， 如   x M i n 、 x M a x 、 y M i n 、 y M a x   还 有   标 签 中 的   x   坐 标   y   坐 标 都 与 之 前 的 不 同 了 。 < T T G l y p h   n a m e = " u n i E 3 3 9 "   x M i n = " 1 1 5 "   y M i n = " 6 "   x M a x = " 4 3 0 "   y M a x = " 4 9 5 " >     < c o n t o u r >         < p t   x = " 4 0 0 "   y = " 3 5 2 "   o n = " 1 " / >         < p t   x = " 3 5 6 "   y = " 4 0 6 "   o n = " 0 " / >         < p t   x = " 3 4 2 "   y = " 4 2 1 "   o n = " 1 " / >         < p t   x = " 3 1 8 "   y = " 4 4 6 "   o n = " 0 " / >         < p t   x = " 2 8 3 "   y = " 4 4 6 "   o n = " 1 " / >         . . .     < / c o n t o u r >     < i n s t r u c t i o n s / >   < / T T G l y p h >
图   6 - 4 1   字 形 数 据 对 比 X M L   文 件 中 记 录 的 是 字 形 坐 标 信 息 ， 实 际 上 ， 我 们 没 有 办 法 直 接 通 过 字 形 数 据 获 得 文 字 ， 只 能 从 其 他 方 面 想 办 法 。 虽 然 目 标 网 站 使 用 多 套 字 体 ， 但 相 同 文 字 的 字 形 也 是 相 同 的 。 比 如 现 在 有 m o v i e . w o f f   和   f o o d . w o f f   这 两 套 字 体 ， 它 们 包 含 的 字 形 如 下 ： #   m o v i e . w o f f   #   包 含   1 0   个 字 形 数 据 ： [ 0 1 2 3 4 5 6 7 8 9 ]   < c m a p _ f o r m a t _ 4   p l a t f o r m I D = " 0 "   p l a t E n c I D = " 3 "   l a n g u a g e = " 0 " >         < m a p   c o d e = " 0 x 7 8 "   n a m e = " x " / >         < m a p   c o d e = " 0 x e 3 3 9 "   n a m e = " u n i E 3 3 9 " / >   #   数 字   6         < m a p   c o d e = " 0 x e 6 2 4 "   n a m e = " u n i E 6 2 4 " / >   #   数 字   9         < m a p   c o d e = " 0 x e 7 d f "   n a m e = " u n i E 7 D F " / >   #   数 字   2         < m a p   c o d e = " 0 x e 9 c 7 "   n a m e = " u n i E 9 C 7 " / >   #   数 字   7         < m a p   c o d e = " 0 x e a 1 6 "   n a m e = " u n i E A 1 6 " / >   #   数 字   5         < m a p   c o d e = " 0 x e e 7 6 "   n a m e = " u n i E E 7 6 " / >   #   数 字   0         < m a p   c o d e = " 0 x e f d 4 "   n a m e = " u n i E F D 4 " / >   #   数 字   8         < m a p   c o d e = " 0 x f 1 9 a "   n a m e = " u n i F 1 9 A " / >   #   数 字   3         < m a p   c o d e = " 0 x f 5 7 b "   n a m e = " u n i F 5 7 B " / >   #   数 字   1       < m a p   c o d e = " 0 x f 5 9 3 "   n a m e = " u n i F 5 9 3 " / >   #   数 字   4   < / c m a p _ f o r m a t _ 4 >   #   f o o d . w o f f   #   包 含   3   个 字 形 数 据 ： [ 0 1 2 ]   < c m a p _ f o r m a t _ 4   p l a t f o r m I D = " 0 "   p l a t E n c I D = " 3 "   l a n g u a g e = " 0 " >         < m a p   c o d e = " 0 x 7 8 "   n a m e = " x " / >         < m a p   c o d e = " 0 x e 5 5 6 "   n a m e = " u n i E 5 5 6 " / >   #   数 字   0  
要 实 现 自 动 识 别 文 字 ， 需 要 先 准 备 参 照 字 形 ， 也 就 是 人 为 地 准 备 数 字   0   ~   9   的 字 形 映 射 关 系 和 字 形 数 据 ， 如 ： 当 我 们 遇 到 目 标 网 站 上 其 他 字 体 文 件 时 ， 就 可 以 使 用 参 照 字 形 中 的 字 形 数 据 与 目 标 字 形 进 行 匹 配 ， 如 果 字 形 数 据 非 常 接 近 ， 就 认 为 这 两 个 字 形 描 述 的 是 相 同 的 文 字 。 字 形 数 据 包 含 记 录 字 形 名 称 和 字 形 起 止 坐 标 的   T T G l y p h   标 签 以 及 记 录 点 坐 标 的   p t   标 签 ， 起 止 坐 标 代 表 的 是 字 形 在 画 布 上 的 位 置 ， 点 坐 标 代 表 字 形 中 每 个 点 在 画 布 上 的 位 置 。 在 起 止 坐 标 中 ， x   轴 差 值 代 表 字 形 宽 度 ， y   轴 差 值 代 表 字 形 高 度 。 如 图   6 - 4 2   所 示 ， 两 个 字 形 的 起 止 坐 标 和 宽 高 都 有 很 大 的 差 别 ， 但 是 却 能 够 描 述 相 同 的 文 字 ， 所 以 字 形 在 画 布 中 的 位 置 并 不 会 影 响 描 述 的 文 字 ， 字 形 宽 度 和 字 形 高 度 也 不 会 影 响 描 述 的 文 字 。 图   6 - 4 2   描 述 相 同 文 字 的 两 个 字 形 点 坐 标 的 数 量 和 坐 标 值 可 以 作 为 比 较 条 件 吗 ？ 如 图   6 - 4 3   所 示 ， 两 个 不 同 文 字 的 字 形 数 据 是 不 一 样 的 。 虽 然 这 两 种 字 形 的   n a m e   都 是   u n i E 9 C 7 ， 但 是 字 形 数 据 中 大 部 分   p t   标 签   x   和   y   的 差 距 都 很 大 ， 所 以 我 们 可 以 判 定 这 两 个 字 形 描 述 的 并 不 是 同 一 个 文 字 。 你 可 能 会 想 到 点 的 数 量 也 可 以 作 为 排 除 条 件 ， 也 就 是 说 如 果 点 的 数 量 不 相 同 ， 那 么 这 个 两 个 字 形 描 述 的 就 不 是 同 一 个 文 字 。 真 的 是 这 样 吗 ？       < m a p   c o d e = " 0 x e 5 5 6 "   n a m e = " u n i E 5 5 6 " / >   #   数 字   0         < m a p   c o d e = " 0 x e 6 6 7 "   n a m e = " u n i E 6 6 7 " / >   #   数 字   1         < m a p   c o d e = " 0 x e 7 7 8 "   n a m e = " u n i E 7 7 8 " / >   #   数 字   2   < / c m a p _ f o r m a t _ 4 > #   0   和   7   与 字 形 名 称 的 映 射 伪 代 码 ， d a t a   键 对 应 的 值 是 字 形 数 据 f o n t _ m a p p i n g   =   [         { ' n a m e ' :   ' u n i E 9 C 7 ' ,   ' w o r d s ' :   ' 7 ' ,   ' d a t a ' :   ' u n i E 9 C 7 _ c o n t o u r _ p t ' } ,         { ' n a m e ' :   ' u n i E E 7 6 ' ,   ' w o r d s ' :   ' 0 ' ,   ' d a t a ' :   ' u n i E E 7 6 _ c o u n t r _ p t ' } ,   ]
图   6 - 4 3   描 述 不 同 文 字 的 字 形 数 据 对 比 在 图   6 - 4 4   中 ， 左 侧 描 述 文 字   7   的 字 形 有   1 7   个 点 ， 而 右 侧 描 述 文 字   7   的 字 形 却 有   2 0   个 点 。 对 应 的 字 形 信 息 如 图   6 - 4 5   所 示 。 图   6 - 4 4   描 述 相 同 文 字 的 字 形
图   6 - 4 5   描 述 相 同 文 字 的 字 形 信 息 虽 然 点 的 数 量 不 一 样 ， 但 是 它 们 的 字 形 并 没 有 太 大 的 变 化 ， 也 不 会 造 成 用 户 误 读 ， 所 以 点 的 数 量 并 不 能 作 为 排 除 不 同 字 形 的 条 件 。 因 此 ， 只 有 起 止 坐 标 和 点 坐 标 数 据 完 全 相 同 的 字 形 ， 描 述 的 才 是 相 同 字 符 。 6 . 4 . 3   字 体 反 爬 虫 绕 过 实 战 字 体 反 爬 虫 绕 过 实 战 要 确 定 两 组 字 形 数 据 描 述 的 是 否 为 相 同 字 符 ， 我 们 必 须 取 出   H T M L   中 对 应 的 字 形 数 据 ， 然 后 将 待 确 认 的 字 形 与 我 们 准 备 好 的 基 准 字 形 数 据 进 行 对 比 。 现 在 我 们 来 整 理 一 下 这 一 系 列 工 作 的 步 骤 。 ( 1 )   准 备 基 准 字 形 描 述 信 息 。 ( 2 )   访 问 目 标 网 页 。 ( 3 )   从 目 标 网 页 中 读 取 字 体 编 码 字 符 。 ( 4 )   下 载   W O F F   文 件 并 用   P y t h o n   代 码 打 开 。 ( 5 )   根 据 字 体 编 码 字 符 找 到   W O F F   文 件 中 的 字 形 轮 廓 信 息 。 ( 6 )   将 该 字 形 轮 廓 信 息 与 基 准 字 形 轮 廓 信 息 进 行 对 比 。 ( 7 )   得 出 对 比 结 果 。 我 们 先 完 成 前   4   个 步 骤 的 代 码 。 下 载   W O F F   文 件 并 将 其 中 字 形 描 述 的 文 字 与 人 类 认 知 的 文 字 进 行 映 射 。 由 于 字 形 数 据 比 较 庞 大 ， 所 以 我 们 可 以 将 字 形 数 据 进 行 散 列 计 算 ， 这 样 得 到 的 结 果 既 简 短 又 唯 一 ， 不 会 影 响 对 比 结 果 。 这 里 以 数 字   0   ~   9   为 例 ： b a s e _ f o n t   =   {     " f o n t " :   [ { " n a m e " :   " u n i E E 7 6 " ,   " v a l u e " :   " 0 " ,   " h e x " :   " f c 1 7 0 d b 1 5 6 3 e 6 6 5 4 7 e 9 1 0 0 c f 7 7 8 4 9 5 1 f " } ,     { " n a m e " :   " u n i F 5 7 B " ,   " v a l u e " :   " 1 " ,   " h e x " :   " 2 5 1 3 5 7 9 4 2 c 5 1 6 0 a 0 0 3 e e c 3 1 c 6 8 a 0 6 f 6 4 " } ,     { " n a m e " :   " u n i E 7 D F " ,   " v a l u e " :   " 2 " ,   " h e x " :   " 8 a 3 a b 2 e 9 c a 7 d b 2 b 1 3 c e 1 9 8 5 2 1 0 1 0 b d e 4 " } ,     { " n a m e " :   " u n i F 1 9 A " ,   " v a l u e " :   " 3 " ,   " h e x " :   " 7 1 2 e 4 b 5 a b d 0 b a 2 b 0 9 a f f 1 9 b e 8 9 e 7 5 1 4 6 " } ,     { " n a m e " :   " u n i F 5 9 3 " ,   " v a l u e " :   " 4 " ,   " h e x " :   " e 5 7 6 4 c 4 5 c f 9 d e 7 f 0 a 4 a d a 6 b 0 3 7 0 b 8 1 a 1 " } ,     { " n a m e " :   " u n i E A 1 6 " ,   " v a l u e " :   " 5 " ,   " h e x " :   " c 6 3 1 a b b 5 e 4 0 8 1 4 6 e b 1 a 1 7 d b 4 1 1 3 f 8 7 8 f " } ,     { " n a m e " :   " u n i E 3 3 9 " ,   " v a l u e " :   " 6 " ,   " h e x " :   " 0 8 3 3 d 3 b 4 f 6 1 f 0 2 2 5 8 2 1 7 4 2 1 b 4 e 4 b d e 2 4 " } ,  
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理