搜索

[11029] 2017-02-15_如何从新闻中识别骗子们的小套路

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-18
2017-02-15_如何从新闻中识别骗子们的小套路 如 何 从 新 闻 中 识 别 骗 子 们 的 小 套 路 西 角 边 的 M R   F r e e B u f   2 0 1 7 - 0 2 - 1 5 * 原 创 作 者 ： 西 角 边 的 M R ， 本 文 属 F r e e B u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载   电 信 诈 骗 猖 獗 盛 行 ， 成 为 国 家 的 重 点 打 击 对 象 ， 但 是 我 们 身 边 亲 朋 好 友 被 骗 的 悲 剧 还 在 屡 屡 发 生 。 小 作 者 思 考 也 许 我 们 可 电 信 诈 骗 猖 獗 盛 行 ， 成 为 国 家 的 重 点 打 击 对 象 ， 但 是 我 们 身 边 亲 朋 好 友 被 骗 的 悲 剧 还 在 屡 屡 发 生 。 小 作 者 思 考 也 许 我 们 可 以 从 新 闻 中 提 取 电 信 诈 骗 的 特 征 信 息 ， 为 家 里 的 长 辈 亲 人 提 个 醒 ， 做 到 防 患 于 为 然 。 以 从 新 闻 中 提 取 电 信 诈 骗 的 特 征 信 息 ， 为 家 里 的 长 辈 亲 人 提 个 醒 ， 做 到 防 患 于 为 然 。 小 作 者 以 某 新 闻 网 站 为 平 台 ， 对 电 信 诈 骗 的 相 关 新 闻 进 行 了 提 取 和 分 析 ， 试 图 从 获 取 的 信 息 中 分 析 出 诈 骗 分 子 的 小 “ 套 路 ” 。 （ P S ： 一 次 写 文 章 ， 希 望 能 给 大 家 提 供 一 个 从 新 闻 构 建 模 型 的 思 路 ， 不 足 之 处 请 各 位 大 大 们 指 正 ） 一 、 开 始 采 集 了 一 、 开 始 采 集 了 获 取 信 息 当 然 要 需 要 爬 虫 了 ， 这 是 我 使 用 的 库 ： 小 作 者 首 先 对 某 大 型 网 站 进 行 了 浏 览 ， 在 搜 索 栏 中 搜 索 了 关 于 电 信 诈 骗 类 的 新 闻 报 道 ， 但 是 翻 页 过 程 中 它 的 u r l 好 像 并 没 有 发 生 什 么 变 化 ， f i r e f o x 的 也 没 有 看 到 p o s t 和 g e t 。 但 是 在 看 了 他 页 码 的 l i n k 后 ， 还 是 有 点 小 激 动 的 ， 因 为 它 的 u r l 包 含 了 t o t a l P a g e = 6 3 & p a g e N u m = 2 这 两 个 内 容 ， 那 就 自 己 写 u r l 吧 。 B e a u t i f u l s o u p 是 一 个 强 大 的 库 ， 在 这 里 我 从 属 性 a 获 取 源 代 码 中 的 l i n k 。 至 于 r e q u e s t 库 是 因 为 小 作 者 发 现 使 用 u r l o p e n 打 开 网 站 的 源 代 码 和 r e q u e s t s + h e a d e r 的 内 容 不 同 ， r e q u e s t s 返 回 的 网 站 源 代 码 比 较 全 一 些 。 接 下 来 和 上 面 的 方 法 相 似 ， 再 采 集 每 个 网 站 中 所 有 l i n k , 把 它 写 道 一 个 l i s t 当 中 ， 然 后 我 们 就 要 分 析 我 们 需 求 网 站 u r l 的 特 点 ， 使 用 正 则 表 达 式 获 取 l i n k ， 下 面 贴 代 码 ：
获 取 到 l i n k 后 我 们 就 可 以 浏 览 新 闻 了 ， 我 们 也 该 获 取 新 闻 的 信 息 了 。 新 闻 种 类 千 千 万 ， 有 图 的 ， 没 有 图 的 ， 有 视 频 的 ， 没 视 频 的 ， 文 本 里 面 图 片 链 接 ， 段 落 属 性 一 大 堆 ， 看 的 我 是 着 实 s a d 。 先 不 管 它 全 都 抓 取 下 来 再 说 。 小 作 者 在 观 察 了 网 站 后 将 其 分 为 了 四 类 ， 有 的 是 文 本 是 夹 在 两 个 图 片 之 间 ， 有 的 是 纯 文 本 等 等 。 根 据 这 些 内 容 小 作 者 使 用 B e a u t i f u l s o u p 来 爬 取 下 来 所 有 内 容 （ B e a u t i f u l s o u p 确 实 强 大 ， 强 行 安 利 一 波 ） ， 当 然 爬 取 的 文 本 也 是 看 不 了 的 ， 还 好 我 们 只 需 要 中 文 内 容 和 数 字 就 可 以 了 。 那 就 正 则 表 达 式 吧 ， 因 为 使 用 的 是 g b k 编 码 ， 所 以 p a t t e r n = [ 0 - 9 x 8 0 - x f f ] + ， 如 果 是 u t f - 8 的 话 就 是 p a t t e r n = [ 0 - 9 u 4 e 0 0 - u 9 f a 5 ] + ， 下 面 贴 代 码 ： （ P S ： 大 家 在 用 的 时 候 一 定 要 注 意 编 码 类 型 ， 这 个 很 烦 人 。 ）
由 于 某 些 需 要 我 还 获 取 了 文 本 的 t i t l e , a u t h o r , h a s h 等 。 大 家 可 以 根 据 自 己 的 需 要 来 爬 取 相 应 的 内 容 。 二 、 下 来 进 行 关 键 词 提 取 二 、 下 来 进 行 关 键 词 提 取 为 什 么 p y t h o n 是 一 款 非 常 好 用 的 脚 本 语 言 呢 ？ 因 为 它 集 成 和 很 多 的 库 ， 这 里 又 可 以 给 大 家 安 利 一 下 j i e b a 的 中 文 分 词 词 库 ， 点 击 阅 读 原 文 获 取 它 的 地 址 。 p i p   i n s t a l l   j i e b a   p i p   i n s t a l l   j i e b a . a n a l y s e   这 里 小 作 者 使 用 的 是 j i e b a . a n a l y s e . e x t r a c t _ t a g s ( a , t o p K = 1 0 ) 函 数 ， a 是 文 本 内 容 的 s t r 变 量 ， t o p K 出 现 频 率 较 高 的 1 0 个 词 并 将 它 们 都 放 进 了 可 以 k e y w o r d 的 l i s t 里 面 ， 贴 源 码 ： 要 不 说 p y t h o n 好 用
三 、 关 键 词 处 理 三 、 关 键 词 处 理 我 们 获 取 了 每 篇 文 章 的 t o p 1 0 的 关 键 词 ， 小 作 者 目 前 正 在 看 《 p y t h o n 自 然 语 言 处 理 》 这 本 书 。 这 里 面 讲 解 了 文 本 特 征 ， 小 作 者 就 想 再 逼 真 的 诈 骗 情 形 和 真 实 的 情 形 总 会 有 所 出 入 ， 比 如 某 些 词 语 的 出 现 频 率 ， 位 置 等 会 和 普 通 文 本 的 有 所 差 异 ， 所 以 小 作 者 试 着 对 关 键 词 出 现 的 频 率 进 行 处 理 。 我 们 之 前 获 取 的 k e y w o r d 是 一 个 列 表 ， 里 面 有 很 多 重 复 的 词 ， 所 以 我 们 要 先 把 l i s t 转 为 s e t 格 式 例 如 : 如 果 使 用 的 是 p y t h o n 2 . 7 的 话 可 以 f r o m   c o l l e c t i o n s   i m p o r t   C o u n t e r ， 然 后 ： 小 作 者 目 前 也 只 写 到 这 里 了 ， 大 家 还 可 以 根 据 需 要 自 己 从 文 本 中 获 取 关 键 词 的 位 置 ， 类 型 ， 之 间 的 逻 辑 关 系 构 建 出 一 个 诈 骗 类 型 的 文 本 特 征 库 ， 当 然 这 也 都 是 后 话 了 。 小 作 者 目 前 也 在 朝 这 个 方 向 努 力 ， 希 望 小 作 者 能 为 大 家 提 供 一 个 处 理 电 信 诈 骗 案 件 的 思 路 ， 并 能 和 大 家 交 流 学 习 。 （ P S ： 一 定 要 注 意 编 码 ！ ！ ！ ） 最 后 贴 上 我 自 己 的 结 果 ： 由 于 年 还 没 过 完 ， 小 作 者 在 这 里 也 祝 大 家 新 年 快 乐 ， 多 看 F r e e b u f 涨 知 识 。 * 原 创 作 者 ： 西 角 边 的 M R ， 本 文 属 F r e e B u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 k e y w o r d 1   =   s e t ( k e y w o r d ) r e s u l t   =   { } f o r   k e y   i n   k e y w o r d 1 : c o u n t   =   k e y w o r d . c o u n t ( k e y ) r e s u l t [ k e y ]   =   c o u n t
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理