搜索

[11326] 2017-05-09_如何构建一个反电信网络诈骗基础模型

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-18
2017-05-09_如何构建一个反电信网络诈骗基础模型 如 何 构 建 一 个 反 电 信 网 络 诈 骗 基 础 模 型 西 角 边 的 M R   F r e e B u f   2 0 1 7 - 0 5 - 0 9 *   原 创 作 者 ： 西 角 边 的 M R ， 本 文 属 F r e e B u f 原 创 奖 励 计 划 ， 转 载 请 注 明 来 自 F r e e B u f . C O M   网 络 诈 骗 ， 电 信 诈 骗 层 出 不 穷 ， 花 样 翻 新 ， 防 不 胜 防 ， 伤 害 普 通 百 姓 利 益 。 本 文 通 过 对 目 前 社 会 上 关 于 网 络 电 信 诈 骗 新 闻 进 行 提 取 ， 从 中 分 析 当 前 网 络 诈 骗 发 展 趋 势 和 关 键 因 素 ， 进 而 构 建 合 理 的 反 诈 骗 模 型 。 1 、 对 关 键 词 分 析 爬 虫 获 取 了 网 站 关 于 电 信 诈 骗 的 新 闻 。
其 中 k e y w o r d 是 通 过 j i e b a 对 文 本 进 行 分 词 得 到 的 。 对 于 关 键 词 的 分 析 主 要 从 两 个 方 面 考 虑 ， 一 个 是 关 键 词 之 间 是 否 有 诈 骗 逻 辑 ， 第 二 是 对 具 有 诈 骗 逻 辑 的 关 键 词 进 一 步 分 析 ， 分 为 消 极 词 汇 （ 例 如 你 被 法 院 传 讯 了 ） 和 积 极 词 汇 （ 例 如 你 又 双 叒 叕 成 为 幸 运 观 众 了 ） ， 这 两 种 词 汇 在 诈 骗 中 对 受 害 者 产 生 的 心 理 影 响 是 不 同 的 。 1 、 首 先 笔 者 构 建 一 个 词 语 出 现 的 频 率 表 （ 指 标 矩 阵 ） 。 、 首 先 笔 者 构 建 一 个 词 语 出 现 的 频 率 表 （ 指 标 矩 阵 ） 。 由 于 爬 虫 爬 取 的 时 间 格 式 具 体 到 秒 ， 要 以 天 为 单 位 进 行 的 关 键 词 统 计 ， 实 现 方 法 是 以 时 间 为 索 引 构 建 时 间 和 关 键 词 词 典 。
时 间 和 关 键 词 的 指 标 矩 阵 如 上 图 所 示 ， 并 将 它 存 为 c s v 文 件 以 便 后 续 处 理 。 通 过 构 建 指 标 矩 阵 可 以 大 致 得 知 这 些 关 键 词 出 现 的 日 期 和 频 率 ， 为 后 期 构 建 关 键 词 词 组 打 下 基 础 。 2 、 对 于 关 键 词 分 析 、 对 于 关 键 词 分 析 接 下 来 用 p a n d a s 读 取 上 述 c s v 文 件 ， 获 得 一 个 D a t a f r a m e 类 型 的 变 量 来 处 理 。 假 设 对 于 同 一 天 出 现 在 同 一 篇 文 章 的 关 键 词 具 有 相 关 性 。 D a t a f r a m e 里 有 自 定 义 的 函 数 c o r r 可 以 求 得 每 个 c o l u m n 之 间 的 相 关 系 数 ， 经 过 i n d e x 转 换 后 得 到 一 张 相 关 性 系 数 表 。 经 过 计 算 后 ， 笔 者 发 现 这 里 面 的 相 关 性 系 数 有 正 有 负 ， 当 相 关 性 系 数 大 于 0 时 ， 可 以 认 为 这 个 词 组 存 在 诈 骗 逻 辑 。 对 于 变 量 大 于 0 的 情 况 ， 还 要 进 一 步 分 类 ， 计 算 它 们 的 情 感 态 度 值 。 通 过 查 阅 资 料 ， 笔 者 发 现 需 要 许 多 数 据 才 能 构 成 一 张 情 感 态 度 分 值 表 ， 所 以 笔 者 使 用 了 现 成 的 s n o w N L P 的 工 具 包 来 获 得 其 态 度 值 ， 并 以 0 . 5 为 界 限 进 行 积 极 和 消 极 分 类 ， 可 视 化 展 示 如 下 ：
以 c s v 的 形 式 存 储 获 取 的 数 据 ， 这 个 比 例 以 后 会 用 于 计 算 诈 骗 概 率 。 从 中 我 们 便 获 取 了 具 有 假 设 网 络 诈 骗 逻 辑 的 词 组 。 2 、 关 键 词 是 否 具 有 相 关 性 对 于 用 于 判 断 新 的 文 本 中 提 取 出 来 的 关 键 词 是 否 具 有 电 信 网 络 诈 骗 的 相 关 性 ， 我 们 可 以 尝 试 如 下 方 法 1 、 概 率 计 算 、 概 率 计 算 对 关 键 词 的 相 关 性 统 计 如 下 ：
从 图 中 可 以 知 道 大 部 分 词 语 之 间 都 是 不 能 构 成 诈 骗 逻 辑 ， 在 0 . 5 ， 0 . 7 5 和 1 左 右 只 有 很 少 一 部 分 词 语 。 如 果 数 据 量 够 大 的 话 或 许 可 以 采 用 这 种 方 法 。 所 以 并 不 建 议 使 用 此 类 方 法 。       2 、 分 类 方 法 、 分 类 方 法 对 于 获 取 的 词 组 ， 可 以 分 为 有 相 关 性 （ > 0 ） 和 没 有 相 关 性 的 （ < 0 ） 两 类 ， 构 建 为 机 器 学 习 样 本 （ { w o r d 1 : v a l u e , w o r d 2 : v a l u e , w o r d 3 : v a l u e } ， c l a s s : v a l u e ） 。 然 后 将 样 本 分 为 训 练 集 和 测 试 集 。 这 里 笔 者 分 别 使 用 了 朴 素 贝 叶 斯 的 方 法 和 决 策 树 的 方 法 并 进 行 了 比 较 。 这 个 分 类 器 可 以 自 己 尝 试 写 ， 也 可 以 使 用 n l t k 里 的 自 带 函 数 来 处 理 。 构 建 的 样 本 代 码 如 上 图 。
上 图 是 使 用 b a y e s 和 t r e e 进 行 分 类 ， 并 计 算 准 确 度 。 从 图 中 发 现 训 练 集 和 测 试 集 按 照 4 ： 1 进 行 分 类 时 ， 使 用 b a y e s 的 精 确 度 最 为 合 适 。 从 中 可 以 对 新 提 取 的 关 键 词 来 判 断 是 否 具 有 相 关 性 ， 而 这 个 相 关 性 也 就 是 指 符 合 电 信 网 络 诈 骗 的 逻 辑 思 维 。 对 于 具 有 这 种 相 关 性 的 新 词 组 ， 可 以 继 续 对 词 组 的 情 感 态 度 进 行 进 一 步 分 类 。 3 、 诈 骗 出 现 时 间 特 点 网 络 电 信 诈 骗 中 ， 时 间 因 素 也 是 一 个 很 重 要 的 参 量 。
一 般 节 假 日 是 案 件 的 高 发 期 ， 所 以 计 算 诈 骗 概 率 的 时 候 要 结 合 时 间 因 素 。 怎 样 对 时 间 采 样 可 以 获 得 一 个 比 较 准 确 的 概 率 预 测 ? 这 里 笔 者 采 用 了 以 季 度 为 单 位 和 以 月 份 为 单 位 的 预 测 模 型 。 笔 者 首 先 统 计 出 这 些 新 闻 出 现 的 大 致 变 化 趋 势 ， 新 闻 能 从 一 定 程 度 上 反 映 当 前 社 会 对 于 诈 骗 案 件 的 关 注 程 度 。 橙 黄 色 表 示 的 是 当 日 对 网 络 电 信 诈 骗 新 闻 的 报 道 篇 数 ， 红 色 表 示 一 周 左 右 的 一 个 移 动 平 均 数 ， 灰 色 是 移 动 平 均 标 准 差 。 从 中 大 致 可 以 看 出 电 信 网 络 诈 骗 的 出 现 频 率 大 致 上 是 随 某 一 热 度 时 间 出 现 。 为 了 能 够 更 好 的 分 别 热 度 出 现 的 时 间 阈 值 ， 笔 者 对 时 间 进 行 按 月 统 计 和 按 季 度 统 计 。     这 是 以 月 份 为 采 样 的 统 计 ， 并 进 行 了 拟 合 后 的 结 果 。 从 中 分 析 电 信 网 络 案 件 在 1 月 ， 9 月 呈 现 高 发 态 势 。
这 是 以 季 度 为 采 样 的 统 计 ， 并 进 行 了 拟 合 。 从 图 中 大 概 可 以 看 出 一 般 在 每 年 的 四 季 度 到 下 一 年 的 一 季 度 ， 每 年 的 暑 假 到 开 学 这 季 度 ， 电 信 网 络 诈 骗 案 件 呈 现 高 发 态 势 。 为 了 能 够 准 确 统 计 诈 骗 随 时 间 变 化 的 趋 势 ， 笔 者 使 用 类 似 决 策 树 算 法 的 方 法 来 计 算 两 种 采 样 频 率 的 信 息 熵 。
这 是 两 种 采 样 对 于 不 同 阶 数 的 拟 合 误 差 ， 如 下 图 所 示 ： 以 月 份 为 采 样 ， 对 于 不 同 阶 数 的 拟 合 误 差 。
以 季 度 为 采 样 ， 对 于 不 同 阶 数 的 拟 合 误 差 。 经 过 决 策 计 算 后 ， 以 季 度 为 采 样 频 率 的 计 算 反 映 诈 骗 随 时 间 变 化 的 趋 势 更 为 准 确 。 当 然 拟 合 曲 线 是 否 具 有 预 测 性 还 等 待 确 定 。 不 过 目 前 一 个 可 行 的 方 法 就 是 以 季 度 为 采 样 ， 统 计 各 个 季 度 的 出 现 频 率 并 使 用 回 归 模 型 预 测 （ 这 里 也 试 用 过 A R I M A 模 型 ， 但 是 并 没 有 将 这 个 划 归 为 平 稳 曲 线 ， 所 以 目 前 这 只 能 这 样 做 ） 。 4 、 结 论 1 、 电 信 网 络 诈 骗 中 ， 更 趋 向 于 使 用 一 些 积 极 词 汇 ， 例 如 中 奖 等 信 息 来 对 用 户 实 施 诈 骗 。 2 、 电 信 网 络 诈 骗 的 大 致 发 展 趋 势 是 上 一 年 的 最 后 季 度 和 年 初 的 第 一 季 度 ， 从 中 可 以 大 致 得 出 其 主 要 是 利 用 了 受 害 者 在 过 年 时 放 松 警 惕 ， 易 轻 信 他 人 的 特 点 。 3 、 每 年 的 开 学 季 也 是 电 信 网 络 诈 骗 的 一 个 次 要 高 峰 期 ， 这 一 阶 段 的 主 要 对 象 是 学 生 群 体 ， 利 用 家 长 ， 学 生 的 求 学 的 心 理 来 针 对 性 的 实 施 诈 骗 。 5 、 总 结 通 过 对 于 关 键 词 和 时 间 序 列 的 分 析 ， 在 构 建 网 络 及 电 信 诈 骗 模 型 的 时 候 ， 我 们 要 综 合 考 虑 一 下 几 点 ： 1 、 从 文 章 中 提 取 的 关 键 词 要 进 行 相 关 性 分 类 和 情 感 态 度 分 类 。 相 关 性 分 类 是 为 了 获 取 具 有 诈 骗 逻 辑 的 关 键 词 组 ， 情 感 态 度 分 类 是
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理