搜索

[14190] 2019-06-04_拒绝网络暴力！基于深度学习的网络欺凌检测模型

文档创建者：s7ckTeam
浏览次数：19
最后更新：2025-01-18
2019-06-04_拒绝网络暴力！基于深度学习的网络欺凌检测模型 拒 绝 网 络 暴 力 ！ 基 于 深 度 学 习 的 网 络 欺 凌 检 测 模 型 原 创   m s c b   F r e e B u f   2 0 1 9 - 0 6 - 0 4 网 络 暴 力 ， 或 者 说 网 络 欺 凌 ， 在 互 联 网 上 实 在 太 普 遍 。 如 果 你 没 有 受 到 过 网 络 暴 力 ， 那 你 很 有 可 能 不 是 一 个 有 多 年 网 络 使 用 经 验 的 人 。 网 络 暴 力 比 杠 精 还 可 恶 。 后 者 只 是 喜 欢 刷 存 在 感 ， 如 果 看 到 他 的 回 复 你 只 会 觉 得 很 烦 ， 因 为 你 知 道 他 讲 话 的 目 的 只 是 为 了 表 现 自 己 ， 凸 显 他 自 己 网 络 暴 力 比 杠 精 还 可 恶 。 后 者 只 是 喜 欢 刷 存 在 感 ， 如 果 看 到 他 的 回 复 你 只 会 觉 得 很 烦 ， 因 为 你 知 道 他 讲 话 的 目 的 只 是 为 了 表 现 自 己 ， 凸 显 他 自 己 “ 懂 懂 ” 的 比 你 多 ， 而 前 者 才 是 真 正 的 噩 的 比 你 多 ， 而 前 者 才 是 真 正 的 噩 梦 ， 他 是 带 有 目 的 性 的 语 言 暴 力 ， 网 络 施 暴 者 我 们 可 以 称 之 为 恶 魔 。 梦 ， 他 是 带 有 目 的 性 的 语 言 暴 力 ， 网 络 施 暴 者 我 们 可 以 称 之 为 恶 魔 。 会 遇 到 的 恶 魔 一 般 有 两 种 ， 一 种 是 纯 粹 的 心 理 变 态 ， 他 会 攻 击 在 网 络 上 遇 到 的 所 有 人 ， 没 有 什 么 理 由 ， 只 是 为 了 他 自 己 心 情 愉 悦 ， 就 是 我 们 俗 称 的 “ 戾 气 重 ” ， 负 能 量 的 携 带 者 。 另 外 一 种 是 ， 被 激 怒 的 人 ， 这 个 可 能 相 对 来 说 会 普 遍 一 点 。 一 般 发 生 在 一 些 问 题 的 争 论 上 ， 而 且 往 往 是 在 争 论 中 处 于 弱 势 的 一 方 。 而 且 这 类 人 大 部 分 来 源 与 前 文 所 说 的 杠 精 。 杠 精 到 恶 魔 的 转 变 ， 他 们 的 心 路 历 程 历 程 大 概 是 这 样 的 ： E :   看 见 一 个 问 题 - > E :   回 复 一 下 突 出 自 己 的 专 业 / 聪 明 / 与 众 不 同 - > O :   受 到 他 人 的 反 对 - > E :   断 章 取 义 的 反 驳 回 去 - > O :   他 人 有 理 有 据 的 反 对 - > E :   继 续 断 章 取 义 的 反 驳 回 去 ， 并 表 示 自 己 比 他 专 业 - > O :   他 人 继 续 有 理 有 据 的 反 对 - E :   知 道 自 己 处 于 弱 势 ， 开 始 语 言 暴 力 - > O :   他 人 继 续 回 复 - > E :   开 始 大 肆 语 言 暴 力 ， 直 到 对 方 示 弱 或 主 动 退 出 无 论 这 个 恶 魔 是 属 于 哪 一 种 ， 但 凡 你 在 自 己 的 帖 子 里 或 者 他 人 的 帖 子 里 看 到 相 关 的 回 复 ， 都 会 破 坏 自 己 一 天 的 好 心 情 。 网 络 暴 力 不 可 避 免 ， 至 少 现 阶 段 会 一 直 存 在 。 原 因 很 简 单 ： 1 、 网 络 相 对 来 说 比 较 匿 名 ， 就 算 是 实 名 制 的 平 台 ， 恶 魔 们 口 出 恶 言 的 心 里 压 力 也 会 比 生 活 中 小 很 多 ； 2 、 网 民 素 质 参 差 不 齐 ； 3 、 网 络 没 有 地 理 限 制 ， 唯 一 的 限 制 是 光 速 ， 所 以 你 每 天 在 网 络 上 遇 到 的 人 是 你 在 现 实 中 的 好 几 倍 ， 从 概 率 上 来 说 你 遇 到 的 暴 力 肯 定 会 比 现 实 中 多 。 信 息 的 重 要 性 信 息 的 重 要 性 我 们 现 在 的 社 会 ， 从 交 通 到 通 信 ， 基 础 设 施 越 来 越 完 善 ， 可 以 说 人 类 凭 一 己 之 力 ， 把 自 身 从 “ 双 脚 直 立 行 走 动 物 ” 提 升 到 “ 神 ” 的 阶 层 。 这 是 技 术 带 来 的 伟 大 成 就 。 可 是 人 类 的 心 智 却 没 有 随 着 科 技 的 发 展 而 发 展 。 人 类 能 轻 易 的 被 一 些 情 绪 影 响 ， 作 出 一 些 不 利 于 人 类 发 展 的 事 情 。 我 不 是 一 个 反 对 情 感 崇 尚 绝 对 理 智 的 人 ， 恰 恰 相 反 ， 我 认 为 人 类 有 情 绪 恰 恰 是 区 别 于 A I 的 地 方 ， 如 果 一 个 人 类 （ 有 意 识 体 ） 他 不 再 有 情 绪 那 他 还 是 属 于 人 类 吗 ？ 这 个 问 题 就 留 给 哲 学 家 们 讨 论 ， 我 们 暂 且 不 管 。 我 只 是 觉 得 ， 未 来 ， 情 绪 控 制 是 否 也 可 以 像 交 通 网 络 等 基 础 设 施 一 样 可 供 人 类 自 由 选 择 。 如 何 去 有 效 控 制 情 绪 ？ 在 人 类 彻 底 了 解 大 脑 前 ， 可 能 没 有 太 大 的 讨 论 余 地 。 不 过 我 们 可 以 “ 曲 线 救 国 ” ， 从 信 息 源 入 手 。 自 从 互 联 网 建 立 以 来 ， 人 类 虽 然 接 受 的 信 息 越 来 越 多 ， 但 信 息 来 源 却 越 来 越 趋 于 统 一 。 随 着 A I 技 术 的 发 展 ， “ 相 关 利 益 团 体 ” 可 以 在 A I 技 术 的 辅 助 下 ， 有 效 的 对 信 息 源 进 行 选 择 性 投 递 ， 从 某 种 意 义 上 来 说 这 让 “ 群 体 统 一 思 想 ” 的 建 立 成 为 了 可 能 。 之 前 F a c e b o o k 陷 入 多 “ 剑 桥 分 析 ” 事 件 ， 就 让 很 多 人 第 一 次 意 识 到 ， 现 阶 段 自 己 可 能 都 没 法 独 立 自 由 作 出 个 人 决 定 。 我 想 这 已 经 不 是 危 言 耸 听 了 ， 大 家 其 实 都 已 经 意 识 到 。 另 外 ， 我 们 经 常 谈 到 的 ， 家 庭 环 境 / 成 长 环 境 对 一 个 人 有 很 大 印 象 ， 其 实 他 们 的 本 质 是 在 不 同 环 境 下 你 收 到 的 信 息 不 同 ， 这 些 信 息 会 在 你 的 成 长 中 ， 渐 渐 成 为 你 的 一 部 分 。 著 名 的 科 学 家 薛 定 谔 在 他 的 一 本 生 物 学 著 作 《 生 命 是 什 么 》 ， 就 提 出 了 “ 生 命 以 负 熵 为 食 ” ， 即 “ 生 命 依 靠 从 外 部 环 境 摄 取 负 熵 来 维 持 和 发 展 。 ” ， 我 更 倾 向 于 把 “ 负 熵 ” 当 作 消 除 混 乱 度 的 信 息 。 所 以 ， 我 主 要 想 表 达 是 ， 你 接 受 到 哪 些 信 息 ， 很 大 概 率 会 让 你 变 成 哪 类 人 。 如 果 一 个 人 大 部 分 时 间 都 在 接 受 网 络 暴 力 ， 那 他 的 心 智 肯 对 会 出 现 一 些 异 常 。 于 己 于 社 会 都 不 是 件 好 事 情 。 用 上 用 上 A I 技 术 技 术 控 制 信 息 来 源 的 ， 是 一 个 控 制 情 绪 的 好 办 法 ， 过 滤 掉 一 些 充 满 戾 气 、 充 满 负 能 力 的 信 息 ， 生 活 会 更 美 好 ， 人 生 会 更 加 积 极 向 上 ！ 传 统 互 联 网 ， 要 过 滤 这 些 糟 粕 ， 无 非 就 是 人 工 审 查 、 关 键 词 屏 蔽 。 前 者 的 优 势 在 于 准 确 率 高 ， 劣 势 是 价 格 昂 贵 ， 效 率 低 。 后 者 的 优 势 是 成 本 低 且 速 度 快 ， 劣 势 是 准 确 率 不 够 高 。
A I 技 术 经 历 了 3 次 寒 冬 ， 这 一 次 得 益 于 大 数 据 和 计 算 能 力 的 巨 大 提 升 ， 使 用 变 得 越 来 越 广 泛 。 人 们 渐 渐 发 现 深 度 学 习 等 相 关 技 术 ， 它 们 展 现 出 的 对 现 实 世 界 的 强 大 建 模 能 力 ， 确 实 对 我 们 有 很 大 帮 助 。 我 也 看 到 越 来 越 多 的 公 司 开 始 A l l   i n   A I ， 相 关 技 术 的 应 用 已 经 遍 布 我 们 周 围 了 。 人 脸 手 机 解 锁 ， 人 脸 识 别 支 付 ， 车 牌 识 别 ， 交 通 拥 堵 检 测 ， 信 用 卡 欺 诈 检 测 等 等 ， 甚 至 我 们 前 段 时 间 很 火 的 “ 第 一 张 黑 洞 照 片 ” ， 也 是 依 托 于 A I 、 大 数 据 相 关 算 法 处 理 的 。 如 果 仔 细 思 考 ， 你 会 发 现 A I 最 大 的 优 势 在 于 ， 很 擅 长 做 一 些 ” 低 智 能 “ 且 重 复 性 高 的 任 务 ， 比 如 车 牌 识 别 ， 这 个 人 类 很 轻 松 能 做 到 ， 但 长 期 且 重 复 的 做 就 很 难 了 。 随 着 A I 技 术 的 发 展 ， 业 界 的 大 牛 ， 已 经 发 明 出 很 多 做 N L P （ 自 然 语 言 处 理 ） 效 果 很 好 的 模 型 和 网 络 。 几 乎 每 年 都 能 看 到 一 些 突 破 ， 比 如 今 年 的 G o o g l e 的 B e r t 模 型 还 有 O p e n A I   G P T 这 种 。 总 的 来 说 ， 现 阶 段 靠 深 度 学 习 已 经 可 以 得 到 一 些 尚 可 接 受 成 果 。 我 们 可 以 通 过 主 动 检 测 加 过 滤 主 动 检 测 加 过 滤 的 方 法 ， 来 有 效 控 制 低 质 的 信 息 流 入 控 制 低 质 的 信 息 流 入 。 这 篇 文 章 的 后 半 部 分 我 们 来 做 一 个 不 算 复 杂 的 神 经 网 络 来 检 测 网 络 暴 力 。 搞 一 个 搞 一 个 A I 出 来 出 来 要 检 测 一 段 话 是 否 网 络 暴 力 ， 实 际 上 是 一 个 比 较 简 单 的 任 务 。 因 为 网 络 暴 力 实 际 上 大 部 分 都 是 人 身 攻 击 ， 这 对 机 器 来 说 不 是 什 么 难 题 。 所 有 人 都 可 以 训 练 一 个 自 己 的 模 型 出 来 ， 只 要 你 稍 微 有 一 点 点 机 器 学 习 、 深 度 学 习 的 基 础 知 识 ， 就 可 以 很 轻 松 的 实 现 。 但 也 有 难 的 地 方 ， 就 是 由 于 语 言 的 博 大 精 深 ， 以 及 每 个 人 的 情 况 都 不 一 样 ， 有 时 候 的 一 些 攻 击 可 能 是 针 对 个 人 的 ， 从 你 个 人 的 缺 陷 角 度 出 发 进 行 攻 击 。 这 就 束 手 无 策 了 ， 因 为 只 要 能 掌 握 一 个 人 的 弱 点 ， 就 能 用 最 “ 友 好 ” 的 语 言 ， 讲 最 狠 的 话 ， 行 最 大 的 恶 。 这 些 就 不 是 我 们 这 篇 文 章 需 要 的 关 注 的 了 ， 我 们 的 目 标 是 要 检 测 陌 生 人 的 恶 毒 言 论 ， 所 有 基 本 上 都 是 一 些 人 身 攻 击 啊 ， 脏 话 啊 等 等 。 这 对 人 工 智 能 来 说 ， 任 务 就 比 较 明 确 的 ， 通 过 不 断 的 迭 代 ， 找 出 哪 些 词 语 于 网 络 暴 力 相 关 ， 以 及 哪 些 词 语 的 组 合 顺 序 也 算 是 网 络 暴 力 等 等 。 这 些 我 们 使 用 人 工 编 码 的 方 式 当 然 也 可 以 做 到 ， 但 肯 定 不 如 让 机 器 自 己 去 学 习 这 些 特 征 并 辨 别 来 的 有 意 思 。 对 了 ， 还 有 一 个 需 要 注 意 的 地 方 ， 网 络 暴 力 是 人 身 攻 击 、 辱 骂 等 不 友 善 的 行 为 ， 并 不 是 别 人 反 对 你 的 言 论 ， 让 你 觉 得 丢 脸 了 ， 将 觉 得 他 就 是 网 络 暴 力 ， 这 是 两 码 事 。 对 了 ， 还 有 一 个 需 要 注 意 的 地 方 ， 网 络 暴 力 是 人 身 攻 击 、 辱 骂 等 不 友 善 的 行 为 ， 并 不 是 别 人 反 对 你 的 言 论 ， 让 你 觉 得 丢 脸 了 ， 将 觉 得 他 就 是 网 络 暴 力 ， 这 是 两 码 事 。 数 据 获 取 数 据 获 取 要 训 练 一 个 模 型 ， 最 重 要 的 就 是 要 有 数 据 。 数 据 就 是 信 息 ， 模 型 就 是 通 过 从 外 界 获 取 信 息 ， 然 后 不 断 的 迭 代 计 算 （ 梯 度 下 降 ） ， 再 编 码 到 自 己 的 网 络 （ 权 重 ） 里 。 这 样 就 形 成 了 他 自 己 的 “ 世 界 观 ” ， 下 一 次 看 到 需 要 判 别 的 数 据 ， 它 就 会 利 用 自 己 的 “ 三 观 ” 发 表 看 法 （ 预 测 ） 。 而 我 们 作 为 它 的 建 造 师 ， 肯 定 是 希 望 它 的 “ 三 观 ” 要 正 ， 所 以 在 有 监 督 的 学 习 里 ， 数 据 必 须 是 要 标 注 过 的 。 我 们 需 要 一 大 堆 数 据 ， 这 对 数 据 的 内 容 是 网 友 发 表 的 文 字 ， 其 中 有 一 些 是 网 络 暴 力 的 言 论 ， 有 一 些 是 正 常 的 言 论 。 数 据 格 式 数 据 格 式 如 果 你 没 有 k a g g l e 账 户 ， 可 以 到 我 的 G i t h u b 项 目 里 ， 下 载 “ D a t a s e t   f o r   D e t e c t i o n   o f   C y b e r - T r o l l s . j s o n ” 这 个 文 件 ： 【 传 送 门 】 下 载 以 后 ， 我 们 可 以 用 文 本 软 件 打 开 。 数 据 大 概 是 这 样 可 以 看 到 ， 它 其 实 并 不 是 标 准 的 j s o n 格 式 ， 如 果 直 接 读 入 ， 会 解 析 不 了 。 其 实 它 是 每 一 行 一 个 J S O N 对 象 ， 一 个 J S O N 对 象 是 一 个 标 注 数 据 。 所 以 你 应 该 一 行 一 行 的 读 入 并 解 析 才 行 。 我 们 再 来 看 一 下 数 据 结 构 { " c o n t e n t " :   " G e t   f u c k i n g   r e a l   d u d e . " , " a n n o t a t i o n " : { " n o t e s " : " " , " l a b e l " : [ " 1 " ] } , " e x t r a s " : n u l l , " m e t a d a t a " : { " f i r s t _ d o n e _ a t " : 1 5 2 7 5 0 3 4 2 6 0 0 0 , " l a s t _ u p d a t e d _ a t " : 1 5 2 7 5 0 3 4 2 6 0 0 0 , " s e c _ t a k e n " { " c o n t e n t " :   " S h e   i s   a s   d i r t y   a s   t h e y   c o m e     a n d   t h a t   c r o o k   R e n g e l     t h e   D e m s   a r e   s o   f u c k i n g   c o r r u p t   i t ' s   a   j o k e .   M a k e   R e p u b l i c a n s   l o o k   l i k e     . . . " , " a n n o t a t i o n " : { " n o t e s " : " " , " l a b e l " { " c o n t e n t " :   " w h y   d i d   y o u   f u c k   i t   u p .   I   c o u l d   d o   i t   a l l   d a y   t o o .   L e t ' s   d o   i t   w h e n   y o u   h a v e   a n   h o u r .   P i n g   m e   l a t e r   t o   s c h e d   w r i t i n g   a   b o o k   h e r e . " , " a n n o t a t i o n " : { " n o t e s " : " " , " l a b e l " { " {     " c o n t e n t " :   " G e t   f u c k i n g   r e a l   d u d e . " ,     " a n n o t a t i o n " : {         " n o t e s " : " " ,         " l a b e l " : [ " 1 " ]     } ,     " e x t r a s " : n u l l ,     " m e t a d a t a " : {         " f i r s t _ d o n e _ a t " : 1 5 2 7 5 0 3 4 2 6 0 0 0 ,         " l a s t _ u p d a t e d _ a t " : 1 5 2 7 5 0 3 4 2 6 0 0 0 ,         " s e c _ t a k e n " : 0 ,         " l a s t _ u p d a t e d _ b y " : " j I 6 7 a E 5 h w w d h 6 l 1 6 b c f F V n p y R E d 2 " ,         " s t a t u s " : " d o n e " ,         " e v a l u a t i o n " : " N O N E "     } }
第 一 个 是 “ c o n t e n t ” 毋 庸 置 疑 ， 就 是 我 们 需 要 的 数 据 了 。 然 后 接 下 来 是 “ a n n o t a t i o n ” 标 注 信 息 ， ” a n n o t a t i o n ” 里 面 的 “ l a b e l ” 字 段 就 是 我 们 需 要 的 数 据 标 签 。 1   表 示 网 络 暴 力 ， 表 示 网 络 暴 力 ， 0   表 示 正 常 文 本 表 示 正 常 文 本 我 们 只 要 取 出 和 这 2 个 数 据 就 可 以 了 ， 其 余 的 数 据 我 们 就 不 管 ， 直 接 忽 略 即 可 。 好 了 ， 开 始 工 作 包 导 入 包 导 入 要 训 练 A I 模 型 ， 我 们 当 然 是 使 用 p y t h o n 啦 ， 所 以 p y t h o n 3 肯 定 要 先 装 好 。 然 后 我 们 使 用 K e r a s 这 个 深 度 学 习 库 ， 以 T e n s o r f l o w 作 为 K e r a s 的 b a c k e n d 。 所 以 也 要 先 装 好 以 及 。 顺 便 提 一 下 ， 现 在 K e r a s 已 经 差 不 多 算 是 集 成 到 t e n s o r f l o w 里 面 了 ， 你 可 以 直 接 用 了 ， 但 我 这 里 还 是 用 原 来 的 k e r a s 。 接 着 我 们 导 入 包 I N P U T _ D I R 只 是 一 个 我 自 己 定 义 的 变 量 ， 用 于 定 位 等 一 下 输 入 数 据 文 件 夹 位 置 。 数 据 处 理 数 据 处 理 首 先 我 们 需 要 导 入 数 据 。 先 打 开 对 应 的 数 据 集 ， 然 后 我 定 义 了 2 个 数 组 变 量 来 保 存 数 据 ， 分 别 为 网 络 暴 力 数 据 和 友 好 数 据 。 接 下 来 就 是 依 次 一 行 一 行 读 入 文 本 数 据 ， 并 转 换 为 j s o n 对 象 ， 然 后 分 离 出 以 及 ， 保 存 到 一 个 数 据 结 构 里 面 ， 数 据 结 构 如 下 最 后 根 据 标 签 信 息 ， 分 别 添 加 到 对 应 的 数 组 变 量 里 面 。 代 码 如 下 ： 执 行 这 个 代 码 ， 会 输 出 ： 显 而 易 见 ， 结 果 并 不 平 衡 ， 欺 凌 数 据 个 数 远 远 小 于 友 好 数 据 个 数 ， 如 果 我 们 把 这 个 数 据 传 入 神 经 网 络 训 练 。 我 们 的 模 型 会 开 始 耍 小 聪 明 ， 它 会 把 所 有 的 输 出 都 设 置 为 0 （ 即 非 网 络 暴 力 ） ， 这 样 就 能 达 到 6 0 . 9 % 的 准 确 率 。 这 显 然 不 是 我 们 希 望 的 结 果 。 我 们 不 希 望 我 们 的 A I 耍 小 聪 明 ， 我 们 希 望 它 真 的 能 从 数 据 中 学 到 点 什 么 ， 而 不 是 只 学 会 了 自 欺 欺 人 。 这 属 于 数 据 不 均 衡 的 问 题 ， 业 界 也 有 提 出 各 种 各 样 的 解 决 方 案 。 我 们 就 简 单 粗 暴 一 点 ， 直 接 把 欺 凌 数 据 再 复 制 一 份 加 到 原 来 的 数 据 集 里 面 。 不 过 肯 定 不 好 直 接 复 制 ， 我 们 会 对 复 制 的 那 一 份 加 一 点 随 机 的 扰 动 。 代 码 如 下 ： } j s o n [ ' c o n t e n t ' ] j s o n [ ' a n n o t a t i o n ' ] [ ' l a b e l ' ] [ 0 ] K e r a s T e n s o r f l o w f r o m   t e n s o r f l o w   i m p o r t   k e r a s i m p o r t   n u m p y   a s   n p i m p o r t   k e r a s i m p o r t   o s i m p o r t   j s o n I N P U T _ D I R   =   ' . / ' T r o l l s D a t a N o n T r o l l s D a t a c o n t e n t l a b e l { " c o n t e n t " : " h e l l o   h e l l o   h e l l o " , " a n n o t a t i o n " : 0   } f   =   o p e n ( I N P U T _ D I R + ' D a t a s e t   f o r   D e t e c t i o n   o f   C y b e r - T r o l l s . j s o n ' ) T r o l l s D a t a   =   [ ]   #   L a b e l   为   1 N o n T r o l l s D a t a   =   [ ]   #   L a b e l   为   0 f o r   i   i n   f :         t e m p   =   j s o n . l o a d s ( i )         c o n t e n t   =   t e m p [ ' c o n t e n t ' ]         l a b e l   =   i n t ( t e m p [ ' a n n o t a t i o n ' ] [ ' l a b e l ' ] [ 0 ] )         D a t a   =   {                 " c o n t e n t " : c o n t e n t ,                 " a n n o t a t i o n " : l a b e l         }         i f   l a b e l   = =   0 :                 N o n T r o l l s D a t a . a p p e n d ( D a t a )         e l s e :                 T r o l l s D a t a . a p p e n d ( D a t a ) f . c l o s e ( ) p r i n t ( ' 数 据 总 数 ： % d ,   欺 凌 数 据 个 数 ： % d ,   友 好 数 据 个 数 ： % d '   %   ( l e n ( T r o l l s D a t a ) + l e n ( N o n T r o l l s D a t a ) , l e n ( T r o l l s D a t a ) , l e n ( N o n T r o l l s D a t a ) ) ) 数 据 总 数 ： 2 0 0 0 1 ,   欺 凌 数 据 个 数 ： 7 8 2 2 ,   友 好 数 据 个 数 ： 1 2 1 7 9 i m p o r t   r a n d o m   i m p o r t   c o p y n e w _ t e m p _ T r o l l s D a t a   =     c o p y . d e e p c o p y ( T r o l l s D a t a ) r a n d o m . s h u f f l e ( n e w _ t e m p _ T r o l l s D a t a ) f o r   i   i n   r a n g e ( l e n ( n e w _ t e m p _ T r o l l s D a t a ) ) :         c o n t e n t   =   T r o l l s D a t a [ i ] [ ' c o n t e n t ' ] . s p l i t ( '   ' )         c o n t e n t _ l e n   =   l e n ( c o n t e n t )         r   =   r a n d o m . r a n d i n t ( 0 , c o n t e n t _ l e n   -   1 )         n e w _ t e m p _ T r o l l s D a t a [ i ] [ ' c o n t e n t ' ]   + =   '   '   +   c o n t e n t [ r ]         r   =   r a n d o m . r a n d i n t ( 0 , c o n t e n t _ l e n   -   1 )         n e w _ t e m p _ T r o l l s D a t a [ i ] [ ' c o n t e n t ' ]   + =   '   '   +   c o n t e n t [ r ]
原 理 很 简 单 ， 新 复 制 一 份 ， 然 后 打 乱 它 的 顺 序 ， 再 从 源 数 组 对 应 下 标 的 数 据 里 ， 随 机 提 取 2 个 单 词 ， 加 到 新 数 据 的 的 末 尾 。 这 段 代 码 结 果 输 出 为 ： 好 吧 ！ 又 多 了 一 些 ， 我 们 直 接 截 断 就 好 了 。 代 码 执 行 结 果 ： 这 下 完 美 了 ～ 然 后 就 是 ， 把 这 2 段 数 据 整 合 起 来 ， 并 打 乱 它 们 的 顺 序 ， 以 实 现 欺 凌 数 据 和 非 欺 凌 数 据 能 随 机 交 替 出 现 。 代 码 如 下 ： 现 在 数 据 都 在 这 个 数 组 里 了 。 建 立 词 表 建 立 词 表 我 们 的 想 法 是 要 建 立 一 个 单 词 的 映 射 表 ， 比 如 “ h e l l o   !   H o w   a r e   y o u ? ” 这 一 句 话 ， 我 们 希 望 能 提 取 出 4 个 单 词 、 、 和 ， 如 何 依 次 给 他 们 一 个 唯 一 的 I D 。 这 里 的 词 表 我 希 望 按 照 出 现 的 频 率 来 排 序 ， 并 赋 予 I D 。 因 此 我 们 先 来 计 算 一 下 词 频 。 把 词 频 保 存 在 W o r d F r e 这 个 D i c t 对 象 里 。 代 码 如 下 是 k e r a s 提 供 的 一 个 文 本 预 处 理 函 数 ， 它 可 以 把 一 个 文 本 ， 处 理 为 一 个 单 词 数 组 ， 比 如 “ h e l l o   !   H o w   a r e   y o u ? ” ， 它 会 返 回 ， 它 会 去 掉 这 些 标 点 符 号 ， 然 后 把 单 词 全 部 转 换 为 小 写 的 。 词 频 建 立 成 功 以 后 ， 我 们 再 根 据 词 频 里 的 词 语 顺 序 ， 给 他 们 赋 予 I D ， 并 写 到 W o r d I d x 变 量 里 t h r e s h o l d 表 示 阀 门 ， 对 于 出 现 频 率 小 于 这 个 阀 门 的 词 不 给 他 赋 予 I D 的 权 利 。 最 后 在 词 表 末 尾 ， 写 入 2 个 新 词 和 ， 前 者 是 表 示 填 充 字 符 ， 后 者 表 示 未 知 字 符 （ 即 遇 见 的 词 没 有 在 词 表 里 面 的 ） 。 完 成 以 后 ， 把 词 表 大 小 赋 值 给 变 量 。 再 把 结 果 写 的 w o r d . j s o n 这 个 文 件 里 面 ， 你 可 以 在 G i t h u b 里 下 载 到 这 个 文 件 h t t p s : / / g i t h u b . c o m / m s c b 4 0 2 / C y b e r t r o l l s - D e t e c t i o n / 建 立 模 型 建 立 模 型 我 们 由 于 文 本 是 序 列 数 据 ， 所 以 使 用 一 个 可 以 学 习 序 列 规 律 的 网 络 R N N （ 循 环 神 经 网 络 ） 来 学 习 。 这 边 我 选 择 的 R N N 类 型 是 G R U ， 因 为 它 相 比 于 L S T M ， 参 数 小 一 点 ， 节 省 训 练 时 间 。 T r o l l s D a t a   + =   n e w _ t e m p _ T r o l l s D a t a p r i n t ( ' 现 在 欺 凌 数 据 个 数 : % d ' % l e n ( T r o l l s D a t a ) ) 现 在 欺 凌 数 据 个 数 : 1 5 6 4 4 T r o l l s D a t a   =   T r o l l s D a t a [ : 1 2 1 7 9 ] p r i n t ( ' 数 据 总 数 ： % d ,   欺 凌 数 据 个 数 ： % d ,   友 好 数 据 个 数 ： % d '   %   ( l e n ( T r o l l s D a t a ) + l e n ( N o n T r o l l s D a t a ) , l e n ( T r o l l s D a t a ) , l e n ( N o n T r o l l s D a t a ) ) ) 数 据 总 数 ： 2 4 3 5 8 ,   欺 凌 数 据 个 数 ： 1 2 1 7 9 ,   友 好 数 据 个 数 ： 1 2 1 7 9 D a t a   =   T r o l l s D a t a   +   N o n T r o l l s D a t a r a n d o m . s h u f f l e ( D a t a ) D a t a h e l l o H o w a r e y o u i m p o r t   r e W o r d F r e   =   { }   # 词 频 f o r   d   i n   D a t a :         c o n t e n t   =   k e r a s . p r e p r o c e s s i n g . t e x t . t e x t _ t o _ w o r d _ s e q u e n c e ( d [ ' c o n t e n t ' ] )         f o r   c   i n   c o n t e n t :                 i f   c   = =   ' ' :                         c o n t i n u e                 w o r d   =   c . l o w e r ( )                 i f   W o r d F r e . g e t ( w o r d , N o n e )   = =   N o n e :                         W o r d F r e [ w o r d ]   =   0                 W o r d F r e [ w o r d ]   + =   1 k e r a s . p r e p r o c e s s i n g . t e x t . t e x t _ t o _ w o r d _ s e q u e n c e [ ' h e l l o ' ,   ' h o w ' ,   ' a r e ' ,   ' y o u ' ] t h r e s h o l d   =   1 0 W o r d I d x   =   { } i n d x   =   0 f o r   w   i n   s o r t e d ( W o r d F r e . i t e m s ( ) , k e y = l a m b d a   x : x [ 1 ] , r e v e r s e = T r u e ) :         k e y   =   w [ 0 ]         f r e   =   w [ 1 ]         i f   f r e   <   t h r e s h o l d :                 c o n t i n u e         i n d x   + =   1         W o r d I d x [ k e y ]   =   i n d x W o r d I d x [ ' _ P A D _ ' ]   =   i n d x + 1 , W o r d I d x [ ' _ U N K _ ' ]   =   i n d x + 2 _ P A D _ _ U N K _ W o r d I d x L e n W o r d I d x L e n   =   l e n ( W o r d I d x ) j s o n . d u m p ( W o r d I d x , o p e n ( ' w o r d . j s o n ' , ' w ' ) ) f r o m   k e r a s . m o d e l s   i m p o r t   S e q u e n t i a l f r o m   k e r a s . l a y e r s   i m p o r t   D e n s e ,   A c t i v a t i o n , E m b e d d i n g , B i d i r e c t i o n a l , G R U , F l a t t e n , D r o p o u t f r o m   k e r a s   i m p o r t   r e g u l a r i z e r s m o d e l   =   k e r a s . m o d e l s . S e q u e n t i a l ( ) m o d e l . a d d ( E m b e d d i n g ( i n p u t _ d i m = W o r d I d x L e n + 1 , o u t p u t _ d i m = 5 0 , m a s k _ z e r o = T r u e ) ) m o d e l . a d d ( B i d i r e c t i o n a l ( G R U ( 6 4 , r e t u r n _ s e q u e n c e s = F a l s e , d r o p o u t = 0 . 4 ) ) ) m o d e l . a d d ( D e n s e ( u n i t s = 3 2 , a c t i v a t i o n = ' r e l u ' , k e r n e l _ r e g u l a r i z e r = r e g u l a r i z e r s . l 2 ( 0 . 0 1 ) ) )
对 了 ， 前 面 我 们 虽 然 建 立 了 词 表 ， 但 是 词 表 的 I D 仅 仅 和 频 率 有 关 ， 这 显 然 不 够 友 好 。 我 们 希 望 我 们 的 网 络 还 能 学 到 一 些 词 语 和 词 语 之 间 的 关 系 ， 比 如 W o r d 2 V e c 就 是 做 这 个 事 情 的 ， 有 兴 趣 的 同 学 可 以 看 看 。 所 以 这 里 不 打 算 用 o n e - h o t ， 而 是 选 用 一 个 E m b e d d i n g 层 做 词 向 量 化 ， 对 于 任 何 一 个 词 都 输 出 一 个 5 0 维 的 稠 密 词 向 量 。 不 了 解 o n e - h o t 的 和 E m b e d d i n g 的 可 以 去 找 相 关 的 资 料 阅 读 一 下 ， 这 里 不 再 展 开 了 。 网 络 的 结 果 输 出 如 下 : 训 练 使 用 的 优 化 器 （ o p t i m i z e r ） 是 A d a m ， 你 可 以 自 由 选 择 其 他 的 。 训 练 使 用 的 L o s s 函 数 是 b i n a r y _ c r o s s e n t r o p y 。 训 练 前 训 练 前 模 型 构 建 结 束 ， 数 据 也 处 理 好 了 。 接 下 来 就 要 开 始 训 练 。 我 们 选 用 的 是 R N N ， R N N 的 特 点 是 可 以 处 理 变 长 的 数 据 ， 也 就 是 说 ， 无 论 这 个 文 本 有 多 长 ， 都 能 处 理 完 ， 然 后 返 回 一 个 数 据 ， 传 给 下 一 层 神 经 网 络 继 续 训 练 。 不 过 我 们 这 里 为 了 能 实 现 批 运 算 （ 就 是 把 一 堆 数 据 打 个 包 ， 一 起 算 ） ， 所 以 必 须 把 训 练 数 据 填 充 到 一 样 长 （ 预 测 的 时 候 不 需 要 要 这 样 ， 仅 为 了 训 练 才 这 么 做 ） ， 至 于 用 什 么 来 填 充 ， 还 记 得 我 们 前 面 在 建 立 词 表 的 时 候 ， 添 加 了 一 个 角 的 词 吗 ？ 它 就 是 用 来 做 填 充 用 。 举 个 例 子 ， 现 在 我 们 有 2 个 句 子 ： 句 子 1   ：   [ ‘ h e l l o ’ ] 句 子 2   ：   [ ‘ h o w ’ , ’ a r e ’ , ’ y o u ’ ] 填 充 长 度 为 3 ， 那 么 结 果 为 句 子 1   ：   [ , , ’ h e l l o ’ ] 句 子 2   ：   [ ‘ h o w ’ , ’ a r e ’ , ’ y o u ’ ] 当 然 你 也 可 以 填 充 在 后 面 ， 只 是 为 个 人 觉 得 填 充 在 前 面 比 较 好 。 先 获 取 一 下 最 长 的 c o n t e n t 有 多 长 ， 获 取 到 以 后 开 始 填 充 字 符 ， 请 注 意 D a t a 里 面 存 放 的 是 打 乱 以 后 的 训 练 数 据 ， W o r d I d x 是 词 表 填 充 结 束 以 后 ， 把 数 据 和 标 签 分 开 ， 数 据 放 在 T r a i n D a t a 里 面 ， 标 签 放 在 T r a i n L a b e l 里 面 。 还 有 一 件 事 情 , 你 还 会 发 现 有 , 这 表 示 遇 到 不 在 词 表 里 的 词 都 用 对 于 的 I D 去 填 充 它 。 对 于 T r a i n L a b e l 和 T r a i n D a t a 里 的 数 据 我 们 可 以 看 看 ， 执 行 代 码 ， 输 出 ： m o d e l . a d d ( D e n s e ( u n i t s = 3 2 , a c t i v a t i o n = ' r e l u ' , k e r n e l _ r e g u l a r i z e r = r e g u l a r i z e r s . l 2 ( 0 . 0 1 ) ) ) m o d e l . a d d ( D r o p o u t ( 0 . 2 ,   n o i s e _ s h a p e = N o n e ,   s e e d = N o n e ) ) m o d e l . a d d ( D e n s e ( u n i t s = 1 6 , a c t i v a t i o n = ' r e l u ' , k e r n e l _ r e g u l a r i z e r = r e g u l a r i z e r s . l 2 ( 0 . 0 1 ) ) ) m o d e l . a d d ( D e n s e ( u n i t s = 1 , a c t i v a t i o n = ' s i g m o i d ' ) ) m o d e l . c o m p i l e (         o p t i m i z e r = ' a d a m ' ,         l o s s = ' b i n a r y _ c r o s s e n t r o p y ' ,         m e t r i c s = [ ' b i n a r y _ a c c u r a c y ' ] , ) m o d e l . s u m m a r y ( ) p r i n t ( m o d e l . i n p u t _ s h a p e ) L a y e r   ( t y p e )                                   O u t p u t   S h a p e                             P a r a m   #       = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = e m b e d d i n g _ 1   ( E m b e d d i n g )             ( N o n e ,   N o n e ,   5 0 )                     1 3 1 9 5 0         _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ b i d i r e c t i o n a l _ 1   ( B i d i r e c t i o n   ( N o n e ,   1 2 8 )                               4 4 1 6 0           _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ d e n s e _ 1   ( D e n s e )                             ( N o n e ,   3 2 )                                 4 1 2 8             _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ d r o p o u t _ 1   ( D r o p o u t )                     ( N o n e ,   3 2 )                                 0                   _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ d e n s e _ 2   ( D e n s e )                             ( N o n e ,   1 6 )                                 5 2 8               _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ d e n s e _ 3   ( D e n s e )                             ( N o n e ,   1 )                                   1 7                 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = T o t a l   p a r a m s :   1 8 0 , 7 8 3 T r a i n a b l e   p a r a m s :   1 8 0 , 7 8 3 N o n - t r a i n a b l e   p a r a m s :   0 _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ P A D _ _ P A D _ _ P A D _ # 获 取 最 大 字 符 串 长 度 ， 且 对 每 一 个 c o n t e n t 进 行 t e x t _ t o _ w o r d _ s e q u e n c e m a x _ s t r _ l e n   =   0 f o r   d   i n   D a t a :         d [ ' c o n t e n t ' ]   =   k e r a s . p r e p r o c e s s i n g . t e x t . t e x t _ t o _ w o r d _ s e q u e n c e ( d [ ' c o n t e n t ' ] )         i f   l e n ( d [ ' c o n t e n t ' ] )   >   m a x _ s t r _ l e n   :                 m a x _ s t r _ l e n   =   l e n ( d [ ' c o n t e n t ' ] ) # 开 始 填 充 字 符 串 T r a i n D a t a   =   [ ] T r a i n L a b e l   =   [ ] f o r   d   i n   D a t a :         v e c   =   [ W o r d I d x . g e t ( i , W o r d I d x [ ' _ U N K _ ' ] )   f o r   i   i n   d [ ' c o n t e n t ' ] ]         p a d   =   W o r d I d x . g e t ( ' _ P A D _ ' )         t e m p   =   k e r a s . p r e p r o c e s s i n g . s e q u e n c e . p a d _ s e q u e n c e s ( s e q u e n c e s = [ v e c ] , m a x l e n = m a x _ s t r _ l e n , v a l u e = p a d )         T r a i n D a t a . a p p e n d ( t e m p [ 0 ] )         T r a i n L a b e l . a p p e n d ( d [ ' a n n o t a t i o n ' ] ) W o r d I d x [ ' _ U N K _ ' ] _ U N K _ T r a i n D a t a [ : 1 ] , T r a i n L a b e l [ : 1 0 ]
前 面 都 是 用 来 填 充 ， 只 有 后 面 才 是 真 实 数 据 。 后 面 的 1 和 0 的 都 是 对 应 的 标 签 。 训 练 训 练 一 切 都 O K 了 ， 接 下 来 就 是 分 割 一 下 训 练 集 和 测 试 集 了 。 我 们 以 0 . 9 （ 9 0 % ） 为 界 限 ， 分 割 为 训 练 集 9 0 % 和 测 试 集 1 0 % 。 他 们 的 目 的 是 ， 用 训 练 集 训 练 ， 训 练 结 束 以 后 ， 用 测 试 集 来 测 试 我 们 训 练 的 模 型 是 否 真 的 可 以 判 别 网 络 欺 凌 数 据 。 开 始 训 练 咯 ！ ！ 开 始 训 练 咯 ！ ！ 调 用 下 面 的 代 码 进 行 训 练 b a t c h _ s i z e 设 置 为 5 0 0 ， 迭 代 次 数 设 置 为 1 0 0 ， 每 一 个 e p o c h 再 分 出 0 . 0 5 作 为 验 证 集 。 最 后 用 G P U 网 络 训 练 了 大 概 2 个 小 时 ， 这 一 行 代 码 我 执 行 了 2 次 ， 总 共 训 练 了 2 0 0   E p o c h 。 最 后 测 试 集 的 准 确 率 达 到 9 5 % 左 右 ， 验 证 集 准 确 率 达 到 8 8 % 。 其 实 还 可 以 继 续 训 练 下 去 ， 如 果 你 们 有 兴 趣 可 以 继 续 。 代 码 也 都 放 在 G i t H u b 里 面 了 。 训 练 结 束 后 ， 用 保 存 模 型 。 验 证 结 果 验 证 结 果 使 用 以 下 代 码 评 估 测 试 集 的 模 型 结 果 大 概 在 8 6 % 左 右 ， 对 比 验 证 集 的 准 确 率 有 所 下 降 ， 但 是 还 在 合 理 范 围 内 。 另 外 我 觉 得 网 络 还 未 收 敛 ， 还 能 继 续 训 练 。 欢 迎 各 位 尝 试 。 注 意 ： 如 果 你 按 照 打 算 训 练 这 个 网 络 ， 请 不 要 导 入 我 已 经 训 练 好 的 m o d e l . h 5 文 件 进 行 2 次 训 练 ， 因 为 前 面 代 码 中 ， 我 对 D a t a 进 行 随 机 打 乱 ， 然 后 截 取 前 个 训 练 数 据 ， 这 将 会 对 词 表 构 建 的 产 生 影 响 ， 也 就 是 说 这 一 次 h e l l o 对 应 I D 5 3 ， 下 一 次 h e l l o 的 I D 为 7 0 。 这 将 导 致 网 络 预 测 结 果 失 效 。 如 果 你 执 意 要 导 入 m o d e l . h 5 进 行 训 练 ， 请 务 必 同 时 导 入 词 表 w o r d . j s o n 。 网 络 欺 凌 检 测 网 络 欺 凌 检 测 ( [ a r r a y ( [ 2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,                   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,   2 6 3 7 ,         8 ,   2 6 3 8 ,       7 1 ,         3 ,   2 6 3 8 ,   2 6 3 8 ,                     1 4 3 ] ,   d t y p e = i n t 3 2 ) ] ,   [ 0 ,   0 ,   0 ,   0 ,   1 ,   0 ,   0 ,   0 ,   0 ,   0 ] ) 2 6 3 7 [ 8 ,   2 6 3 8 , 7 1 , 3 ,   2 6 3 8 ,   2 6 3 8 ] # 分 割 训 练 和 测 试 集 S P I L T   =   0 . 9 t r a i n N u m   =   i n t ( l e n ( T r a i n D a t a ) * S P I L T ) f i n a l T r a i n D a t a   =   T r a i n D a t a [ 0 : t r a i n N u m ] f i n a l T r a i n L a b l e   =   T r a i n L a b e l [ 0 : t r a i n N u m ] f i n a l T e s t D a t a   =   T r a i n D a t a [ t r a i n N u m : ] f i n a l T e s t L a b e l   =   T r a i n L a b e l [ t r a i n N u m : ] m o d e l . f i t (     n p . a s a r r a y ( f i n a l T r a i n D a t a ) ,     n p . a s a r r a y ( f i n a l T r a i n L a b l e ) ,     b a t c h _ s i z e = 5 0 0 ,     e p o c h s = 1 0 0 ,     v a l i d a t i o n _ s p l i t = 0 . 0 5 ) m o d e l . s a v e ( ' m o d e l . h 5 ' ) m o d e l 2 . e v a l u a t e ( n p . a s a r r a y ( f i n a l T e s t D a t a ) , n p . a s a r r a y ( f i n a l T e s t L a b e l ) )
终 于 ， 我 们 训 练 好 了 网 络 ， 也 得 到 了 2 个 文 件 ： “ m o d e l . h 5 ” 和 “ w o r d . j s o n ” 。 第 一 个 是 我 们 训 练 好 的 模 型 ， 第 二 个 是 词 表 ， 他 们 都 非 常 重 要 ， 每 一 次 训 练 产 生 的 模 型 文 件 都 于 一 个 词 表 文 件 一 一 对 应 ， 丢 掉 其 中 任 何 一 个 都 将 导 致 网 络 无 法 正 常 工 作 。 开 始 前 我 们 要 先 导 入 训 练 模 型 ， 以 及 词 表 。 把 以 下 代 码 另 外 保 存 到 一 个 文 件 或 者 一 个 新 的 i p y n b 文 件 里 ： 是 我 们 自 定 义 的 函 数 ， 它 接 受 一 个 字 符 串 ， 并 预 测 它 的 结 果 。 现 在 我 们 可 以 开 始 找 一 些 其 他 数 据 来 试 试 看 效 果 。 E x a m p l e   1 我 刚 刚 从 T w i t t e r 上 随 机 找 的 一 个 欺 凌 数 据 返 回 , 确 实 挺 暴 力 的 ！ E x a m p l e   2 接 下 来 这 个 就 有 意 思 了 ， 我 们 把 例 子 1 后 面 那 句 话 删 除 掉 ， 再 试 试 看 预 测 结 果 ： 返 回 ? ? ?   小 A I ， 你 的 三 观 呢 ？ 这 明 显 是 骂 人 的 话 ， 你 为 啥 觉 得 是 正 常 的 呢 ？ 看 来 我 们 要 来 分 析 一 下 ， 我 们 把 词 对 应 到 词 表 中 ， 来 看 看 ： 很 明 显 ， 那 些 骂 人 的 话 ， 完 美 避 开 了 我 们 的 词 表 ， 比 如 ‘ a b u s e d ’ 就 是 一 个 很 重 要 的 词 ， 它 直 接 决 定 了 这 个 句 子 的 骂 人 高 度 。 所 以 出 现 这 个 的 原 因 在 于 ， 我 们 的 训 练 数 据 太 少 了 ， 毕 竟 一 共 才 几 千 个 词 ， 就 算 都 只 存 骂 人 的 话 也 不 够 存 啊 。 解 决 这 个 方 法 的 途 径 是 增 加 我 们 的 训 练 数 据 。 E x a m p l e   3 i m p o r t   k e r a s i m p o r t   j s o n i m p o r t   n u m p y   a s   n p m o d e l   =   k e r a s . m o d e l s . l o a d _ m o d e l ( ' m o d e l . h 5 ' ) W o r d I d x   =   j s o n . l o a d ( o p e n ( ' w o r d . j s o n ' ) ) d e f   B u l l y ( t e x t ) :         s _ q   =   k e r a s . p r e p r o c e s s i n g . t e x t . t e x t _ t o _ w o r d _ s e q u e n c e ( t e x t )         s _ v   =   [ W o r d I d x . g e t ( i , W o r d I d x [ ' _ U N K _ ' ] )   f o r   i   i n   s _ q ]         r e s   =   m o d e l . p r e d i c t ( n p . a s a r r a y ( [ s _ v ] ) )         v a l u e   =   r e s [ 0 ] [ 0 ]         i f   v a l u e   >   0 . 5 :                 r e t u r n   ( ' 网 络 暴 力 ' , v a l u e )         e l s e :                 r e t u r n   ( ' 正 常 ' , v a l u e ) B u l l y B u l l y ( ' ' ' D i d   y o u   r e a d   a   B i b l e   o r   s o m e t h i n g ?   Y o u   w r o t e   d i s   t r a c k s   o n   y o u r   b r o t h e r ,   a b u s e d   w o m e n   o n   c a m e r a   a n d   m a r k e t e d   g a m b l i n g   t o   k i d s ,   b u t   n o w   y o u ' r e   s p r e a d i n g   " l o v e   a n d   p o s i t i v i t y ? ? "   S h u t   t h e   f u c k   u p   y o u   b l i t h e r i n g   a p e . ' ' ' ) ( ' 网 络 暴 力 ' ,   0 . 9 9 4 8 5 6 ) B u l l y ( ' ' ' D i d   y o u   r e a d   a   B i b l e   o r   s o m e t h i n g ?   Y o u   w r o t e   d i s   t r a c k s   o n   y o u r   b r o t h e r ,   a b u s e d   w o m e n   o n   c a m e r a   a n d   m a r k e t e d   g a m b l i n g   t o   k i d s ,   b u t   n o w   y o u ' r e   s p r e a d i n g   " l o v e   a n d   p o s i t i v i t y ? ? " . ' ' ' ) ( ' 正 常 ' ,   0 . 0 2 9 9 5 5 7 8 4 ) [ [ ' d i d ' ,   9 3 ] ,   [ ' y o u ' ,   2 ] ,   [ ' r e a d ' ,   2 9 5 ] ,   [ ' a ' ,   4 ] ,   [ ' b i b l e ' ,   ' _ U N K _ ' ] ,   [ ' o r ' ,   4 6 ] ,   [ ' s o m e t h i n g ' ,   1 6 3 ] ,   [ ' y o u ' ,   2 ] ,   [ ' w r o t e ' ,   1 1 3 9 ] ,   [ ' d i s ' ,   ' _ U N K _ ' ] ,   [ ' t r a c k s ' ,   ' _ U N K _ ' ] ,   [ ' o n ' ,   1 8 ] ,   [ ' y o u r ' ,   1 7 ] ,   [ ' b r o t h e r ' ,   1 1 2 3 ] ,   [ ' a b u s e d ' ,   ' _ U N K _ ' ] ,   [ ' w o m e n ' ,   7 1 1 ] ,   [ ' o n ' ,   1 8 ] ,   [ ' c a m e r a ' ,   1 1 2 2 ] ,   [ ' a n d ' ,   7 ] ,   [ ' m a r k e t e d ' ,   ' _ U N K _ ' ] ,   [ ' g a m b l i n g ' ,   ' _ U N K _ ' ] ,   [ ' t o ' ,   5 ] ,   [ ' k i d s ' ,   3 4 2 ] ,   [ ' b u t ' ,   2 1 ] ,   [ ' n o w ' ,   5 7 ] ,   [ " y o u ' r e " ,   1 1 3 ] ,   [ ' s p r e a d i n g ' ,   ' _ U N K _ ' ] ,   [ ' l o v e ' ,   6 5 ] ,   [ ' a n d ' ,   7 ] ,   [ ' p o s i t i v i t y ' ,   ' _ U N K _ ' ] ]
现 在 我 们 来 测 测 另 外 一 个 词 ， “ f u c k ” ， 这 可 能 是 几 乎 所 有 人 都 会 的 词 吧 ？ 就 是 不 懂 英 文 也 至 少 知 道 。 我 们 来 看 看 ， 我 们 的 网 络 是 不 是 真 的 就 是 只 一 个 关 键 词 检 测 器 ？ 网 络 暴 力 ， 毋 庸 置 疑 了 吧 ？ 看 看 输 出 E x a m p l e   4 从 前 面 的 迹 象 来 看 ， 只 要 出 现 f u c k 就 会 提 示 网 络 暴 力 ， 我 们 再 来 试 试 看 另 外 一 个 句 子 ： 首 先 解 释 一 下 “ f u c k   m a n ” ， 这 在 英 文 的 语 境 中 表 示 感 叹 ， 类 似 于 我 们 的 “ 草 ” ， 从 网 络 上 找 的 例 子 是 ： “ F u c k   m a n ,   s h e   l e f t   m e . ” ， “ F u c k   m a n ,   I   c a n ’ t   b e l i e v e   t h a t   j u s t   h a p p e n e d ! ” ， 你 甚 至 可 以 在 这 里 看 到 它 的 解 释 ： h t t p s : / / w w w . u r b a n d i c t i o n a r y . c o m / d e f i n e . p h p ? t e r m = f u c k % 2 0 m a n 总 之 ， 它 只 是 一 个 惊 叹 词 ， 不 应 该 划 分 为 网 络 暴 力 ， 应 该 关 注 其 他 部 分 说 了 什 么 。 咱 来 看 看 输 出 结 果 ， 不 错 ， 虽 然 有 0 . 3 ， 但 确 实 还 是 属 于 正 常 范 围 ， 网 络 还 是 需 要 继 续 训 练 。 这 个 例 子 说 明 ， 我 们 的 模 型 不 仅 仅 只 做 到 了 关 键 词 检 测 ， 还 能 检 测 词 语 的 搭 配 。 E x a m p l e   5 再 来 一 个 ， 再 一 次 测 试 一 下 f u c k i n g 的 例 子 ： 输 出 对 了 ， f u c k i n g   是 有 在 词 表 中 存 在 E x a m p l e   6 还 是 f u c k i n g 输 出 ， 果 然 ， 知 道 f u c k i n g 只 是 表 示 对 后 面 的 词 进 行 修 饰 。 以 上 2 个 例 子 说 明 ， 我 们 的 模 型 学 习 到 了 英 语 的 词 性 。 E x a m p l e   7 再 一 次 我 们 只 输 入 f u c k i n g 看 看 输 出 ， 恩 ， 网 络 暴 力 ， 我 不 是 很 了 解 英 语 语 言 习 惯 ， 不 知 道 这 样 算 不 算 是 骂 人 的 话 ， 但 至 少 现 在 可 以 很 明 确 的 说 明 ， 它 不 是 简 单 的 脏 词 判 断 ， 因 为 如 果 按 照 脏 词 来 决 定 句 子 是 否 为 网 络 暴 力 ， 那 句 子 中 一 个 f u c k i n g 就 差 不 多 可 以 自 己 定 义 为 暴 力 了 。 小 结 小 结 通 过 以 上 几 个 例 子 我 们 可 以 相 信 我 们 小 A I 的 三 观 了 ， 但 离 实 际 使 用 的 距 离 还 很 长 ， 因 为 训 练 数 据 不 够 多 ， 训 练 的 时 间 也 不 够 长 ， 模 型 的 网 络 也 没 有 很 好 的 进 行 调 参 。 但 我 们 可 以 通 过 以 上 的 例 子 ， 来 证 明 ， 使 用 A I 相 关 技 术 进 行 检 测 网 络 暴 力 是 有 可 行 性 的 。 P S ， 你 可 以 在 我 对 G i t H u b 中 找 到 C y b e r t r o l l s D e t e c t i o n . p y 文 件 ， 可 以 运 行 他 查 看 模 型 的 判 别 结 果 ， 总 结 总 结 短 短 几 年 互 联 网 已 经 在 改 变 我 们 的 生 活 习 惯 了 ， 我 作 为 一 个 9 9 后 ， 可 能 没 有 9 0 后 前 辈 们 接 触 互 联 网 的 时 间 早 ， 但 我 却 深 刻 的 感 受 到 这 十 来 年 互 联 网 科 技 突 然 就 爆 炸 式 的 增 涨 。 以 一 种 人 无 法 预 料 的 速 度 在 快 速 前 进 着 ， 你 会 发 现 技 术 迭 代 更 新 的 巨 快 ， 几 乎 一 直 有 新 东 西 等 待 你 去 学 习 和 了 解 ， 如 何 能 够 心 平 气 和 的 应 对 现 在 的 信 息 爆 炸 时 代 ， 是 每 个 人 都 应 该 去 思 考 的 。 低 质 量 / 挑 动 情 绪 的 信 息 ， 能 过 滤 就 过 滤 ， 把 一 些 无 关 紧 要 的 争 论 时 间 节 省 下 来 ， 用 于 发 展 自 己 ， 丰 富 自 己 的 生 活 。 这 也 许 才 是 真 正 新 时 代 的 幸 福 吧 ！ 如 果 大 家 有 兴 趣 ， 可 以 建 立 一 个 中 文 的 网 络 欺 诈 检 测 模 型 ， 然 后 写 个 插 件 屏 蔽 这 些 暴 力 回 复 ， 为 社 会 发 展 尽 一 份 力 呀 ！ 期 待 你 们 各 位 大 神 们 的 成 果 ～ 本 文 原 创 作 者 ： 本 文 原 创 作 者 ： M S C B ， 属 于 ， 属 于 F r e e B u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 。 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 。 精 彩 推 荐 精 彩 推 荐 B u l l y ( ' ' ' I   f u c k   y o u ' ' ' ) ( ' 网 络 暴 力 ' ,   0 . 9 8 7 0 1 3 5 ) B u l l y ( ' ' ' t h i s   i s   a   f u c k   m a n ' ' ' ) ( ' 正 常 ' ,   0 . 3 0 3 9 7 1 9 ) B u l l y ( ' ' ' t h i s   i s   a   f u c k i n g   b i t c h ' ' ' ) ( ' 网 络 暴 力 ' ,   0 . 9 3 5 3 0 8 1 ) [ [ ' f u c k i n g ' ,   3 6 ] ] B u l l y ( ' ' ' t h i s   i s   a   f u c k i n g   g r e a t ' ' ' ) ( ' 正 常 ' ,   0 . 0 1 2 2 0 6 1 1 4 ) B u l l y ( ' ' ' f u c k i n g ' ' ' ) ( ' 网 络 暴 力 ' ,   0 . 8 5 5 8 1 1 3 6 ) p y t h o n 3   C y b e r t r o l l s D e t e c t i o n . p y   ' B A D   W O R D S '
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理