搜索

[15411] 2020-05-24_在网络安全领域应用机器学习的困难和对策

文档创建者：s7ckTeam
浏览次数：3
最后更新：2025-01-18
2020-05-24_在网络安全领域应用机器学习的困难和对策 在 网 络 安 全 领 域 应 用 机 器 学 习 的 困 难 和 对 策 安 全 狗   F r e e B u f   2 0 2 0 - 0 5 - 2 4 网 络 安 全 领 域 的 独 特 对 抗 属 性 给 人 工 智 能 应 用 落 地 带 来 了 重 重 困 难 ， 但 我 们 并 不 认 为 这 最 终 会 阻 碍 人 工 智 能 成 网 络 安 全 领 域 的 独 特 对 抗 属 性 给 人 工 智 能 应 用 落 地 带 来 了 重 重 困 难 ， 但 我 们 并 不 认 为 这 最 终 会 阻 碍 人 工 智 能 成 为 网 络 安 全 利 器 。 我 们 尝 试 分 析 了 人 工 智 能 在 网 络 安 全 应 用 里 的 潜 在 困 难 ， 并 试 着 解 决 它 们 。 为 网 络 安 全 利 器 。 我 们 尝 试 分 析 了 人 工 智 能 在 网 络 安 全 应 用 里 的 潜 在 困 难 ， 并 试 着 解 决 它 们 。 基 于 机 器 学 习 、 深 度 学 习 的 网 络 安 全 应 用 研 究 是 近 年 来 网 络 安 全 领 域 里 的 一 个 热 门 研 究 方 向 。 从 可 见 的 资 料 上 来 看 ， 安 全 专 家 已 经 在 异 常 进 程 行 为 检 测 、 恶 意 代 码 检 测 、 网 络 入 侵 检 测 等 方 面 进 行 了 广 泛 的 学 术 研 究 。 但 是 我 们 的 直 观 感 受 是 ， 主 流 安 全 厂 商 并 没 有 大 规 模 部 署 和 使 用 这 些 技 术 ， 市 面 上 声 称 采 用 的 机 器 学 习 、 深 度 学 习 的 安 全 产 品 也 相 当 有 限 。 相 比 于 机 器 学 习 、 深 度 学 习 在 人 脸 识 别 、 推 荐 系 统 、 舆 情 监 督 等 方 面 的 大 规 模 成 功 应 用 ， 其 在 网 络 安 全 领 域 表 现 平 平 必 然 存 在 某 些 特 殊 的 原 因 。 本 文 将 深 入 探 讨 机 器 学 习 、 深 度 学 习 等 技 术 在 网 络 安 全 领 域 的 应 用 面 对 的 困 难 及 其 相 应 对 策 。 虽 然 这 些 困 难 并 没 有 使 机 器 学 习 、 深 度 学 习 成 为 网 络 安 全 领 域 的 一 个 不 合 适 的 工 具 ， 但 这 些 困 难 却 是 导 致 业 界 没 能 大 规 模 采 用 机 器 学 习 、 深 度 学 习 技 术 的 主 要 原 因 。 同 时 又 由 于 近 年 来 媒 体 的 报 道 更 倾 向 于 夸 大 人 工 智 能 技 术 的 成 果 ， 而 忽 略 它 们 所 存 在 的 缺 陷 和 困 难 ， 显 得 导 向 偏 颇 。 对 此 ， 与 决 策 者 而 言 不 应 该 只 被 其 表 面 的 光 鲜 所 迷 惑 ， 而 应 该 对 人 工 智 能 技 术 有 足 够 清 晰 的 认 知 ， 希 望 本 文 能 为 这 方 面 的 认 知 提 供 一 个 可 探 讨 的 方 向 。 注 ：   为 了 便 于 下 文 的 表 述 ， 以 下 的 内 容 将 采 用 “ 人 工 智 能 系 统 ” 指 代 依 靠 机 器 学 习 或 是 深 度 学 习 实 现 的 安 全 防 护 或 检 测 系 统 。 困 难 困 难 1   确 定 一 个 真 正 需 要 用 到 人 工 智 能 的 任 务 确 定 一 个 真 正 需 要 用 到 人 工 智 能 的 任 务 人 当 人 工 智 能 上 升 为 国 家 战 略 ， 深 度 学 习 成 为 新 兴 技 术 。 对 于 公 司 决 策 层 而 言 当 前 应 思 考 在 结 合 目 前 公 司 发 展 在 当 前 阶 段 是 否 真 正 需 要 用 到 人 工 智 能 技 术 。 首 先 ， 需 要 对 人 工 智 能 技 术 有 足 够 清 晰 和 深 入 的 了 解 。 首 先 ， 需 要 对 人 工 智 能 技 术 有 足 够 清 晰 和 深 入 的 了 解 。 在 当 前 阶 段 ， 人 工 智 能 的 实 现 是 由 数 据 驱 动 的 。 优 秀 的 人 工 智 能 是 建 立 在 海 量 行 业 数 据 的 支 撑 下 。 其 次 ， 人 工 智 能 开 发 和 应 用 阶 段 都 是 计 算 密 集 型 的 。 其 次 ， 人 工 智 能 开 发 和 应 用 阶 段 都 是 计 算 密 集 型 的 。 虽 然 所 需 的 软 、 硬 件 计 算 环 境 与 传 统 的 软 件 开 发 有 着 很 大 的 区 别 ， 但 其 带 来 的 好 处 也 是 相 对 可 观 。 以 机 器 学 习 为 代 表 的 人 工 智 能 具 备 高 效 、 自 动 化 、 可 拓 展 的 特 点 ， 极 大 程 度 上 可 代 替 人 工 处 理 日 常 事 务 。 开 启 一 项 人 工 智 能 项 目 ， 最 大 的 难 题 是 如 何 确 定 一 个 真 正 需 要 用 到 人 工 智 能 技 术 且 可 具 备 顺 利 研 发 并 落 地 条 件 的 任 务 。
对 策 对 策 决 策 者 需 要 在 了 解 人 工 智 能 工 作 机 制 和 其 优 缺 点 的 基 础 上 去 思 考 并 确 定 是 否 要 在 特 定 任 务 中 运 用 人 工 智 能 技 术 。 而 在 时 机 、 成 本 、 团 队 、 可 行 性 、 预 期 效 果 等 方 面 则 需 要 重 点 考 虑 。 时 机 。 时 机 。 思 考 在 解 决 某 特 定 任 务 时 运 用 传 统 技 术 是 否 遇 到 瓶 颈 和 缺 陷 ， 进 而 不 得 不 需 要 研 发 下 一 代 技 术 。 对 此 任 务 ， 除 了 人 工 智 能 方 案 是 否 有 其 他 更 行 之 有 效 且 简 便 的 方 法 可 以 解 决 。 如 果 没 有 其 他 可 行 方 案 ， 是 否 已 经 为 采 用 人 工 智 能 技 术 方 案 而 做 好 了 采 集 相 关 数 据 的 工 作 ， 或 随 时 可 以 进 行 数 据 采 集 。 只 有 充 分 思 考 这 些 问 题 后 才 能 基 本 确 定 是 否 运 用 人 工 智 能 技 术 的 作 为 解 决 问 题 的 方 案 。 人 工 智 能 不 是 万 能 药 ， 却 是 一 种 有 效 但 更 为 复 杂 的 灵 丹 。 成 本 。 成 本 。 永 远 别 低 估 人 工 智 能 系 统 的 成 本 投 入 。 无 论 是 开 发 还 是 维 护 人 工 智 能 系 统 都 需 要 大 量 的 持 续 投 入 ， 包 括 算 力 资 源 投 入 、 人 力 资 源 投 入 以 及 数 据 收 集 、 整 理 、 存 储 成 本 投 入 等 。 很 多 组 织 没 有 足 够 的 资 金 承 担 这 样 大 规 模 投 放 ， 所 以 导 致 项 目 中 途 夭 折 ， 前 期 心 血 付 之 东 流 ； 因 此 在 项 目 开 始 前 期 ， 需 慎 重 思 考 是 否 有 足 够 的 能 力 承 担 应 有 的 成 本 投 入 。 团 队 。 人 工 智 能 系 统 的 软 件 工 程 团 队 包 括 问 题 领 域 的 专 家 （ 主 题 专 家 ） 、 数 据 科 学 家 、 数 据 架 构 师 等 专 业 人 才 。 这 些 团 队 成 员 带 来 了 算 法 选 择 、 模 型 构 建 、 模 型 定 制 和 数 据 管 道 管 理 等 方 面 的 技 能 ， 而 这 些 技 能 构 成 了 人 工 智 能 系 统 的 核 心 。 他 们 共 同 把 控 着 人 工 智 能 系 统 的 性 能 、 可 伸 缩 性 、 带 宽 、 资 源 管 理 和 版 本 控 制 等 方 面 的 高 要 求 。 可 行 性 。 可 行 性 。 可 行 性 的 评 估 需 要 决 策 者 对 特 定 任 务 的 本 质 有 足 够 深 刻 的 理 解 。 某 项 任 务 能 否 通 过 人 工 智 能 技 术 实 现 自 动 化 ， 基 本 上 取 决 于 这 项 任 务 的 本 质 、 能 采 集 到 的 数 据 ， 以 及 这 两 者 之 间 的 关 系 。 深 度 学 习 知 名 人 物 吴 恩 达 曾 经 提 过 深 度 学 习 知 名 人 物 吴 恩 达 曾 经 提 过 一 个 经 验 的 规 律 ： 一 个 经 验 的 规 律 ： “ 如 果 一 个 普 通 人 做 某 项 任 务 的 过 程 中 ， 只 需 要 思 考 不 超 过 一 秒 钟 时 间 就 可 以 想 通 ， 那 么 这 项 如 果 一 个 普 通 人 做 某 项 任 务 的 过 程 中 ， 只 需 要 思 考 不 超 过 一 秒 钟 时 间 就 可 以 想 通 ， 那 么 这 项 任 务 很 有 可 能 可 以 用 任 务 很 有 可 能 可 以 用   A I 技 术 自 动 化 ， 现 在 或 者 就 在 不 远 的 将 来 技 术 自 动 化 ， 现 在 或 者 就 在 不 远 的 将 来 ” ， 那 么 对 于 网 络 安 全 领 域 ， 如 果 一 个 专 业 水 平 在 平 均 值 以 上 的 安 全 技 术 人 员 在 某 项 任 务 中 经 过 短 暂 的 思 考 时 间 就 能 想 通 ， 那 么 这 项 任 务 大 概 率 也 可 以 通 过 A I 技 术 实 现 自 动 化 。 预 期 效 果 。 预 期 效 果 。 对 于 预 期 效 果 的 预 判 ， 前 提 是 你 对 自 己 定 义 的 任 务 和 问 题 主 题 理 解 足 够 清 晰 。 思 考 并 确 定 人 工 智 能 系 统 可 接 受 的 性 能 和 效 率 下 限 ， 以 便 工 程 师 迅 速 接 受 指 令 并 明 确 地 向 此 目 标 优 化 系 统 。 当 然 优 化 后 的 系 统 也 会 不 可 避 免 的 出 现 误 报 和 漏 报 状 况 ， 为 此 需 要 尽 早 确 定 该 任 务 对 误 报 和 漏 报 的 敏 感 度 、 风 险 成 本 的 承 担 范 围 和 处 置 机 制 。 人 工 智 能 系 统 同 样 存 在 被 绕 过 的 风 险 ， 对 抗 性 在 网 络 安 全 领 域 无 处 不 在 ， 为 避 免 对 抗 样 本 发 生 ， 怎 样 保 护 人 工 智 能 系 统 免 受 攻 击 也 是 一 个 需 要 提 前 思 考 的 问 题 。 困 难 困 难 2   数 据 泛 滥 ， 难 以 获 取 高 质 量 的 训 练 数 据 集 数 据 泛 滥 ， 难 以 获 取 高 质 量 的 训 练 数 据 集 网 络 安 全 领 域 往 往 不 缺 乏 数 据 。 每 天 都 有 无 数 攻 击 事 件 发 生 ， 安 全 厂 商 的 后 台 数 据 库 每 天 都 能 收 录 无 数 的 攻 击 数 据 。 但 是 单 单 依 靠 数 据 的 数 量 不 足 以 支 撑 开 发 一 个 人 工 智 能 系 统 ， 况 且 这 些 数 据 中 不 可 避 免 存 在 着 显 著 的 冗 余 。 数 据 的 质 量 才 是 真 正 人 工 智 能 的 基 石 。 当 前 人 工 智 能 还 处 于 弱 人 工 智 能 的 发 展 阶 段 ， 人 工 智 能 来 自 于 从 海 量 数 据 中 学 习 规 则 、 模 式 、 特 征 和 经 验 。 在 机 器 学 习 实 现 的 人 工 智 能 工 程 中 ， 最 大 的 性 能 改 进 一 般 来 自 于 更 高 质 量 的 数 据 ， 而 不 是 更 复 杂 的 算 法 。 对 于 所 有 人 工 智 能 系 统 来 说 ， 其 训 练 数 据 集 的 质 量 包 括 三 个 层 面 ： 一 是 数 据 的 多 样 性 ， 一 是 数 据 的 多 样 性 ， 这 要 求 所 收 集 的 数 据 包 含 所 研 究 范 围 的 各 种 类 型 数 据 ； 二 是 数 据 的 可 靠 性 ， 二 是 数 据 的 可 靠 性 ， 即 数 据 被 准 确 标 识 为 是 何 种 类 型 何 种 属 性 的 数 据 ； 三 是 数 据 的 数 量 ， 三 是 数 据 的 数 量 ， 即 在 数 据 采 集 清 理 加 工 去 重 后 ， 可 靠 的 数 据 的 数 量 。 数 量 太 少 则 无 法 训 练 出 可 靠 的 模 型 ， 尤 其 是 采 用 深 度 学 习 等 参 数 众 多 的 复 杂 模 型 的 时 候 。
数 据 的 收 集 、 清 理 、 标 注 、 保 护 、 监 视 和 维 护 统 称 为 人 工 智 能 项 目 的 数 据 管 理 ， 这 将 贯 穿 着 从 项 目 立 项 到 项 目 落 地 、 维 护 、 迭 代 的 整 个 生 命 周 期 ， 且 需 消 耗 巨 大 的 时 间 和 精 力 ， 这 需 要 占 整 个 项 目 8 成 以 上 的 时 间 。 有 别 于 其 他 领 域 ， 网 络 安 全 领 域 的 人 工 智 能 系 统 项 目 的 数 据 管 理 ， 其 成 本 和 难 度 更 大 ， 主 要 是 因 为 以 下 原 因 ： 1 .   变 化 的 环 境 。 变 化 的 环 境 。 变 化 的 环 境 一 方 面 体 现 在 业 务 的 多 样 性 ， 导 致 的 是 白 样 本 的 多 样 性 ； 另 一 方 面 体 现 在 对 抗 环 境 下 ， 导 致 的 是 恶 意 样 本 的 对 样 性 ； 2 .   私 有 、 公 开 数 据 少 ， 且 公 开 数 据 有 效 性 不 好 。 私 有 、 公 开 数 据 少 ， 且 公 开 数 据 有 效 性 不 好 。 因 为 不 同 场 景 不 同 用 户 的 数 据 有 差 异 ， 公 开 的 数 据 的 场 景 和 你 所 面 对 的 环 境 和 场 景 可 能 差 异 巨 大 而 不 可 用 。 算 法 工 具 通 常 是 开 源 的 ， 但 是 好 的 数 据 集 通 常 是 专 有 的 。 安 全 领 域 更 是 如 此 。 安 全 厂 商 倾 向 于 “ 隐 藏 ” 与 安 全 相 关 的 数 据 ， 因 此 通 常 无 法 获 得 具 有 代 表 性 的 准 确 标 记 数 据 ( 尤 其 是 涉 及 流 量 数 据 ) 。 拥 有 庞 大 优 质 的 特 定 领 域 数 据 集 可 以 成 为 竞 争 优 势 的 重 要 来 源 。 3 .   数 据 加 工 清 洗 标 注 专 业 性 高 。 数 据 加 工 清 洗 标 注 专 业 性 高 。 标 注 人 脸 识 别 、 猫 狗 分 类 、 垃 圾 邮 件 等 任 务 的 数 据 ， 但 凡 受 过 基 础 教 育 的 人 就 能 胜 任 ， 而 网 络 安 全 则 属 于 专 业 性 高 的 行 业 ， 标 注 网 络 安 全 检 测 相 关 数 据 集 需 要 专 业 的 安 全 工 程 师 才 能 胜 任 。 4 .   黑 样 本 种 类 稀 缺 ， 难 以 集 全 。 黑 样 本 种 类 稀 缺 ， 难 以 集 全 。 这 对 于 后 续 系 统 的 可 靠 性 造 成 很 大 的 影 响 。 I B M 的 肿 瘤 专 家 顾 问 系 统 W a t s o n   f o r O n c o l o g y 由 于 提 出 的 治 疗 方 案 及 其 相 关 建 议 不 安 全 ， 被 迫 终 止 。 经 过 研 究 人 员 研 究 发 现 ， 正 是 由 于 该 软 件 只 针 对 少 数 假 设 癌 症 患 者 - - - 而 非 实 际 患 者 数 据 训 练 而 成 ， 采 用 的 黑 样 本 种 类 稀 少 ， 因 此 在 可 靠 性 方 面 存 在 严 重 的 问 题 。 在 网 络 安 全 领 域 ， 如 果 数 据 的 黑 样 本 不 够 全 面 将 导 致 类 似 的 可 靠 性 问 题 。 5 .   数 据 的 非 结 构 性 。 数 据 的 非 结 构 性 。 网 络 安 全 领 域 所 要 处 理 的 数 据 无 论 是 网 络 流 量 、 恶 意 代 码 还 是 恶 意 文 件 ， 大 多 都 是 非 结 构 化 的 数 据 ， 对 此 数 据 的 加 工 处 理 比 结 构 化 数 据 要 复 杂 困 难 。 6 .   数 据 清 洗 ， 自 动 化 困 难 ， 工 具 少 。 数 据 清 洗 ， 自 动 化 困 难 ， 工 具 少 。 对 策 对 策 1 . 商 业 合 作 框 架 下 的 数 据 资 料 共 享 商 业 合 作 框 架 下 的 数 据 资 料 共 享 当 然 这 前 提 是 自 己 已 经 有 相 当 的 数 据 积 累 ， 合 作 共 享 才 会 成 为 可 能 ， 在 网 络 安 全 领 域 的 数 据 共 享 要 避 免 触 犯 《 网 络 安 全 法 》 等 法 律 法 规 ； 2 . 依 赖 现 有 检 测 工 具 实 现 一 定 程 度 的 自 动 化 数 据 采 集 与 标 注 依 赖 现 有 检 测 工 具 实 现 一 定 程 度 的 自 动 化 数 据 采 集 与 标 注 现 有 的 威 胁 检 测 工 具 对 于 相 应 的 任 务 必 然 还 是 有 相 当 的 检 测 能 力 的 ， 如 果 将 其 改 造 为 自 动 化 标 注 工 具 则 可 对 应 解 决 此 问 题 ；
3 . 随 时 应 变 ， 因 地 适 宜 随 时 应 变 ， 因 地 适 宜 对 于 先 收 集 数 据 还 是 先 确 定 任 务 课 题 的 问 题 ， 没 有 标 准 答 案 ， 不 同 组 织 选 择 可 能 不 一 样 。 有 的 组 织 在 收 集 到 大 量 数 据 后 才 去 考 虑 能 用 这 些 数 据 做 什 么 ， 有 的 组 织 先 确 定 任 务 ， 列 出 所 需 的 数 据 类 型 ， 再 收 集 这 些 数 据 。 对 此 顺 序 只 要 是 可 行 的 都 是 可 以 的 。 困 难 困 难 3   需 要 付 出 昂 贵 的 出 错 成 本 需 要 付 出 昂 贵 的 出 错 成 本 在 网 络 安 全 领 域 ， 人 工 智 能 往 往 应 用 于 风 险 检 测 。 与 许 多 其 他 人 工 智 能 应 用 相 比 ， 风 险 检 测 出 错 的 相 对 代 价 非 常 高 。 误 报 需 要 分 析 师 花 费 昂 贵 的 时 间 去 核 查 所 报 告 的 风 险 事 件 ， 以 确 定 它 是 否 是 良 性 的 。 即 使 是 很 小 的 误 报 率 也 会 使 风 险 监 测 系 统 失 去 实 用 性 。 如 表 如 表 1 所 示 所 示 ， 假 设 我 们 开 发 出 了 一 个 准 确 率 高 达 9 9 % 的 风 险 监 测 模 型 ， 这 样 的 准 确 率 已 在 众 多 人 工 智 能 系 统 中 属 于 高 水 准 程 度 。 那 么 ， 设 想 我 们 在 某 场 景 下 部 署 了 该 模 型 ， 部 署 期 间 产 生 良 性 事 件 样 本 9 9 9 9 0 0 个 ， 恶 性 事 件 样 本 1 0 0 个 ， 这 是 相 对 合 理 的 设 想 ， 风 险 事 件 的 发 生 相 比 于 正 常 事 件 总 是 极 小 概 率 事 件 。 而 在 这 基 础 上 ， 将 会 发 生 9 9 9 9 起 错 误 的 告 警 ， 这 将 导 致 一 系 列 后 果 ： 轻 则 耗 费 分 析 师 的 时 间 成 本 ， 重 则 可 能 影 响 业 务 系 统 的 正 常 运 行 。 事 件 总 数 事 件 总 数 告 警 次 数 告 警 次 数 识 别 为 良 性 识 别 为 良 性 真 恶 意 事 件 1 0 0 9 9 ( 正 确 的 告 警 ) 真 良 性 事 件 9 9 9 9 0 0 9 9 9 9 ( 错 误 的 告 警 ) 表 1 ： 某 9 9 % 准 确 率 检 测 系 统 告 警 数 量 一 方 面 ， 漏 报 产 生 的 损 害 是 直 接 的 。 绕 过 检 测 的 风 险 可 能 对 受 防 护 的 系 统 产 生 直 接 的 损 害 ， 影 响 正 常 业 务 的 开 展 ， 甚 至 会 严 重 损 害 I T 基 础 设 施 。 我 们 认 为 如 此 高 的 出 错 成 本 是 安 全 厂 商 需 谨 慎 使 用 机 器 学 习 技 术 的 最 大 原 因 。 对 此 让 我 们 进 一 步 对 比 人 工 智 能 在 其 他 领 域 产 生 错 误 分 类 的 影 响 ， 相 比 之 下 可 能 会 更 有 启 发 。 电 商 的 推 荐 系 统 是 运 用 人 工 智 能 最 成 功 的 领 域 之 一 。 电 商 的 推 荐 系 统 是 运 用 人 工 智 能 最 成 功 的 领 域 之 一 。 推 荐 系 统 很 容 易 容 忍 错 误 ， 因 为 这 些 错 误 不 会 产 生 直 接 的 负 面 影 响 。 虽 然 对 卖 家 来 说 好 的 推 荐 有 可 能 增 加 销 售 额 ， 但 坏 的 建 议 除 了 失 去 交 易 机 会 需 要 做 出 更 具 诱 惑 力 的 推 荐 策 略 外 ， 对 于 消 费 者 而 言 并 没 有 任 何 的 伤 害 。 O C R 技 术 相 比 之 下 也 更 容 易 容 忍 错 误 。 技 术 相 比 之 下 也 更 容 易 容 忍 错 误 。 通 常 可 以 用 拼 写 和 语 法 检 查 来 剔 除 明 显 的 错 误 ， 使 用 统 计 语 言 模 型 将 概 率 与 结 果 联 系 起 来 并 对 O C R 系 统 的 初 始 输 出 进 行 后 处 理 。 此 外 ， 用 户 还 接 受 了 培 训 ， 这 可 保 证 当 输 出 文 本 有 差 异 时 ， 一 定 程 度 上 可 以 让 用 户 进 行 人 工 校 对 。 相 比 手 动 验 证 安 全 事 件 告 警 ， 验 证 校 对 文 字 的 识 别 结 果 并 不 需 要 专 业 的 知 识 ， 这 相 比 验 证 安 全 告 警 的 成 本 和 难 度 都 低 得 多 。 在 不 同 行 业 不 同 场 景 中 ， 人 类 对 于 人 工 智 能 在 概 率 表 现 方 面 的 期 望 值 有 所 不 同 ( 在 安 全 行 业 期 望 值 高 容 错 率 低 ) ， 这 也 是 造 成 人 工 智 能 产 品 或 技 术 在 网 络 安 全 领 域 普 及 不 够 广 泛 的 原 因 。 总 的 来 说 ， 网 络 安 全 检 测 系 统 对 错 误 数 据 的 容 忍 更 加 严 格 ， 其 他 领 域 运 用 人 工 智 能 是 在 做 加 法 ， 而 网 络 安 全 领 域 运 用 人 工 智 能 更 像 是 在 做 减 法 ， 挑 战 更 加 巨 大 。 特 征 提 取 方 法 特 征 提 取 方 法 提 取 难 度 提 取 难 度 识 别 准 确 率 识 别 准 确 率 字 节 码 的 n - g r a m s 特 征 容 易 实 现 ， 成 本 低 6 0 - 8 0 % O p c o d e s 需 要 反 编 译 文 件 ， 中 等 工 作 量 和 成 本 8 5 - 9 5 % 执 行 的 A P I 调 用 工 作 量 大 ， 计 算 时 间 长 9 0 - 9 5 % 表 2 ： 某 恶 意 软 件 检 测 算 法 研 究 的 预 测 精 度 另 一 个 挑 战 是 模 型 复 杂 度 与 效 率 的 矛 盾 。 一 般 来 说 为 了 得 到 较 低 出 错 率 的 模 型 ， 模 型 的 复 杂 度 就 不 能 太 低 ， 这 样 相 应 的 复 杂 模 型 的 运 算 量 也 较 大 。 天 下 没 有 免 费 的 午 餐 ， 如 表 如 表 2 所 示 所 示 ， 更 深 入 本 质 的 特 征 虽 然 能 带 来 更 好 的 准 确 率 ， 但 是 获 取 难 度 大 ， 效 率 低 。 两 者 之 间 的 取 舍 是 一 个 巨 大 的 挑 战 ， 尤 其 在 安 全 风 险 监 测 系 统 ， 往 往 要 求 对 风 险 能 够 快 速 实 时 响 应 。 对 策 对 策
限 制 误 报 量 是 任 何 威 胁 检 测 系 统 的 首 要 任 务 。 朝 着 减 少 错 误 的 方 向 迈 出 的 最 重 要 的 一 步 是 缩 小 系 统 的 范 围 ， 也 就 是 定 义 一 个 明 确 的 检 测 目 标 。 没 有 一 个 明 确 的 目 标 ， 任 何 威 胁 检 测 系 统 都 无 法 在 不 影 响 其 检 测 率 的 情 况 下 ， 获 得 可 容 忍 的 误 报 量 。 另 外 ， 使 用 更 粗 粒 度 的 特 征 在 适 当 的 时 间 间 隔 内 聚 合 或 平 均 特 征 对 于 减 少 误 报 也 是 有 用 的 。 最 后 ， 我 们 可 以 通 过 在 附 加 信 息 的 支 持 下 对 它 们 进 行 后 处 理 来 减 少 误 报 。 如 果 我 们 发 现 自 动 化 后 处 理 是 不 可 行 的 ， 我 们 仍 然 可 以 通 过 向 分 析 员 提 供 额 外 的 信 息 来 加 速 人 工 检 查 过 程 ， 从 而 降 低 出 错 成 本 。 困 难 困 难 4   对 抗 环 境 对 抗 环 境 人 工 智 能 系 统 本 身 就 是 一 个 软 件 系 统 ， 难 免 存 在 可 利 用 的 漏 洞 ， 也 是 被 攻 击 的 天 然 目 标 ， 尤 其 是 作 为 网 络 安 全 检 测 防 护 系 统 的 一 份 子 的 时 候 ， 可 以 认 为 是 处 于 对 抗 环 境 中 。 相 比 之 下 ， O C R 系 统 的 用 户 不 会 试 图 在 输 入 中 添 加 干 扰 ， 甚 至 会 主 动 提 供 更 高 质 量 的 输 入 数 据 ； 淘 宝 用 户 也 不 会 有 太 多 的 动 机 去 误 导 商 品 推 荐 系 统 ， 这 对 他 们 毫 无 意 义 。 然 而 在 网 络 安 全 领 域 则 恰 恰 相 反 ， 那 些 破 坏 、 绕 过 、 欺 骗 人 工 智 能 检 测 系 统 攻 击 者 为 了 能 够 达 到 他 们 入 侵 的 目 的 ， 他 们 有 充 分 的 动 机 。 至 少 能 从 三 个 层 面 体 现 在 对 抗 环 境 下 机 器 学 习 系 统 的 风 险 。 数 据 层 面 ， 典 型 的 是 投 毒 攻 击 。 数 据 层 面 ， 典 型 的 是 投 毒 攻 击 。 投 毒 攻 击 （ p o i s o n i n g   a t t a c k ） 主 要 是 对 人 工 智 能 系 统 在 训 练 模 型 时 对 需 要 的 训 练 数 据 进 行 投 毒 ， 是 一 种 破 坏 模 型 可 用 性 和 完 整 性 的 诱 发 型 攻 击 。 攻 击 者 通 过 注 入 一 些 精 心 伪 造 的 恶 意 数 据 样 本 ， 这 些 样 本 通 常 带 有 错 误 的 标 签 和 攻 击 的 性 质 ， 用 于 破 坏 原 有 的 训 练 数 据 的 概 率 分 布 ， 从 而 使 训 练 出 的 模 型 的 分 类 或 者 聚 类 精 度 降 低 ， 达 到 破 坏 训 练 模 型 的 目 的 。 由 于 实 际 中 应 用 人 工 智 能 系 统 的 原 始 训 练 数 据 大 多 是 保 密 的 ， 一 般 不 会 被 攻 击 者 轻 易 修 改 ， 但 很 多 系 统 为 了 增 强 适 应 能 力 需 要 定 期 收 集 新 数 据 ， 进 行 重 新 训 练 实 现 模 型 更 新 ， 这 时 也 就 给 了 攻 击 者 可 趁 之 机 。     图   1 ： 一 种 投 毒 攻 击 示 意 图 模 型 层 面 ， 模 型 的 绕 过 风 险 ， 即 存 在 对 抗 样 本 攻 击 。 模 型 层 面 ， 模 型 的 绕 过 风 险 ， 即 存 在 对 抗 样 本 攻 击 。 攻 击 者 通 过 产 生 一 些 可 以 绕 过 人 工 智 能 检 测 系 统 的 对 抗 样 本 ， 这 些 是 可 以 成 功 地 逃 避 安 全 系 统 检 测 的 对 抗 样 本 ， 实 现 对 系 统 的 恶 意 攻 击 ， 给 系 统 的 安 全 性 带 来 严 重 威 胁 。 作 为 安 全 风 险 检 测 模 型 的 存 在 的 时 候 ， 人 工 智 能 系 统 的 模 型 的 输 入 数 据 变 化 很 大 ， 具 有 易 变 性 。 我 们 很 难 限 制 待 检 测 的 恶 意 软 件 的 大 小 ， 没 有 理 由 限 制 待 检 测 的 恶 意 代 码 样 本 的 行 数 ， 没 办 法 限 制 要 检 测 的 网 络 流 量 的 数 据 包 内 容 ， 因 此 这 就 给 了 对 抗 样 本 更 大 的 发 挥 空 间 。 这 个 层 面 的 对 抗 是 最 容 易 发 生 的 ， 也 是 人 工 智 能 检 测 系 统 在 对 抗 中 最 薄 弱 的 环 境 ， 对 抗 之 下 会 产 生 层 出 不 穷 的 新 攻 击 手 法 、 攻 击 样 本 ， 因 此 网 络 安 全 领 域 应 用 的 模 型 的 迭 代 频 率 要 比 其 他 领 域 要 高 得 多 。 试 想 ， 千 百 年 以 后 ， 今 天 训 练 的 猫 狗 分 类 模 型 到 那 时 候 也 许 还 能 用 ， 但 是 对 应 的 恶 意 软 件 、 木 马 文 件 、 攻 击 流 量 也 在 当 前 模 型 的 能 力 范 围 之 外 产 生 了 多 个 新 形 式 。 框 架 层 面 ， 深 度 学 习 框 架 通 常 是 包 含 数 十 万 代 码 和 众 多 依 赖 的 复 杂 软 件 ， 几 乎 不 可 避 免 地 存 在 已 知 或 未 知 的 框 架 层 面 ， 深 度 学 习 框 架 通 常 是 包 含 数 十 万 代 码 和 众 多 依 赖 的 复 杂 软 件 ， 几 乎 不 可 避 免 地 存 在 已 知 或 未 知 的 b u g 。 。 在 国 家 信 息 安 全 漏 洞 库 ， 能 查 到 2 0 1 9 年 上 报 的 t e n s o r f l o w 相 关 漏 洞 信 息 8 个 （ 如 图 （ 如 图 2 所 示 ） 所 示 ） 。 T o r c h 、 C a f f e 等 框 架 也 存 在 漏 洞 ， 以 及 这 些 框 架 的 常 见 依 赖 包 n u m p y 、 o p e n c v 等 均 存 在 不 少 漏 洞 。 对 此 ， 相 关 的 安 全 研 究 已 经 复 现 了 这 些 漏 洞 将 会 造 成 的 拒 绝 服 务 、 绕 过 检 测 和 系 统 危 害 等 风 险 。
图   2 ： t e n s o r f l o w 历 史 漏 洞 所 以 ， 网 络 安 全 领 域 持 续 进 行 着 一 场 军 备 竞 赛 ： 攻 击 者 和 防 御 者 各 自 改 进 他 们 的 工 具 和 技 术 ， 以 应 对 另 一 方 设 计 的 新 技 术 。 对 策 对 策 使 用 人 工 智 能 技 术 对 于 攻 击 者 而 言 实 际 上 是 带 来 更 多 攻 击 面 如 算 法 、 数 据 等 。 在 防 护 方 面 ， 可 以 考 虑 以 下 几 点 ： 1 .   对 模 型 的 输 入 做 严 格 限 制 ， 设 置 进 入 模 型 的 样 本 过 滤 条 件 。 对 模 型 的 输 入 做 严 格 限 制 ， 设 置 进 入 模 型 的 样 本 过 滤 条 件 。 过 滤 条 件 根 据 任 务 的 专 业 领 域 知 识 和 模 型 训 练 过 程 中 的 设 置 总 结 。 比 如 ， 某 识 别 p h p 类 型 w e b s h e l l 的 模 型 可 将 输 入 设 置 为 文 件 后 缀 . p h p 或 . t x t 且 内 容 包 含 < ? p h p 。 另 一 个 可 能 思 路 ， 如 训 练 过 程 中 训 练 数 据 集 单 个 样 本 最 大 为 2 M B ， 则 可 以 添 加 过 滤 条 件 模 型 输 入 样 本 最 大 为 2 M B 。 2 .   从 模 型 本 身 训 练 其 辨 别 良 性 、 恶 意 数 据 的 能 力 。 从 模 型 本 身 训 练 其 辨 别 良 性 、 恶 意 数 据 的 能 力 。 将 已 知 对 抗 样 本 或 自 己 构 造 的 对 抗 样 本 数 据 添 加 到 模 型 的 训 练 数 据 集 然 后 训 练 模 型 。 3 .   在 上 线 部 署 前 ， 在 对 抗 环 境 下 测 试 和 评 估 人 工 智 能 系 统 。 在 上 线 部 署 前 ， 在 对 抗 环 境 下 测 试 和 评 估 人 工 智 能 系 统 。 在 对 抗 性 情 景 下 或 极 端 情 况 下 测 试 系 统 ， 而 不 仅 仅 只 是 使 用 正 常 事 件 测 试 。 比 如 使 用 噪 声 数 据 训 练 和 测 试 评 估 模 型 的 泛 化 能 力 和 抗 噪 能 力 ， 在 对 抗 环 境 下 或 使 用 投 毒 数 据 评 估 系 统 的 对 抗 能 力 。 当 然 也 不 用 对 对 抗 环 境 带 来 的 风 险 过 度 担 心 ， 因 为 在 绕 过 一 个 人 工 智 能 系 统 ， 攻 击 者 需 要 付 出 大 量 的 努 力 、 时 间 和 专 业 知 识 ， 这 往 往 比 绕 过 正 则 规 则 难 得 多 。 困 难 困 难 5   模 型 可 解 释 性 及 该 如 何 取 合 模 型 可 解 释 性 及 该 如 何 取 合 人 工 智 能 系 统 的 输 出 比 大 多 数 其 他 系 统 需 要 更 多 的 解 释 。 因 为 人 工 智 能 系 统 引 入 的 不 确 定 性 在 用 户 的 某 些 任 务 和 场 景 下 可 能 是 不 可 接 受 的 ， 往 往 需 要 跟 客 户 沟 通 做 出 这 种 输 出 判 断 的 依 据 和 缘 由 。 而 在 其 他 机 器 学 习 的 应 用 中 ， 解 释 性 的 问 题 可 能 就 没 那 么 重 要 。 大 多 数 图 像 类 别 识 别 的 机 器 学 习 都 可 以 忽 视 可 解 释 性 ， 因 为 图 像 属 于 什 么 类 型 是 直 观 的 ， 普 通 人 可 以 毫 不 费 劲 地 辨 别 结 果 的 对 与 错 。 同 样 ， 垃 圾 邮 件 检 测 器 将 邮 件 归 为 垃 圾 邮 件 ， 也 是 很 直 观 的 任 务 并 没 有 太 大
的 解 释 空 间 。 然 而 ， 作 为 安 全 风 险 检 测 应 用 ， 其 检 测 结 果 往 往 是 不 直 观 的 ， 至 少 对 非 网 络 安 全 专 业 的 客 户 来 说 ， 这 时 候 的 解 释 输 出 是 取 得 客 户 信 赖 的 必 要 工 作 。 假 设 人 工 智 能 系 统 能 准 确 地 发 现 以 前 未 知 的 w e b 服 务 器 漏 洞 ， 而 只 报 告 为 “ 主 机 的 H T T P 流 量 与 正 常 配 置 文 件 不 匹 配 ” ， 即 使 对 它 的 警 报 足 够 信 任 ， 运 维 人 员 也 需 要 花 费 大 量 的 额 外 精 力 来 弄 清 楚 发 生 了 什 么 。 安 全 风 险 检 测 往 往 需 要 进 一 步 指 导 相 关 人 员 快 速 评 估 和 响 应 制 定 风 险 处 置 方 案 ， 且 这 过 程 附 带 着 极 高 的 出 错 成 本 ， 因 此 对 检 测 结 果 的 必 要 解 释 和 正 确 解 释 是 安 全 风 险 检 测 应 用 的 一 个 基 本 要 求 ， 而 这 也 保 障 了 其 的 可 用 性 。 然 而 这 里 一 切 的 困 难 在 于 我 们 如 何 向 用 户 展 示 人 工 智 能 系 统 输 出 结 果 的 信 息 ， 使 他 们 能 够 正 确 的 接 收 并 理 解 这 些 信 息 ， 同 时 我 们 又 不 能 展 示 过 多 信 息 ， 以 防 暴 露 过 多 模 型 信 息 给 竞 争 对 手 或 是 被 攻 击 者 利 用 。 更 困 难 的 是 ， 人 工 智 能 模 型 的 原 始 解 释 是 包 含 一 系 列 检 测 逻 辑 的 数 学 术 语 ， 例 如 某 变 量 超 过 给 定 阈 值 ， 对 于 非 建 模 人 员 而 言 这 些 并 不 好 理 解 ， 对 于 输 出 结 果 的 利 用 也 作 用 有 限 。 怎 样 将 这 些 数 学 语 义 的 解 释 与 业 务 的 语 义 相 互 联 系 是 一 个 更 大 的 难 题 。 对 策 对 策 1 .     重 新 设 计 输 出 结 果 的 解 释 性 重 新 设 计 输 出 结 果 的 解 释 性 现 有 的 机 器 学 习 、 深 度 学 习 模 型 输 出 解 释 技 术 往 往 是 对 特 征 的 归 因 ， 如 果 直 接 展 示 这 些 信 息 很 容 易 变 相 地 为 竞 争 对 手 或 是 攻 击 者 提 供 模 型 的 敏 感 信 息 ， 增 大 模 型 被 绕 过 的 风 险 。 我 们 可 以 对 结 果 重 新 归 纳 设 计 ， 隐 含 模 型 相 关 的 细 节 ， 特 别 是 数 值 相 关 信 息 要 避 免 呈 现 ， 对 于 输 出 结 果 的 可 靠 性 程 度 和 不 确 定 性 避 免 使 用 数 值 描 述 ， 我 们 可 以 用 “ 低 、 中 、 高 ” 等 分 级 表 述 。 2 .   解 释 结 果 的 最 重 要 的 方 面 是 理 解 它 们 的 起 源 解 释 结 果 的 最 重 要 的 方 面 是 理 解 它 们 的 起 源 一 个 好 的 解 释 常 常 需 要 在 一 个 非 常 低 的 层 次 上 把 输 入 和 输 出 联 系 起 来 。 困 难 困 难 6   难 以 全 面 评 估 难 以 全 面 评 估 对 于 网 络 安 全 领 域 的 人 工 智 能 系 统 而 言 ， 设 计 合 理 完 整 的 评 估 方 案 并 不 容 易 ， 事 实 上 可 能 比 构 建 识 别 模 型 本 身 还 更 困 难 。 全 面 评 估 的 最 重 要 的 一 步 是 获 取 适 当 的 数 据 。 在 网 络 安 全 领 域 ， 评 估 人 工 智 能 系 统 面 临 的 最 重 大 挑 战 是 缺 乏 适 合 的 、 公 允 的 、 且 足 够 数 据 量 的 现 成 公 共 数 据 集 。 即 使 企 业 自 己 创 建 测 试 数 据 集 ， 也 是 很 难 得 到 足 够 数 量 和 足 够 全 面 的 数 据 。 以 互 联 网 流 量 为 例 ， 这 是 网 络 安 全 典 型 的 检 测 对 象 。 互 联 网 流 量 是 企 业 和 组 织 的 重 要 的 私 有 资 源 ， 不 会 轻 易 共 享 。 对 于 不 同 的 组 织 不 同 的 业 务 ， 网 络 流 量 具 有 多 样 性 。 在 小 型 实 验 室 网 络 中 的 流 量 特 征 和 大 型 业 务 系 统 的 流 量 会 显
著 不 同 。 即 使 在 单 个 网 络 中 ， 网 络 的 最 基 本 特 征 ， 如 带 宽 、 连 接 持 续 时 间 和 应 用 程 序 组 合 ， 也 会 表 现 出 巨 大 的 变 化 性 ， 使 它 们 在 短 时 间 （ 从 几 秒 到 几 小 时 ） 内 流 量 特 征 差 异 也 可 能 极 大 。 更 何 况 ， 大 多 数 企 业 或 组 织 并 没 有 获 取 相 当 规 模 的 网 络 流 量 的 条 件 ， 即 使 通 过 模 拟 来 采 集 ， 也 会 因 为 数 据 的 真 实 性 和 相 关 性 等 对 后 续 的 人 工 智 能 系 统 带 来 难 以 评 估 的 不 利 影 响 ， 小 环 境 分 析 得 出 的 结 论 往 往 不 能 推 广 到 大 环 境 分 析 。 所 以 数 据 的 不 全 面 带 来 的 是 模 型 性 能 评 估 的 不 全 面 ， 也 就 是 人 工 智 能 系 统 能 检 测 到 什 么 ， 不 能 检 测 到 什 么 ， 可 靠 性 是 多 少 等 等 难 以 全 面 评 估 。 对 策 对 策 不 幸 的 是 ， 目 前 对 于 解 决 缺 乏 评 估 数 据 的 问 题 ， 并 没 有 一 个 较 好 的 方 案 。 对 于 任 何 研 究 来 说 ， 需 要 承 认 自 己 的 评 估 数 据 集 可 能 带 来 的 缺 点 。 尽 管 很 难 ， 还 是 需 要 从 大 范 围 的 环 境 中 获 取 包 含 真 实 网 络 流 量 的 数 据 集 。 理 想 情 况 下 ， 我 们 获 取 了 大 量 来 自 不 同 的 网 络 的 数 据 ， 因 为 没 有 数 据 集 是 完 美 的 ， 所 以 在 评 估 检 测 系 统 时 ， 通 常 需 要 多 个 数 据 集 来 做 支 撑 。 要 证 明 系 统 能 够 通 过 学 习 适 应 不 同 的 环 境 ， 也 需 要 使 用 来 自 多 个 来 源 的 数 据 进 行 评 估 。 对 于 类 似 于 互 联 网 流 量 多 样 性 问 题 ， 一 种 可 行 的 方 法 是 采 用 聚 合 。 虽 然 流 量 特 征 在 中 、 小 时 间 间 隔 内 高 度 可 变 ， 但 在 较 长 时 间 段 （ 小 时 到 天 ， 有 时 是 周 ） 内 观 察 到 的 流 量 特 征 往 往 更 加 稳 定 。 困 难 困 难 7   机 器 学 习 难 以 部 署 和 维 护 机 器 学 习 难 以 部 署 和 维 护 精 心 设 计 研 发 的 机 器 学 习 模 块 是 与 现 有 安 全 防 护 系 统 的 其 他 部 分 集 成 ， 这 会 产 生 一 系 列 问 题 和 风 险 。 首 先 是 兼 容 性 问 题 。 首 先 是 兼 容 性 问 题 。 机 器 学 习 、 深 度 学 习 研 发 和 部 署 工 具 的 推 出 时 间 往 往 比 实 现 现 有 其 他 安 全 防 护 系 统 模 块 的 工 具 时 间 要 晚 。 T e n s o r f l o w   是 2 0 1 5 年 推 出 的 ， P y T o r c h 是 2 0 1 7 年 才 推 出 的 ， 如 果 现 有 防 护 系 统 已 运 行 多 年 ， 那 么 在 集 成 中 出 现 底 层 技 术 不 兼 容 概 率 很 大 。 其 次 是 安 全 业 务 流 程 的 改 变 。 其 次 是 安 全 业 务 流 程 的 改 变 。 目 前 的 机 器 学 习 应 用 水 平 通 常 难 以 独 立 发 展 成 一 个 成 熟 的 安 全 防 护 应 用 ， 大 多 数 时 候 会 涉 及 与 现 有 防 护 模 块 的 互 补 和 协 作 ， 这 将 需 要 重 新 设 计 相 关 的 业 务 流 程 。 最 后 是 保 护 机 器 学 习 模 块 的 完 整 性 和 可 用 性 。 最 后 是 保 护 机 器 学 习 模 块 的 完 整 性 和 可 用 性 。 这 可 能 需 要 依 赖 现 有 的 系 统 保 护 机 器 学 习 模 块 核 心 组 件 不 被 破 坏 、 篡 改 、 偷 窃 等 。 因 为 对 手 获 取 越 多 关 于 模 型 的 信 息 ， 绕 过 模 型 的 成 本 越 低 ， 防 护 效 果 就 越 差 。 网 络 安 全 是 一 个 瞬 息 万 变 的 领 域 。 攻 击 者 会 变 ， 他 们 的 手 段 也 不 会 总 是 相 同 ， 程 序 语 言 会 升 级 换 代 ， 攻 击 武 器 也 层 出 不 穷 。 唯 有 模 型 跟 着 变 化 才 能 充 分 应 对 这 些 变 化 。 所 以 从 维 护 层 面 上 而 言 ， 最 核 心 的 难 题 是 更 新 频 率 高 。 在 高 频 的 更 新 要 求 下 ， 人 工 智 能 系 统 的 变 化 率 和 整 个 系 统 中 的 其 他 模 块 是 不 一 致 的 。 数 据 和 模 型 频 繁 地 更 改 ， 这 意 味 着 系 统 的 其 他 部 分 也 需 要 进 行 更 改 。 收 集 数 据 、 在 需 要 时 标 记 数 据 、 不 断 调 查 和 学 习 网 络 安 全 领 域 将 是 维 护 M L 工 具 的 持 续 需 求 。 而 在 迭 代 过 程 中 我 们 将 面 临 着 系 统 本 来 能 识 别 检 测 的 威 胁 在 模 型 更 新 后 反 而 检 测 不 到 的 问 题 。 考 虑 图 考 虑 图 3 的 简 化 模 型 ， 假 设 黑 色 圆 圈 是 威 胁 样 本 ， 我 们 的 第 一 个 模 型 F ( X ) 的 准 确 率 是 ( 3 + 4 ) / 1 0 = 7 0 % ， 我 们 迭 代 模 型 到 第 二 个 模 型 G ( X ) ， 其 准 确 率 是 ( 5 + 4 ) / 1 0 = 9 0 % ， 准 确 率 显 然 是 提 高 了 ， 但 是 左 下 角 的 黑 圆 圈 样 本 是 能 被 F ( X ) 检 测 到 的 , 反 而 准 确 率 更 高 的 G ( X ) 却 识 别 不 出 来 。 这 在 机 器 学 习 项 目 中 经 常 出 现 。 由 于 算 法 的 优 化 目 标 是 在 指 定 数 据 集 上 准 确 率 等 指 标 做 出 全 局 最 优 解 ， 在 迭 代 过 程 中 可 能 由 于 数 据 集 增 大 了 、 减 少 了 或 是 黑 样 本 变 多 了 ， 数 据 均 衡 和 分 布 规 律 和 之 前 不 一 样 了 ， 又 或 是 模 型 的 超 参 数 做 了 调 整 等 都 会 改 变 模 型 的 决 策 边 界 从 而 导 致 这 类 情 况 发 生 。
图   3 ： 模 型 迭 代 效 果 示 意 图 对 策 对 策 开 发 团 队 应 该 充 分 在 架 构 设 计 上 考 虑 好 安 全 性 、 可 用 性 、 可 靠 性 、 性 能 、 可 伸 缩 性 等 核 心 需 求 。 尽 可 能 实 现 松 散 耦 合 的 部 署 方 案 ， 可 以 扩 展 或 替 换 ， 以 适 应 不 可 避 免 的 数 据 和 模 型 的 变 化 和 算 法 创 新 ， 从 而 减 少 每 次 的 更 新 对 系 统 其 他 模 块 或 是 系 统 基 础 结 构 的 影 响 和 更 改 。 实 现 收 集 反 馈 闭 环 ， 跟 踪 人 工 智 能 系 统 生 产 环 境 下 的 输 出 ， 形 成 反 馈 工 作 流 程 ， 定 期 分 析 、 反 馈 检 测 结 果 和 性 能 指 标 ， 进 行 发 现 薄 弱 环 境 以 指 导 下 一 步 的 迭 代 。 应 该 尽 可 能 使 用 自 动 化 的 方 法 来 获 取 系 统 输 出 的 人 类 反 馈 ， 并 改 进 （ 即 重 新 训 练 ） 模 型 。 即 时 监 控 用 户 体 验 、 尽 早 发 现 问 题 ， 例 如 以 系 统 延 迟 或 降 低 准 确 性 的 形 式 降 低 性 能 。 即 使 是 在 低 交 互 系 统 中 ， 也 要 确 保 持 续 的 人 类 参 与 ， 以 监 测 计 算 机 是 否 因 无 法 编 码 而 进 行 评 估 的 判 断 （ 实 际 的 、 道 德 的 、 道 德 的 、 信 任 的 、 与 风 险 相 关 的 ） ， 以 及 是 否 存 在 模 型 篡 改 或 系 统 误 用 的 迹 象 。 参 考 资 料 参 考 资 料 1 . 《 R o b i n   S o m m e r   a n d   V e r n   P a x s o n   ,   “ O u t s i d e   t h e C l o s e d   W o r l d :   O n   U s i n g   M a c h i n e   L e a r n i n g   F o r N e t w o r k I n t r u s i o n   D e t e c t i o n ” 》 2 . 《   M a c h i n e   L e a r n i n g   i n   C y b e r s e c u r i t y   a   G u i d e 》 3 . 《 R u l e s   o f   m l 》 4 . 《 人 工 智 能 赋 能 网 络 空 间 安 全 ： 模 式 与 实 践 》 5 . 《 机 器 学 习 安 全 性 问 题 及 其 防 御 技 术 研 究 综 述 》 6 .   《 A I E n g i n e e r i n g :   1 1   F o u n d a t i o n a l   P r a c t i c e s   R e c o m m e n d a t i o n s   f o r   d e c i s i o n   m a k e r s   f r o m e x p e r t s   i n   s o f t w a r e e n g i n e e r i n g ,   c y b e r s e c u r i t y ,   a n d   a p p l i e d   a r t i f c i a l i n t e l l i g e n c e 》 * 本 文 作 者 ： 安 全 狗 本 文 作 者 ： 安 全 狗 s a f e d o g ， 转 载 请 注 明 来 自 ， 转 载 请 注 明 来 自 F r e e B u f . C O M 精 彩 推 荐 精 彩 推 荐
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理