搜索

[676] 2019-03-08_LEMNA针对安全应用的深度学习黑盒解释模型

文档创建者：s7ckTeam
浏览次数：9
最后更新：2025-01-16
2019-03-08_LEMNA针对安全应用的深度学习黑盒解释模型 L E M N A : 针 对 安 全 应 用 的 深 度 学 习 黑 盒 解 释 模 型 A r k T e a m   A r k T e a m   2 0 1 9 - 0 3 - 0 8 作 者 ： { W J N } @ A r k T e a m 原 文 标 题 ： L E M N A :   E x p l a i n i n g   D e e p   L e a r n i n g   b a s e d   S e c u r i t y   A p p l i c a t i o n s 原 文 作 者 ： W e n b o   G u o ,   D o n g l i a n g   M u ,   J u n   X u ,   P u r u i   S u ,   G a n g   W a n g ,   X i n y u   X i n g 原 文 出 处 ：   C C S ’ 2 0 1 8 （ B e s t   P a p e r ） 原 文 链 接 ： h t t p s : / / d l . a c m . o r g / c i t a t i o n . c f m ? d o i d = 3 2 4 3 7 3 4 . 3 2 4 3 7 9 2 深 度 学 习 模 型 不 可 解 释 性 极 大 地 限 制 了 其 在 安 全 应 用 中 的 使 用 。 尤 其 是 黑 盒 场 景 下 ， 开 发 人 员 很 难 知 道 模 型 为 什 么 无 效 、 究 竟 学 习 到 了 什 么 、 如 何 修 改 等 问 题 。 因 此 很 多 学 者 一 直 致 力 于 深 度 学 习 可 解 释 性 的 研 究 ， 也 陆 续 出 现 了 很 多 针 对 C N N （ 常 用 于 图 像 识 别 领 域 ） 的 解 释 方 法 。 但 目 前 却 很 少 有 针 对 安 全 领 域 常 用 的 R N N （ 序 列 模 型 ） 和 M L P （ 高 效 ） 模 型 的 可 解 释 性 研 究 。 由 于 特 征 之 间 的 依 赖 度 较 高 ， 且 对 解 释 精 度 要 求 较 高 ， 现 有 解 释 方 法 很 难 用 于 解 释 安 全 领 域 的 深 度 学 习 模 型 。 在 这 样 的 背 景 下 ， 论 文 作 者 针 对 安 全 应 用 中 常 用 的 深 度 学 习 模 型 ， 提 出 了 具 有 高 解 释 精 度 的 黑 盒 解 释 模 型 L E M N A （ L o c a l   E x p l a n a t i o n   M e t h o d   u s i n g   N o n l i n e a r   A p p r o x i m a t i o n ） 。 一 、 黑 盒 场 景 下 模 型 解 释 问 题 的 转 化 模 型 解 释 ， 主 要 任 务 是 要 说 明 分 类 器 为 什 么 将 样 本 x 分 类 为 类 别 y ， 在 对 样 本 x 进 行 分 类 时 主 要 依 据 了 哪 些 特 征 及 各 自 的 权 重 如 何 。 找 到 在 特 征 空 间 中 样 本 x 附 近 的 局 部 分 类 边 界 的 线 性 回 归 估 计 g ( x ) ， g ( x ) 上 各 部 分 特 征 的 系 数 即 可 看 作 是 各 个 特 征 的 权 重 ， 该 权 重 即 可 表 明 对 应 的 特 征 在 模 型 决 策 时 所 起 的 影 响 的 大 小 ， 最 终 实 现 分 类 器 的 解 释 。 图 1   黑 盒 模 型 解 释 方 法 说 明 二 、 论 文 为 了 实 现 针 对 R N N / M L P 及 高 解 释 精 度 的 特 性 ， 所 采 用 的 两 项 技 术 方 法 技 术 方 法 公 式 解 释 作 用
M i x t u r e r e g r e s s i o n m o d e l 各 线 性 回 归 模 型 的 权 重 多 个 线 性 回 归 模 型 的 组 合 ， 从 而 能 够 更 好 的 拟 合 样 本 附 近 的 局 部 决 策 边 界 。 不 需 要 再 假 设 待 解 释 模 型 的 局 部 决 策 边 界 的 线 性 的 （ 更 加 贴 近 真 实 情 况 ， 从 而 实 现 了 高 解 释 精 度 ） 。 F u s e d l o s s L ( f   ( x ) , y )   损 失 函 数 S 阈 值 （ 超 参 数 ） 线 性 回 归 模 型 的 参 数 向 量 让 相 关 特 征 的 权 重 值 的 差 距 小 于 一 定 阈 值 ， 强 制 分 类 器 给 相 关 的 特 征 相 同 的 权 重 。 从 而 实 现 相 关 特 征 的 聚 合 不 需 要 再 假 设 特 征 之 间 是 独 立 的 （ 更 加 符 合 安 全 领 域 的 应 用 情 况 ） 。 三 、 L E M N A 应 用 举 例 图 2   应 用 L E M N A 解 释 分 类 器 （ 用 于 确 定 二 进 制 函 数 开 始 点 ） 应 用 L E M N A 解 释 分 类 器 （ 用 于 确 定 二 进 制 函 数 开 始 点 ） 。 其 中 8 3 为 真 实 的 函 数 起 点 ， 0 . 9 9 为 R N N 分 类 器 的 输 出 概 率 。 通 过 将 元 组 ( h e x - s e q u e n c e ,   8 3 ) 发 送 给 L E M N A ， L E M N A 系 统 通 过 对 最 重 要 的 十 六 进 制 进 行 颜 色 编 码 来 解 释 分 类 决 策 （ 特 征 的 重 要 性 从 红 色 降 低 到 黄 色 ） 。 上 图 说 明 L E M N A 指 出 函 数 开 始 前 的 十 六 进 制 代 码 ” 9 0 “ 是 R N N 分 类 器 进 行 判 断 的 最 重 要 原 因 。 四 、 对 比 实 验 论 文 在 实 验 部 分 针 对 二 进 制 逆 向 工 程 （ R N N 模 型 ） ， 恶 意 P D F 检 测 （ M L P 模 型 ） 两 种 安 全 领 域 常 见 的 深 度 学 习 的 应 用 场 景 ， 进 行 了 L E M N A 的 部 署 和 应 用 。 并 与 此 前 最 优 秀 的 解 释 模 型 L I M E [ 1 ] 进 行 对 比 ， 结 果 如 下 ： （ 1 ） 对 局 部 决 策 边 界 拟 合 的 准 确 性 图 2   L I M E 与 L E M N A 对 局 部 决 策 边 界 拟 合 的 准 确 性 的 对 比
L I M E 表 现 最 好 的 结 果 R M S E ( R o o t   M e a n   S q u a r e   E r r o r ) 为 0 . 1 5 3 2 ， 仍 然 比 L E M N A 表 现 较 差 的 结 果 ( 0 . 0 1 9 6 ) 高 出 近 1 0 倍 。 这 一 结 果 表 明 ， 作 者 提 出 的 混 合 回 归 模 型 能 够 建 立 一 个 比 简 单 线 性 模 型 更 精 确 的 近 似 。 （ 2 ） 解 释 精 度 估 计 图 3   L I M E 与 L E M N A 解 释 精 度 对 比 ， 其 中 ( a ) 特 征 去 除 测 试 : 通 过 使 实 例 x 中 选 择 的 特 征 F x 无 效 ， 构 造 样 本 t ( x ) 1 ； ( b ) 特 征 加 强 测 试 : 从 相 反 的 类 中 随 机 选 择 一 个 实 例 r ( 即 ， 只 要 r 的 标 签 不 是 y ) ， 用 F x 的 特 征 值 替 换 实 例 r 的 特 征 值 ， 构 造 t ( x ) 2 ； ( c ) 特 征 生 成 测 试 : 保 留 所 选 特 性 F x 的 特 性 值 ， 同 时 为 其 余 特 征 随 机 分 配 值 ， 构 建 t ( x ) 3 。 参 考 文 献 [ 1 ]   M a r c o   T u l i o   R i b e i r o ,   S a m e e r   S i n g h ,   a n d   C a r l o s   G u e s t r i n .   2 0 1 6 .   W h y   s h o u l d   I   t r u s t   y o u ? :   E x p l a i n i n g   t h e p r e d i c t i o n s   o f   a n y   c l a s s i f i e r .   I n   P r o c e e d i n g s   o f   t h e   2 2 n d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   K n o w l e d g e   D i s c o v e r y   a n d D a t a   M i n i n g   ( K D D ) 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理