搜索

[17442] 2017-07-10_论道完善强化学习安全性：UCBerkeley提出约束型策略优化新算法（附代码）

文档创建者：s7ckTeam
浏览次数：16
最后更新：2025-01-18
2017-07-10_论道完善强化学习安全性：UCBerkeley提出约束型策略优化新算法（附代码） 论 道   |   完 善 强 化 学 习 安 全 性 ： U C   B e r k e l e y   提 出 约 束 型 策 略 优 化 新 算 法 （ 附 代 码 ） G e e k P w n   2 0 1 7 - 0 7 - 1 0 快 ， 极 客 关 注   G e e k P w n   ! 原 文 选 自   B A I R   B l o g 作 者   J o s h u a   A c h i a m 授 权 转 载 自 机 器 之 心 S m i t h 、 黄 小 天 、 邱 陆 陆 编 译 强 化 学 习 作 为 深 度 学 习 的 一 个 强 大 分 支 成 就 卓 然 ， 在 电 子 游 戏 和 仿 真 机 器 人 等 诸 多 场 景 中 ， 皆 能 见 其 身 影 ； 强 化 学 习 甚 至 在 阿 尔 法 狗 横 扫 人 类 围 棋 世 界 冠 军 的 对 决 中 发 挥 了 不 可 替 代 的 作 用 。 但 是 一 块 「 安 全 性 」 的 乌 云 正 降 但 是 一 块 「 安 全 性 」 的 乌 云 正 降 临 在 强 化 学 习 之 上 。 临 在 强 化 学 习 之 上 。 有 鉴 于 此 ， U C   B e r k e l e y   近 日 在 其 官 方 博 客 上 发 表 了 一 篇 题 为 《 C o n s t r a i n e d   P o l i c y   O p t i m i z a t i o n 》 的 文 章 ， 提 出 了 一 种 提 高 强 化 学 习 安 全 性 的 新 算 法 ： 约 束 型 策 略 优 化 （ 约 束 型 策 略 优 化 （ C P O ） ） ， 希 望 能 为 强 化 学 习 走 出 实 验 室 ， 安 全 可 靠 地 迈 向 现 实 世 界 贡 献 一 份 价 值 。 机 器 之 心 对 原 文 进 行 了 编 译 ， 链 接 请 见 文 末 。 深 度 强 化 学 习 已 经 在 很 难 的 控 制 问 题 上 取 得 了 卓 越 的 成 就 ： 借 助 深 度 强 化 学 习 （ d e e p   R L ） ， 智 能 体 （ a g e n t ） 已 经 学 会 了 通 过 分 析 每 个 像 素 来 打 电 子 游 戏 ， 控 制 仿 真 实 验 和 现 实 世 界 中 的 机 器 人 ， 从 示 范 中 学 习 对 象 控 制 （ o b j e c t   m a n i p u l a t i o n ） ， 甚 至 打 败 人 类 围 棋 冠 军 。 我 们 希 望 能 够 在 短 期 内 把 深 度 强 化 学 习 带 出 实 验 室 ， 付 诸
实 践 ， 用 于 日 常 技 术 当 中 ， 比 如 无 人 机 控 制 （ U A V   C o n t r o l ） 和 家 用 机 器 人 。 但 是 在 此 之 前 ， 我 们 不 得 不 解 决 最 为 重 要 的 问 题 ： 安 全 性 安 全 性 。 我 们 最 近 研 发 了 一 种 原 则 性 很 强 的 方 法 来 把 安 全 性 需 求 和 其 它 约 束 直 接 并 入 到 一 整 族 最 新 型 的 深 度 强 化 学 我 们 最 近 研 发 了 一 种 原 则 性 很 强 的 方 法 来 把 安 全 性 需 求 和 其 它 约 束 直 接 并 入 到 一 整 族 最 新 型 的 深 度 强 化 学 习 算 法 中 。 习 算 法 中 。 我 们 的 方 法 — — 约 束 型 策 略 优 化 （ C o n s t r a i n e d   P o l i c y   O p t i m i z a t i o n — — C P O ） ， 可 以 确 保 智 能 体 在 学 习 过 程 中 的 每 一 步 都 满 足 约 束 条 件 。 具 体 来 说 ， 我 们 尝 试 满 足 成 本 方 面 的 约 束 ： 设 计 者 会 给 智 能 体 应 该 避 免 的 每 一 个 结 果 都 分 配 一 个 成 本 （ c o s t ） 和 一 个 限 制 （ l i m i t ） ， 而 且 智 能 体 则 会 学 着 去 使 它 的 所 有 成 本 都 保 持 在 限 制 之 下 。 此 类 约 束 型 强 化 学 习 方 法 面 世 已 久 ， 而 且 甚 至 已 经 在 伯 克 利 引 出 了 与 之 密 切 相 关 的 研 究 — — 概 率 型 安 全 策 略 迁 移 （ p r o b a l i s t i c a l l y   s a f e   p o l i c y   t r a n s f e r ） 。 但 是   C P O   是 首 个 让 深 度 强 化 学 习 得 以 应 用 于 一 般 情 况 下 的 约 束 型 环 境 中 的 算 法 — — 而 且 ， 它 是 有 理 论 上 的 性 能 保 证 的 。 在 我 们 的 论 文 中 ， 我 们 描 述 了 一 个 运 行   C P O   的 高 效 方 法 ， 并 且 展 示 了 在 真 实 的 机 器 人 仿 真 中 ， 当 满 足 任 务 中 的 约 束 条 件 时 ， C P O   可 成 功 训 练 神 经 网 络 智 能 体 实 现 奖 励 （ r e w a r d ） 最 大 化 。 如 果 你 有 兴 趣 把   C P O   应 用 到 你 的 约 束 型 强 化 学 习 问 题 当 中 ， 我 们 的 开 源 代 码 正 应 所 需 ： h t t p s : / / g i t h u b . c o m / j a c h i a m / c p o 为 什 么 我 们 需 要 安 全 性 约 束 ？ 为 什 么 我 们 需 要 安 全 性 约 束 ？ 强 化 学 习 智 能 体 的 训 练 目 标 是 最 大 化 奖 励 信 号 ， 人 类 必 须 事 先 指 定 设 计 这 一 过 程 的 范 围 。 如 果 奖 励 信 号 没 有 被 正 确 设 计 ， 智 能 体 就 会 去 学 习 非 计 划 中 的 甚 至 是 有 害 的 行 为 。 如 果 设 计 奖 励 函 数 很 容 易 ， 这 将 不 是 问 题 ， 但 不 幸 的 是 从 根 本 上 来 讲 ， 奖 励 函 数 设 计 很 有 挑 战 性 ； 这 就 是 采 用 约 束 （ c o n s t r a i n t ） 的 关 键 动 机 所 在 。 让 我 们 用 一 个 基 于 真 实 用 例 的 简 化 案 例 来 说 明 ： 一 个 移 动 式 机 器 人 理 应 在 一 个 安 全 区 域 内 完 成 一 些 任 务 （ 比 如 说 绕 圈 跑 ） 。 如 果 它 离 开 安 全 区 域 的 频 率 小 于 一 定 的 预 选 阈 值 （ p r e - s e l e c t e d   t h r e s h o l d ） ， 我 们 就 认 为 机 器 人 是 「 安 全 」 的 ， 否 则 为 「 不 安 全 」 。 只 考 虑 奖 励 （ 为 了 跑 得 尽 可 能 快 ） 和 约 束 （ 离 开 安 全 区 域 的 频 率 ） ， 在 约 束 型 强 化 学 习 环 境 中 描 述 此 类 问 题 并 不 难 。 但 是 对 于 标 准 的 强 化 学 习 来 讲 ， 由 于 我 们 不 得 不 单 独 通 过 奖 励 函 数 设 计 所 有 的 行 为 ， 问 题 将 会 变 得 很 难 。 错 误 的 奖 励 设 计 也 能 够 导 致 智 能 体 过 于 畏 首 畏 尾 ，
导 致 无 效 ； 或 者 过 于 风 险 偏 好 ， 并 因 此 导 致 危 险 （ 这 里 的 「 安 全 」 区 域 在 两 个 蓝 色 挡 板 之 间 ） 。 还 有 另 外 一 个 角 度 解 释 为 什 么 标 准 强 化 学 习 方 法 不 利 于 安 全 性 ： 强 化 学 习 智 能 体 是 通 过 试 错 来 进 行 学 习 的 ， 他 强 化 学 习 智 能 体 是 通 过 试 错 来 进 行 学 习 的 ， 他 们 在 收 敛 前 会 探 索 很 多 不 同 策 略 。 们 在 收 敛 前 会 探 索 很 多 不 同 策 略 。 所 以 ， 即 使 我 们 设 计 了 一 个 可 在 最 优 情 况 下 引 导 智 能 体 通 向 安 全 策 略 的 奖 励 函 数 ， 还 是 可 能 会 在 训 练 过 程 中 导 致 不 安 全 的 探 索 行 为 。 像 例 子 中 的 那 样 ， 如 果 失 效 模 式 极 少 ， 而 且 发 生 频 率 比 预 选 频 率 低 ， 现 实 当 中 的 自 主 系 统 （ a u t o n o m o u s s y s t e m s ） 通 常 就 会 被 认 为 是 安 全 的 。 这 也 促 进 了 约 束 型 强 化 学 习 的 形 成 ， 即 以 自 然 方 式 把 安 全 性 并 入 强 化 学 习 。 此 外 ， 我 们 也 想 保 证 每 一 个 探 索 策 略 都 是 满 足 约 束 （ c o n s t r a i n t - s a t i s f y i n g ） 的 。 C P O   的 设 计 就 是 用 来 满 足 这 些 需 求 的 。 将   C P O   用 于 上 述 例 子 的 效 果 如 下 ： C P O ： 约 束 型 强 化 学 习 的 本 地 策 略 搜 索 ： 约 束 型 强 化 学 习 的 本 地 策 略 搜 索 本 地 策 略 搜 索 是 一 个 学 习 策 略 的 标 准 方 法 ， 我 们 对 策 略 进 行 迭 代 改 善 ， 直 到 其 收 敛 于 最 优 值 。 这 种 搜 索 之 所 以 叫 做 「 本 地 」 （ l o c a l ） 是 因 为 在 某 种 意 义 上 每 个 新 策 略 都 被 要 求 与 旧 策 略 相 似 。 举 个 例 子 ， 策 略 梯 度 （ p o l i c y g r a d i e n t ） 方 法 是 一 种 依 靠 仅 在 性 能 梯 度 方 向 上 走 小 步 从 而 使 策 略 保 持 相 似 的 本 地 策 略 搜 索 算 法 。
如 果 你 对 策 略 梯 度 不 熟 悉 ， 这 里 有 一 个   A n d r e j   K a r p a t h y   的 精 妙 介 绍 ： h t t p : / / k a r p a t h y . g i t h u b . i o / 2 0 1 6 / 0 5 / 3 1 / r l / 。 信 任 区 域 方 法 （ T r u s t   r e g i o n   m e t h o d ） 是 另 一 种 本 地 策 略 搜 索 算 法 。 它 们 也 使 用 了 策 略 梯 度 ， 但 是 针 对 策 略 更 新 方 式 其 制 定 了 一 个 特 殊 要 求 ： 每 一 个 新 策 略 都 必 须 在 平 均   K L   - 散 度 （ a v e r a g e   K L - d i v e r g e n c e ） 上 靠 近 旧 策 略 。 K L   - 散 度 是 一 种 用 来 衡 量 两 种 概 率 分 布 间 存 在 多 大 差 别 的 标 准 ， 而 且 由 于 策 略 输 出 的 是 行 为 的 分 布 ， K L   - 散 度 是 一 种 测 量 策 略 间 「 距 离 」 的 自 然 方 式 。 事 实 上 ， 信 任 区 域 方 法 在 训 练 神 经 网 络 策 略 时 可 以 有 极 佳 表 现 ， 并 且 可 以 避 免 标 准 策 略 梯 度 方 法 有 时 会 遭 受 的 性 能 崩 溃 的 问 题 （ 见   D u a n   e t   a l . ,   2 0 1 6 ） 。 C P O   是 一 个 用 于 约 束 型 强 化 学 习 的 信 任 区 域 方 法 ， 它 在 每 一 次 策 略 更 新 中 都 近 似 地 强 制 执 行 约 束 条 件 。 它 使 用 约 束 的 近 似 值 来 预 测 ， 在 任 意 给 定 的 更 新 之 后 ， 约 束 成 本 会 改 变 多 少 ， 接 着 选 择 会 最 大 化 提 升 性 能 并 能 够 将 约 束 成 本 保 持 在 其 限 制 之 下 的 更 新 方 式 。 在 上 图 中 ， 我 们 说 明 了 在   C P O   的 实 现 中 都 发 生 了 什 么 。 我 们 从 当 前 一 次 策 略 迭 代 开 始 ， 即 图 中 那 颗 星 的 位 置 。 策 略 梯 度 （ 深 蓝 色 箭 头 ） 指 向 奖 励 增 加 的 方 向 。 在 考 虑 安 全 性 约 束 之 前 ， 最 佳 步 骤 在   K L   信 任 区 域 （ 蓝 色 椭 圆 形 ） 的 边 缘 上 。 但 是 我 们 只 想 涉 足 满 足 约 束 条 件 的 区 域 （ 浅 绿 色 半 区 ） ， 因 此 这 一 次 我 们 仍 然 尽 可 能 多 地 增 加 奖 励 ， 只 不 过 同 时 保 证 安 全 。 C P O   更 新 之 后 我 们 的 新 策 略 是 最 后 的 那 颗 星 。 我 们 也 有 一 些 不 错 的 理 论 成 果 来 补 足 实 践 的 算 法 ： 我 们 推 导 出 了 一 个 平 均   K L   - 散 度 近 似 值 质 量 的 新 界 限 。 这 使 得 我 们 得 以 证 明 一 般 性 信 任 区 域 方 法 有 效 性 ， 解 释 了 其 效 果 有 多 好 ， 并 使 我 们 确 定 了 在   C P O   更 新 之 后 有 可 能 发 生 的 约 束 违 规 的 下 限 。 关 于 实 际 性 能 ： 我 们 发 现   C P O   卓 有 成 效 。 同 时 在 圆 圈 任 务 （ 上 文 已 讨 论 ） 和 一 个 更 复 杂 的 收 集 任 务 中 （ 其 中 智
能 体 要 收 集 绿 色 苹 果 ， 并 被 约 束 以 避 开 红 色 炸 弹 ） ， C P O   学 到 了 很 好 的 策 略 ， 并 在 整 个 训 练 中 都 近 似 地 满 足 约 束 。 C P O   学 习 到 了 一 个 策 略 ， 可 以 尽 可 能 多 地 搜 集 绿 色 苹 果 ， 同 时 被 约 束 不 得 在 每 条 轨 迹 上 搜 集 多 于 平 均   0 . 1   个 红 色 炸 弹 。 下 一 步 下 一 步 我 们 希 望   C P O   能 为 强 化 学 习 走 出 实 验 室 ， 安 全 可 靠 地 迈 向 现 实 世 界 贡 献 一 份 价 值 。 在 我 们 开 展 新 研 究 时 ， 出 现 了 大 量 关 于 如 何 应 用   C P O   的 有 趣 想 法 ， 我 们 也 邀 请 了 更 大 范 围 的 研 究 社 区 参 与 讨 论 并 扩 展 应 用 景 。 例 如 ： 把   C P O   用 于 安 全 性 迁 移 学 习 ， 从 而 把 在 模 拟 中 习 得 的 策 略 推 进 到 现 实 世 界 。 使 用   C P O   从 不 安 全 的 示 范 中 学 习 安 全 性 策 略 。 提 升   C P O   的 样 本 效 率 以 最 小 化 智 能 体 所 犯 错 误 的 数 量 （ 需 存 在 一 定 错 误 ， 否 则 智 能 体 无 法 学 习 ） 。 参 考 文 献 参 考 文 献 [ 1 ]   A s y n c h r o n o u s   M e t h o d s   f o r   D e e p   R e i n f o r c e m e n t   L e a r n i n g ： h t t p s : / / a r x i v . o r g / a b s / 1 6 0 2 . 0 1 7 8 3 [ 2 ]   T r u s t   R e g i o n   P o l i c y   O p t i m i z a t i o n ： h t t p s : / / a r x i v . o r g / a b s / 1 5 0 2 . 0 5 4 7 7 [ 3 ]   S e n s o r i m o t o r   D e e p   L e a r n i n g ： h t t p : / / r l l . b e r k e l e y . e d u / d e e p l e a r n i n g r o b o t i c s / [ 4 ]   R o b o t s   t h a t   L e a r n ： h t t p s : / / b l o g . o p e n a i . c o m / r o b o t s - t h a t - l e a r n / [ 5 ]   M a s t e r i n g   t h e   g a m e   o f   G o   w i t h   D e e p   N e u r a l   N e t w o r k s   &   T r e e   S e a r c h ： h t t p s : / / d e e p m i n d . c o m / r e s e a r c h / p u b l i c a t i o n s / m a s t e r i n g - g a m e - g o - d e e p - n e u r a l - n e t w o r k s - t r e e - s e a r c h / [ 6 ]   C o n s t r a i n e d   M a r k o v   D e c i s i o n   P r o c e s s e s ： h t t p : / / w w w - s o p . i n r i a . f r / m e m b e r s / E i t a n . A l t m a n / T E M P / h . p d f [ 7 ]   P r o b a b i l i s t i c a l l y   S a f e   P o l i c y   T r a n s f e r ： h t t p s : / / a r x i v . o r g / a b s / 1 7 0 5 . 0 5 3 9 4 [ 8 ]   C o n s t r a i n e d   P o l i c y   O p t i m i z a t i o n ： h t t p s : / / a r x i v . o r g / a b s / 1 7 0 5 . 1 0 5 2 8 [ 9 ]   F a u l t y   R e w a r d   F u n c t i o n s   i n   t h e   W i l d ： h t t p s : / / b l o g . o p e n a i . c o m / f a u l t y - r e w a r d - f u n c t i o n s / [ 1 0 ]   T r u s t   R e g i o n   P o l i c y   O p t i m i z a t i o n ： h t t p s : / / a r x i v . o r g / a b s / 1 5 0 2 . 0 5 4 7 7 [ 1 1 ]   K u l l b a c k – L e i b l e r   d i v e r g e n c e ： h t t p s : / / e n . w i k i p e d i a . o r g / w i k i / K u l l b a c k % E 2 % 8 0 % 9 3 L e i b l e r _ d i v e r g e n c e [ 1 2 ]   B e n c h m a r k i n g   D e e p   R e i n f o r c e m e n t   L e a r n i n g   f o r   C o n t i n u o u s   C o n t r o l ： h t t p s : / / a r x i v . o r g / a b s / 1 6 0 4 . 0 6 7 7 8
原 文 链 接 ： h t t p : / / b a i r . b e r k e l e y . e d u / b l o g / 2 0 1 7 / 0 7 / 0 6 / c p o / 半 年 三 篇 博 文 ， 对 机 器 学 习 的 安 全 隐 私 来 了 个 大 起 底 机 器 学 习 对 抗 性 攻 击 报 告   |   极 棒 硅 谷 站 当 谈 论 人 工 智 能 时 ， 黑 客 们 在 谈 论 什 么   |   现 场 G e o H o t ： 人 工 智 能 或 是 最 后 的 边 界 （ 含 视 频 ） 嗨 S i r i ， 麻 烦 帮 我 转 个 账 吧 . . . . . .   |   极 棒 硅 谷 站 脑 洞 题 ： 选 个   A I   当 总 统 怎 么 样 ？ 机 器 能 思 考 ， 上 帝 会 发 笑 吗 ？   你 可 能 还 对 这 些 感 兴 趣 你 可 能 还 对 这 些 感 兴 趣 . . . . . .
  关 于 关 于   G e e k P w n   （ 极 棒 ） （ 极 棒 ） G e e k   意 为 “ 极 客 ” ， P w n   是 指 “ 突 破 事 物 的 原 有 规 则 ” 。 G e e k P w n   是 由 碁 震 （ 是 由 碁 震 （ K E E N ） 发 起 并 主 办 的 全 球 首 个 关 注 智 能 生 活 的 安 全 极 客 嘉 年 华 。 ） 发 起 并 主 办 的 全 球 首 个 关 注 智 能 生 活 的 安 全 极 客 嘉 年 华 。 2 0 1 4   年   1 0   月   2 4   日 首 次 举 办 ，   2 0 1 6   年 起   G e e k P w n   由 一 年 一 赛 变 为 一 年 两 赛 ， 至 今 已 成 功 举 行 五 届 六 场 ， 踏 足 北 京 、 上 海 、 澳 门 、 香 港 以 及 美 国 硅 谷 。 除 了 聚 焦 智 能 软 硬 件 安 全 ， G e e k P w n   在 人 工 智 能 安 全 和 打 破 技 术 结 界 的 安 全 创 新 领 域 都 有 所 突 破 。 大 赛 不 对 选 手 项 目 进 行 限 制 ， 鼓 励 脑 洞 大 开 的 极 客 挣 脱 思 维 的 枷 锁 ， 将 原 本 的 “ 不 可 能 、 不 存 在 ” 变 为 极 棒 舞 台 上 最 精 彩 的 挑 战 。 2 0 1 7   年 年   5   月 月   G e e k P w n   年 中 赛 已 经 结 束 ， 年 中 赛 已 经 结 束 ， G e e k P w n   嘉 年 华 将 于 嘉 年 华 将 于   1 0   月 月   2 4   日 在 上 海 与 日 在 上 海 与   1 1   月 月 1 1   日 在 硅 谷 举 行 。 日 在 硅 谷 举 行 。 继   2 0 1 6   年 的 “ 机 器 特 工 ” 和 “ 跨 次 元   C T F   挑 战 ” 之 后 ， 2 0 1 7   年   G e e k P w n   与   N e x t   I d e a   联 合 发 起 “ 人 工 智 能 安 全 挑 战 专 项 ” 即 将 震 撼 登 场 ， 同 时 主 办 方 向 广 大 安 全 研 究 者 以 及 人 工 智 能 研 究 者 发 出 诚 挚 邀 请 。 报 名 截 止 时 间 ： 报 名 截 止 时 间 ： 9   月 月   3 0   日 （ 上 海 站 ） 日 （ 上 海 站 ） 1 0   月 月 1 0   日 （ 硅 谷 站 ） 日 （ 硅 谷 站 ）   请 留 下 你 指 尖 的 温 度 记 得 常 来 看 看 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理