搜索

[3967] 2017-06-26_上手教程：15分钟掌握机器学习

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-16
2017-06-26_上手教程：15分钟掌握机器学习 上 手 教 程 ： 1 5 分 钟 掌 握 机 器 学 习 原 创   E 安 全   E 安 全   2 0 1 7 - 0 6 - 2 6 更 多 全 球 网 络 安 全 资 讯 尽 在 E 安 全 官 网 w w w . e a s y a q . c o m 自 从 谷 歌 旗 下 的 A l p h a   G o 横 扫 人 类 围 棋 高 手 之 后 ， 人 工 智 能 和 机 器 学 习 成 了 街 头 巷 尾 人 尽 皆 知 的 名 词 。 同 时 ， 机 器 学 习 也 迅 速 成 为 了 众 人 渴 望 的 必 备 技 能 之 一 。 如 果 大 家 对 于 机 器 学 习 技 术 抱 有 兴 趣 ， 但 又 不 太 清 楚 如 何 将 其 与 您 的 业 务 相 匹 配 ， 那 么 最 好 的 办 法 当 然 是 撸 起 袖 子 ， 亲 自 动 手 尝 试 。 什 么 是 机 器 学 习 ？ 机 器 学 习 是 一 门 多 领 域 交 叉 学 科 ， 涉 及 概 率 论 、 统 计 学 、 逼 近 论 、 凸 分 析 、 算 法 复 杂 度 理 论 等 多 门 学 科 。 它 是 人 工 智 能 的 核 心 ， 是 使 计 算 机 具 有 智 能 的 根 本 途 径 ， 其 应 用 遍 及 人 工 智 能 的 各 个 领 域 ， 主 要 使 用 归 纳 、 综 合 而 不 是 演 绎 。 机 器 学 习 模 型 可 用 于 多 种 不 同 的 领 域 内 以 提 升 生 产 效 率 、 识 别 风 险 或 者 发 现 新 的 商 业 机 遇 。 机 器 学 习 模 型 的 预 测 主 要 分 为 两 大 方 向 ： 一 、 为 确 切 值 预 测 ， 例 如 下 周 的 销 售 额 ；   二 、 为 分 类 预 测 ， 即 通 过 预 测 在 风 险 组 合 中 将 某 一 客 户 划 分 为 高 风 险 、 中 等 风 险 抑 或 低 风 险 类 别 。 需 要 注 意 的 是 ， 机 器 学 习 并 不 能 用 于 解 决 一 切 问 题 。 如 果 模 型 相 对 较 新 且 此 前 并 没 有 进 行 过 反 复 实 践 ， 或 者 不 具 备 充 足 的 训 练 用 数 据 ， 那 么 机 器 学 习 模 型 的 表 现 将 很 难 令 人 满 意 。 尽 管 已 经 存 在 可 用 于 支 持 各 类 用 例 的 技 术 手 段 ， 但 机 器 学 习 仍 然 需 要 配 合 人 类 验 证 、 识 别 检 查 以 及 相 关 领 域 的 知 识 方 可 奏 效 。 话 虽 如 此 ， 我 们 仍 然 可 以 通 过 之 前 提 到 的 各 类 案 例 尝 试 解 决 并 体 验 各 类 可 实 现 目 标 。 以 下 请 跟 E 安 全 一 起 尝 试 机 器 学 习 技 术 的 一 种 基 本 应 用 ： 将 一 组 客 户 数 据 转 化 为 风 险 水 平 预 测 流 程 。
从 分 类 起 步 从 分 类 起 步 为 了 实 现 分 类 ， 我 们 需 要 使 用 一 套 分 类 模 型 ， 用 于 预 测 特 定 条 目 属 于 哪 种 类 别 或 者 组 。 此 类 方 案 中 的 典 型 代 表 正 是 随 机 森 林 算 法 。 E 安 全 百 科 安 全 百 科 ： “ 随 机 森 林 算 法 ” 就 是 用 随 机 的 方 式 建 立 一 个 森 林 ， 森 林 里 面 由 很 多 的 决 策 树 组 成 ， 每 一 棵 决 策 树 之 间 互 不 关 联 。 得 到 森 林 之 后 ， 每 当 有 一 个 新 的 样 本 输 入 ， 就 让 森 林 中 的 每 一 棵 决 策 树 分 别 进 行 一 下 判 断 ， 看 看 这 个 样 本 应 该 属 于 哪 一 类 （ 对 于 分 类 算 法 ） ， 最 终 得 出 被 选 择 最 多 的 那 一 类 。 这 类 模 型 基 于 决 策 树 方 法 ， 即 通 过 不 同 变 量 （ 客 户 相 关 信 息 ） 对 一 组 包 含 主 题 （ 在 本 示 例 中 为 客 户 ） 的 条 目 进 行 不 断 划 分 ， 直 到 各 条 目 皆 被 放 置 入 特 定 的 类 别 。 随 机 森 林 正 是 决 策 树 的 大 规 模 集 合 。 使 用 大 量 决 策 树 能 够 降 低 过 度 拟 合 风 险 （ 是 指 模 型 在 利 用 第 一 组 特 定 数 据 进 行 训 练 后 能 够 实 现 理 想 的 结 果 ， 但 继 续 处 理 后 续 数 据 集 时 效 果 却 有 所 下 降 的 状 况 ） 。 操 作 步 骤 要 创 造 这 样 复 杂 的 方 案 似 乎 会 给 我 们 带 来 一 系 列 严 峻 挑 战 。 但 目 前 多 种 程 序 语 言 都 包 含 有 用 于 构 建 此 类 模 型 的 库 。 在 本 示 例 当 中 ， 我 们 将 使 用 P y t h o n 的 s c i k i t l e a r n 库 （ 外 加 p a n d a s 与 n u m p y 两 套 库 ， 二 者 负 责 对 数 据 集 进 行 管 理 ， E 安 全 注 ： 本 文 相 关 工 具 均 可 在 文 末 下 载 ） 。 在 继 续 之 前 ， 请 大 家 确 保 已 经 正 确 安 装 了 P y t h o n （ 这 里 我 们 演 示 使 用 的 为 P y t h o n   2 ） ， 并 顺 利 加 载 了 以 上 提 到 的 三 款 软 件 包 。 要 安 装 这 三 套 库 ， 可 在 终 端 中 运 行 p i p   i n s t a l l   s k l e a r n 命 令 （ p a n d s 与 n u m p y 也 按 照 这 个 方 式 安 装 ） 。 本 示 例 全 部 通 过 J u p y t e r 记 事 本 展 示 ， 其 同 时 也 是 数 据 科 学 家 在 开 发 过 程 中 经 常 接 触 到 的 界 面 。 大 家 可 以 直 接 将 这 里 使 用 的 代 码 片 段 运 行 于 P y t h o n 控 制 台 或 者 任 何 其 它 P y t h o n   I D E 当 中 。 以 下 i m p o r t 语 句 使 得 各 库 可 用 于 你 的 当 前 会 话 。 此 后 ， 继 续 将 来 自 c s v 文 件 的 数 据 加 载 至 一 个 数 据 帧 （ 即 p a n d a s 所 使 用 的 特 定 数 据 网 格 样 式 ） 之 内 ， 接 下 来 添 加 您 的 标 题 名 称 。 现 在 ， 数 据 已 经 被 添 加 到 p a n d a s   d a t a f r a m e （ 简 称 d f ） 之 内 ， 下 图 所 示 为 该 数 据 帧 内 的 前 五 行 。 为 了 让 模 型 具 备 准 确 的 预 测 能 力 ， 我 们 需 要 对 其 进 行 “ 训 练 ” 。 到 这 里 ， 模 型 已 经 展 示 出 一 组 存 在 相 互 关 联 的 分 类 数 据 。 可 以 看 到 ， 该 模 型 能 够 了 解 数 据 主 体 （ 本 示 例 中 为 客 户 ） 所 给 出 的 信 息 以 及 相 关 各 标 签 间 的 联 系 （ 即 客 户 属 于 高 、 中 抑 或 低 风 险 状 态 ） 。
在 使 用 随 机 森 林 模 型 的 情 况 下 ， 其 会 通 过 数 据 集 的 特 征 对 数 据 进 行 划 分 或 者 分 区 ， 进 而 找 出 其 关 联 。 举 例 来 说 ， 通 过 所 使 用 设 备 的 数 量 进 行 划 分 ， 并 将 其 中 双 设 备 结 果 记 录 与 单 一 设 备 的 结 果 进 行 区 分 （ 根 据 数 据 集 的 基 数 ， 可 能 存 在 两 个 甚 至 更 多 分 组 ） 。 更 进 一 步 的 划 分 则 通 过 使 用 其 它 信 息 来 完 成 ， 直 至 模 型 能 够 判 断 各 条 记 录 所 归 属 的 最 终 类 别 （ 在 本 示 例 中 为 风 险 级 别 ） 。 初 入 森 林 初 入 森 林 在 模 型 训 练 完 成 之 后 ， 我 们 可 以 利 用 其 尚 未 接 触 过 的 其 它 数 据 进 行 测 试 。 新 数 据 中 不 存 在 原 始 标 签 ， 这 意 味 着 模 型 需 要 自 行 对 其 值 进 行 预 测 。 为 了 实 现 这 一 点 ， 我 们 需 要 将 数 据 集 划 分 为 两 个 部 分 。 其 中 一 部 分 数 据 集 用 于 训 练 ， 另 一 部 分 则 用 于 测 试 。 以 下 代 码 片 段 为 每 个 观 察 值 随 机 分 配 1 到 1 0 0 间 的 某 个 值 ， 其 中 被 分 配 于 低 于 7 0 的 随 机 数 的 行 将 作 为 训 练 集 存 在 ， 而 其 余 部 分 则 属 于 测 试 集 。 这 意 味 着 全 部 数 据 中 将 有 约 7 0 % 被 用 于 训 练 。 我 们 可 以 输 出 各 数 据 集 的 分 配 值 以 证 明 这 一 点 。 接 下 来 的 任 务 是 为 模 型 准 备 好 对 应 的 训 练 集 。 我 们 将 创 建 一 个 变 量 以 保 存 对 各 特 征 的 推 理 （ 这 部 分 信 息 可 帮 助 确 定 最 终 分 类 信 息 ） ， 而 另 一 变 量 则 用 于 保 存 类 别 本 身 。 首 先 ， 为 各 类 别 创 建 变 量 。 通 过 以 下 示 例 可 以 看 到 ， 该 变 量 负 责 训 练 标 签 ， 同 时 存 放 来 自 该 数 据 集 之 风 险 标 签 列 的 具 体 内 容 。 目 前 各 风 险 级 别 被 划 分 为 “ 高 ” 、 “ 中 ” 与 “ 低 ” ， 但 我 们 将 利 用 “ 因 子 分 解 ” 函 数 将 三 者 以 数 字 形 式 表 达 （ 0 、 1 和 2 ） 。 下 面 ， 各 特 征 的 名 称 会 被 捕 捉 至 另 一 独 立 变 更 当 中 ， 即 以 下 所 示 的 c o l u m n s _ f o r _ f e a t u r e s 。 与 此 同 时 ， 随 机 森 林 分 类 器 将 被 创 建 并 存 储 在 c l a s s i f i e r 变 量 之 内 。 现 在 模 型 训 练 的 准 备 工 作 已 经 全 部 就 绪 。 该 分 类 器 具 备 一 条 f i t 函 数 ， 其 被 传 递 至 数 据 集 中 的 训 练 部 分 （ t r a i n _ d f ） ， 但 会 向 模 型 强 调 其 应 当 关 注 的 具 体 列 。 同 样 也 会 被 传 递 至 训 练 标 签 ， 或 者 说 现 已 可 用 的 类 别 当 中 。
现 在 ， 模 型 需 要 正 式 接 受 训 练 。 在 这 一 过 程 中 ， 模 型 将 了 解 “ 特 征 ” 与 “ 标 签 ” 之 间 的 关 联 ， 并 学 习 如 何 在 各 特 征 可 用 时 判 断 未 知 数 据 的 正 确 标 签 。 反 复 测 试 反 复 测 试 利 用 数 据 集 中 的 测 试 性 数 据 ， 我 们 可 以 了 解 自 己 的 这 套 模 型 拥 有 怎 样 的 实 际 预 测 表 现 。 分 类 器 中 存 在 一 条 名 为 p r e d i c t 的 函 数 ， 其 负 责 将 特 征 数 据 由 此 前 准 备 好 的 t e s t _ d f 数 据 集 当 中 提 取 出 来 。 由 此 输 出 的 结 果 则 为 一 套 整 数 集 （ 分 为 0 、 1 和 2 ） ， 其 分 别 拥 有 与 之 对 应 的 标 签 （ 即 ‘ 高 ’ 、 ‘ 中 ’ 、 ‘ 低 ’ ） 。 而 这 些 正 是 我 们 模 型 所 要 预 测 的 类 别 结 论 。 虽 然 目 前 的 成 果 已 经 相 当 令 人 兴 奋 ， 但 仍 不 具 备 现 实 意 义 。 我 们 需 要 通 过 几 个 快 速 步 骤 将 各 值 解 码 为 其 文 本 标 签 ， 而 后 将 模 型 所 提 供 的 类 别 结 论 与 测 试 数 据 集 中 的 原 始 标 签 进 行 比 较 ， 借 以 判 断 其 预 测 准 确 度 。 以 下 网 格 所 示 为 各 个 实 际 分 组 中 的 具 体 数 字 ， 且 需 要 与 预 测 分 组 进 行 比 较 。 可 以 看 到 ， 对 于 1 0 个 高 风 险 观 察 值 ， 该 模 型 将 其 中 9 个 成 功 预 测 为 “ 高 风 险 ” ， 而 其 中 1 个 则 被 误 判 为 “ 中 等 风 险 ” 。 而 在 1 8 个 低 风 险 观 察 值 中 ， 该 模 型 带 来 了 完 全 准 确 的 预 测 结 果 。 最 后 ， 1 0 项 中 等 风 险 内 有 7 个 得 到 正 确 预 测 ， 而 另 外 3 项 则 被 错 误 预 测 为 “ 高 风 险 ” 。 这 样 的 结 果 基 本 令 人 满 意 。 接 下 来 ， 只 需 要 通 过 简 单 的 几 个 步 骤 ， 我 们 即 可 创 建 一 套 模 型 ， 并 训 练 其 以 识 别 数 据 当 中 存 在 的 模 式 。 基 于 这 种 训 练 ， 该 模 型 还 可 成 功 预 测 此 前 从 未 接 触 过 的 客 户 数 据 。 利 用 这 些 预 测 模 式 ， 企 业 工 作 人 员 将 不 再 需 要 手 动 审 查 客 户 详 细 信 息 ， 而 这 种 对 高 风 险 客 户 的 简 化 分 析 流 程 还 可 帮 助 我 们 将 注 意 力 集 中 在 更 具 意 义 的 价 值 生 成 工 作 身 上 。
在 本 示 例 当 中 ， 分 类 器 负 责 预 测 风 险 级 别 。 但 同 样 的 技 术 还 可 用 于 预 测 客 户 流 失 、 设 备 故 障 以 及 其 它 多 种 实 际 业 务 问 题 同 样 的 技 术 还 可 用 于 预 测 客 户 流 失 、 设 备 故 障 以 及 其 它 多 种 实 际 业 务 问 题 。 在 实 际 操 作 当 中 ， 大 家 会 发 现 这 一 流 程 所 耗 费 的 时 间 可 能 比 想 象 中 更 长 ， 但 总 体 来 讲 ， 本 文 已 经 展 示 了 其 基 本 原 理 ， 并 探 讨 了 其 中 作 为 在 机 器 学 习 领 域 迈 出 第 一 步 的 关 键 性 举 措 。 另 外 ， 我 们 也 体 会 到 了 使 用 预 先 准 备 的 数 据 集 所 带 来 的 助 益 。 在 大 多 数 情 况 下 ， 机 器 学 习 必 须 拥 有 经 过 正 确 归 纳 的 数 据 集 方 可 完 成 建 模 机 器 学 习 必 须 拥 有 经 过 正 确 归 纳 的 数 据 集 方 可 完 成 建 模 并 真 正 处 理 实 践 工 作 并 真 正 处 理 实 践 工 作 。 而 这 种 归 纳 任 务 可 能 包 括 数 据 清 理 、 特 征 选 择 （ 即 首 先 选 择 需 要 哪 些 数 据 ） 、 转 换 与 格 式 调 整 而 这 种 归 纳 任 务 可 能 包 括 数 据 清 理 、 特 征 选 择 （ 即 首 先 选 择 需 要 哪 些 数 据 ） 、 转 换 与 格 式 调 整 。 这 些 工 作 中 的 每 一 项 都 完 全 可 以 作 为 单 独 的 主 题 进 行 分 析 ， 但 在 今 天 的 这 篇 快 速 上 手 教 程 中 ， 我 们 只 是 顺 带 一 提 即 可 。 总 之 — — 欢 迎 来 到 机 器 学 习 的 时 代 ！   相 关 下 载 地 址 ： 相 关 下 载 地 址 ： P y t h o n ： h t t p s : / / w w w . p y t h o n . o r g / d o w n l o a d s /         S c i k i t l e a r n ： h t t p : / / s c i k i t - l e a r n . o r g / s t a b l e /         p a n d a s ： h t t p : / / p a n d a s . p y d a t a . o r g /         n u m p y ： h t t p : / / w w w . n u m p y . o r g /   2 6 E 安 全 推 荐 文 章 安 全 推 荐 文 章 官 网 ： 官 网 ： w w w . e a s y a q . c o m 2 0 1 7 年 年 6 月 月   0 1 保 障 信 息 安 全 不 得 不 做 的 功 课 ： 大 数 据 与 机 器 学 习 0 2 人 工 智 能 、 机 器 学 习 及 非 恶 意 软 件 攻 击 的 联 系 和 缺 陷 0 3 黑 客 内 鬼 窃 取 华 尔 街 金 融 服 务 公 司 核 心 交 易 算 法 0 4 M i r a i 出 现 新 变 种 ， 内 置 有 域 名 生 成 算 法 0 5 2 8 个 国 家 ， 史 上 最 大 规 模 联 合 抗 击 黑 客 ！ 0 6 W a n n a C r y 弱 爆 了 ! 韩 国 I D C 被 E r e b u s 软 件 勒 索 6 8 3 万 0 7 2 亿 ： 走 进 史 上 规 模 最 大 的 美 国 选 民 数 据 泄 露 案 0 8 如 何 监 控 美 国 政 府 官 员 上 网 在 干 什 么 0 9 3 0 多 个 D V R 品 牌 现 新 漏 洞 ， 或 致 永 久 性 M i r a i 感 染 1 0 2 0 1 7 年 全 球 网 络 高 危 端 口 暴 露 指 数 , 我 国 排 名 第 2 1 位
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理