搜索

[27418] 2019-09-26_人人都能玩的深度学习，只需要点点点就能完成，了解一下？

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-19
2019-09-26_人人都能玩的深度学习，只需要点点点就能完成，了解一下？ 人 人 都 能 玩 的 深 度 学 习 ， 只 需 要 点 点 点 就 能 完 成 ， 了 解 一 下 ？ 原 创   N i g h t T e a m   N i g h t T e a m   2 0 1 9 - 0 9 - 2 6 " N i g h t T e a m " ， 一 个 值 得 加 星 标 的 公 众 号 。 背 景 背 景 你 是 否 因 为 深 度 学 习 深 度 学 习 这 几 个 字 就 有 点 望 而 却 步 了 ？ 你 是 否 因 为 听 闻 需 要 高 深 的 数 学 知 识 需 要 高 深 的 数 学 知 识 就 马 上 想 逃 离 了 ？ 你 是 否 因 为 艳 羡 别 人 娴 熟 的 使 用 深 度 学 习 框 架 娴 熟 的 使 用 深 度 学 习 框 架 而 黯 然 叹 气 呢 ？ 以 上 的 广 告 词 是 不 是 特 别 熟 悉 ， 这 次 咱 们 不 用 9 9 8 的 价 格 ， 只 要 有 一 台 电 脑 ， 就 可 以 跟 着 本 次 教 程 ， 轻 松 实 现 一 个 可 以 用 来 做 图 片 分 类 图 片 分 类 的 深 度 学 习 分 类 模 型 ！ 操 作 时 只 需 要 简 单 地 在 网 页 上 点 几 下 就 行 了 ！ 准 备 准 备 相 信 听 说 过 深 度 学 习 的 你 应 该 知 道 ， 深 度 学 习 是 有 个 叫 “ 模 型 ” 的 东 西 的 ， 这 个 模 型 相 当 于 一 个 小 宝 宝 ， 需 要 经 过 不 断 地 教 育 、 学 习 之 后 才 会 识 字 ， 而 这 个 教 育 、 学 习 的 步 骤 ， 在 深 度 学 习 领 域 里 叫 做 “ 训 练 ” 。 但 与 现 实 中 的 爸 爸 教 儿 子 不 同 的 是 ， 模 型 的 训 练 速 度 取 决 于 处 理 器 ， 处 理 器 的 处 理 速 度 越 高 ， 训 练 的 速 度 就 越 快 。
这 个 处 理 器 ， 我 们 生 活 中 最 常 见 的 就 是   C P U   和   G P U   了 ， 那 么 它 们 两 个 里 谁 用 来 训 练 模 型 更 快 呢 ？ 如 果 你 觉 得 是   C P U   更 快 的 话 ， 那 就 大 错 特 错 了 。 如 果 把   C P U   比 喻 成 房 间 ， 那 么 坐 在 这 个 房 间 里 办 公 的 人 就 都 是   9 8 5 / 2 1 1   毕 业 、 拥 有 各 种 牛 逼 光 环 的 大 佬 。 大 佬 们 虽 然 计 算 速 度 很 快 ， 但 毕 竟 人 少 ， 而 训 练 模 型 这 个 事 情 对 他 们 而 言 又 太 简 单 了 ， 所 以 让 他 们 来 干 这 个 活 其 实 并 不 合 适 ！ 那 么   G P U   是 什 么 样 的 呢 ？ 同 样 把   G P U   比 喻 成 房 间 的 话 ， 那 么 坐 在 这 个 房 间 里 办 公 的 人 就 都 是 刚 毕 业 的 实 习 生 ， 由 于 招 实 习 生 实 在 是 太 便 宜 了 ， 所 以 老 板 就 招 了 几 千 个 实 习 生 来 干 活 。 虽 然 实 习 生 们 的 计 算 速 度 不 像 大 佬 们 那 么 快 ， 但 是 训 练 个 模 型 还 是 绰 绰 有 余 的 ， 所 以 让 他 们 来 干 这 个 活 ， 效 率 就 比   C P U   高 到 不 知 道 哪 里 去 了 。 所 以 ， 如 果 你 有 一 个 强 力 的 显 卡 （ G P U ） ， 请 做 好 以 下 准 备 ： • L i n u x   系 统 • 你 的 显 卡 • n v i d i a - d o c k e r • D o c k e r   镜 像 ： 着 重 说 明 一 下 ， n v i d i a - d o c k e r   是 为 了 虚 拟 化 显 存 所 使 用 的 一 种   D o c k e r   技 术 ， 但 很 遗 憾 ， 它 暂 时 不 支 持   W i n d o w s   和 M a c O S   系 统 ， 所 以 我 们 需 要 一 个 安 装 了   L i n u x   系 统 的 电 脑 。 n v i d i a - d o c k e r   的 安 装 方 式 可 以 看 一 下 它 的   G i t H u b   仓 库 ： h t t p s : / / g i t h u b . c o m / N V I D I A / n v i d i a - d o c k e r 。 如 果 你 没 有 强 力 的 显 卡 （ G P U ） ， 但 你 有 一 个 人 多 （ 核 心 数 多 ） 的   C P U ， 那 你 可 以 做 好 这 些 准 备 ： • D o c k e r   镜 像 ： 除 了 上 面 这 些 以 外 ， 不 管 你 是 哪 一 种 情 况 ， 你 都 需 要 准 备 这 些 ： • D o c k e r • d o c k e r - c o m p o s e • 要 用 来 分 类 的 图 片 关 于   D o c k e r   的 安 装 方 法 ， 这 里 就 不 加 以 详 细 说 明 了 ， 不 会 的 同 学 可 以 看 看   D o c k e r   的 官 方 文 档 。 开 搞 开 搞 n v i d i a / d i g i t s : l a t e s t r q u i n t i n o / d i g i t s - c p u : l a t e s t
拉 取 镜 像 拉 取 镜 像 在 完 成 了   D o c k e r   的 安 装 之 后 ， 我 们 需 要 使 用 命 令 拉 取 我 们 今 天 的 主 角   D i g i t s 。 如 果 你 选 择 了   G P U   路 线 ， 可 以 使 用     命 令 进 行 拉 取 ； 如 果 你 选 择 的 是   C P U   路 线 ， 那 么 就 用   拉 取 吧 。 执 行 命 令 后 你 应 该 会 看 到 类 似 下 面 这 样 的 输 出 ： 编 写 编 写   d o c k e r - c o m p o s e   文 件 文 件 准 备 好 一 个 合 适 的 存 放 目 录 后 ， 我 们 创 建 一 个 名 为     的 文 件 ， 然 后 在 里 面 写 上 以 下 内 容 ： d o c k e r   p u l l   n v i d i a / d i g i t s : l a t e s t d o c k e r   p u l l   r q u i n t i n o / d i g i t s - c p u : l a t e s t ( b a s e )   b r u c e d o n e $   d o c k e r   p u l l   n v i d i a / d i g i t s : l a t e s t U s i n g   d e f a u l t   t a g :   l a t e s t l a t e s t :   P u l l i n g   f r o m   n v i d i a / d i g i t s : l a t e s t 9 9 a d 4 e 3 c e d 4 d :   P u l l   c o m p l e t e e c 5 a 7 2 3 f 4 e 2 a :   P u l l   c o m p l e t e 2 a 1 7 5 e 1 1 5 6 7 c :   P u l l   c o m p l e t e 8 d 2 6 4 2 6 e 9 5 e 0 :   P u l l   c o m p l e t e 4 6 e 4 5 1 5 9 6 b 7 c :   P u l l   c o m p l e t e 7 9 f 0 2 f 6 a b 0 5 9 :   P u l l   c o m p l e t e 5 9 d 2 e a a 1 3 7 2 d :   P u l l   c o m p l e t e 4 4 2 1 c d 6 e 3 c 3 0 :   P u l l   c o m p l e t e 9 a 4 7 7 5 8 6 4 9 e 5 :   P u l l   c o m p l e t e c e 8 d f e e e a 4 e 7 :   P u l l   c o m p l e t e 0 a 4 2 0 2 9 8 8 1 7 2 :   P u l l   c o m p l e t e 5 0 5 b c 2 c 9 3 c 8 1 :   P u l l   c o m p l e t e 1 8 d c c d d a 6 b 6 e :   P u l l   c o m p l e t e a 0 d b f 0 8 6 8 2 d 2 :   P u l l   c o m p l e t e 2 7 9 5 e 8 2 b c 2 2 4 :   P u l l   c o m p l e t e a 5 f 4 4 4 9 2 5 6 9 e :   P u l l   c o m p l e t e e 1 0 2 4 5 1 7 9 8 3 0 :   P u l l   c o m p l e t e D i g e s t :   s h a 2 5 6 : 9 b 3 7 9 2 1 0 8 0 e f c e d b 9 3 e 1 c d 1 3 8 b 8 9 8 1 d e 1 4 c 6 5 c a 4 c d b 2 d b c b b 4 6 5 d 0 2 a 0 f b 6 a 5 1 3 S t a t u s :   D o w n l o a d e d   n e w e r   i m a g e   f o r   n v i d i a / d i g i t s : l a t e s t d o c k e r . i o / n v i d i a / d i g i t s : l a t e s t d o c k e r - c o m p o s e . y m l v e r s i o n :   ' 2 . 3 ' s e r v i c e s :     t r a i n :         i m a g e :   n v i d i a / d i g i t s : l a t e s t
注 意 了 ， 上 面 这 段 内 容 中 有 个     的 部 分 ， 如 果 你 选 择 的 是   C P U   路 线 ， 这 个 地 方 你 需 要 改 成   ； 如 果 你 选 择 的 是   G P U   路 线 ， 那 么 直 接 这 样 用 就 行 了 。 前 置 工 作 前 置 工 作 在     所 在 目 录 ， 执 行     命 令 ， 这 样   D i g i t s   的   W e b   服 务 就 跑 起 来 了 ， 使 用 浏 览 器 打 开   ， 就 可 以 看 到 下 面 这 样 的 界 面 ： 这 就 是   D i g i t s   的 主 界 面 了 ， 页 面 非 常 清 爽 ， 只 有 三 个 t a b 页 菜 单 ： • D a t a s e t s   — —   我 们 的 数 据 集 ， 就 是 我 们 预 先 准 备 的 数 据 集 ， 比 如 图 片 类 的 数 据         i m a g e :   n v i d i a / d i g i t s : l a t e s t         r u n t i m e :   n v i d i a         p o r t s :             -   " 5 0 0 0 : 5 0 0 0 "             -   " 6 0 0 6 : 6 0 0 6 "         v o l u m e s :             -   . / i m g s : / w o r k / i m a g e s i m a g e :   n v i d i a / d i g i t s : l a t e s t i m a g e :   r q u i n t i n o / d i g i t s - c p u : l a t e s t d o c k e r - c o m p o s e . y m l d o c k e r - c o m p o s e   u p   - d h t t p : / / 1 2 7 . 0 . 0 . 1 : 5 0 0 0
• M o d e l s   — —   模 型 列 表 • P r e t r a i n e d   M o d e l s   — —   之 前 训 练 过 的 模 型 初 始 配 置 初 始 配 置 点 击     ， 如 图 所 示 ： 填 写 数 据 集 名 字 ， 由 于 本 文 用 来 演 示 的 是 一 个 用 来 识 别 给 定 的 图 片 里 是 猫 还 是 狗 的 分 类 模 型 ， 所 以 我 们 的 数 据 集 名 字 就 起 个     吧 ~ 按 下     按 钮 后 ， 就 会 进 入 到 数 据 集 配 置 界 面 了 。 D a t a s e t s d o g _ v s _ c a t S u b m i t
需 要 注 意 的 是     这 个 设 置 ， 记 住 ， 我 们 是 在   D o c k e r   环 境 下 ， 所 以 我 们 要 填 写 的 就 是 在   里 写 的 那 个 被 映 射 进 容 器 的     目 录 。 准 备 数 据 准 备 数 据 现 在 ， 我 们 就 来 准 备 一 下 用 来 训 练 模 型 的 图 片 吧 。 打 开 搜 索 引 擎 ， 使 用 如 图 所 示 的 插 件 ， 就 可 以 迅 速 下 载 图 片 。 由 于 我 们 现 在 做 的 是 一 个 识 别 图 片 里 是 猫 还 是 狗 的 分 类 模 型 ， 所 以 我 们 搜 索   T r a i n i n g   I m a g e s d o c k e r - c o m p o s e . y m l / w o r k / i m a g e s c a t s
  和     这 两 个 关 键 词 就 好 了 ， 可 以 看 到 ， 搜 到 了 非 常 多 的 同 类 型 图 片 。 注 意 ： 图 片 下 载 完 后 要 放 到     目 录 下 ， 并 且 区 分 放 置 ，   目 录 会 在     所 在 的 目 录 下 自 动 生 成 。 如 果 你 想 让 模 型 帮 你 分 出 其 他 的 图 片 ， 只 需 要 把 猫 和 狗 的 图 片 换 成 你 想 要 的 其 他 类 型 的 图 片 就 可 以 了 。 完 成 下 载 之 后 的 目 录 差 不 多 长 这 样 ： 记 住 ，   目 录 和     目 录 里 的 图 片 数 量 要 大 致 相 等 ， 因 为 我 们 并 不 希 望 我 们 的 模 型 看 太 多 某 一 个 类 型 的 图 片 ， 那 样 会 起 到 反 效 果 。 搞 定 图 片 之 后 ， 我 们 回 到   W e b   界 面 继 续 操 作 吧 。 d o g s i m g s i m g s d o c k e r - c o m p o s e . y m l d i g i t s / ├ ─ ─   d o c k e r - c o m p o s e . y m l └ ─ ─   i m g s         ├ ─ ─   c a t s         └ ─ ─   d o g s c a t s d o g s
按 照 前 面 说 的 ， 填 好     这 个 图 片 配 置 路 径 、 数 据 集 名 ， 然 后 点 击     按 钮 ， 图 片 数 据 集 就 创 建 成 功 了 。 T r a i n i n g   I m a g e s C r e a t e
然 后 我 们 返 回 主 界 面 ， 选 择   ， 创 建 一 个 新 的 分 类 模 型 （ ） 。 配 置 模 型 配 置 模 型 M o d e l s C l a s s i f i c a t i o n
点 击 创 建 模 型 之 后 ， 我 们 会 进 入 到 模 型 配 置 界 面 ， 这 里 默 认 会 选 中 我 们 刚 刚 准 备 好 的 数 据 集 ： 。 简 单 配 置 一 下 ： 1 . 选 择   2 . 选 择   （ C P U   版 本 可 能 默 认 就 会 选 中   C a f f e   的 深 度 学 习 框 架 ） 3 . 选 择     网 络 结 构 （ 因 为 理 论 上 越 新 的 网 络 ， 分 类 的 效 果 越 好 ， 在 这 三 个 选 项 里     是 最 新 的 ） 4 . 填 写 模 型 名 字 ： t e s t s e t S t a n d a r d   N e t w o r k s C a f f e G o o g L e N e t G o o g L e N e t c a t v s d o g
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理