搜索

[26264] 2020-09-25_CPU：别再拿我当搬砖工！

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-19
2020-09-25_CPU：别再拿我当搬砖工！ C P U ： 别 再 拿 我 当 搬 砖 工 ！ L i n u x 学 习   2 0 2 0 - 0 9 - 2 5 以 下 文 章 来 源 于 编 程 技 术 宇 宙   ， 作 者 轩 辕 之 风 O 来 自 公 众 号 ： 来 自 公 众 号 ： 编 程 技 术 宇 宙 编 程 技 术 宇 宙 数 据 搬 运 工 数 据 搬 运 工 H i ， 我 是 C P U 一 号 车 间 的 阿 Q ， 有 段 日 子 没 见 面 了 。 还 记 得 上 回 说 到 咱 们 厂 里 用 上 了 D M A 技 术 （ 太 慢 不 能 忍 ！ C P U 又 拿 硬 盘 和 网 卡 开 刀 了 ！ ） 之 后 ， 我 们 总 算 解 放 了 ， 再 也 不 用 奔 波 于 网 卡 、 硬 盘 与 内 存 之 间 搬 运 数 据 了 。 前 段 时 间 ， 我 到 二 号 车 间 虎 子 那 里 去 串 门 ， 发 现 他 正 忙 的 满 头 大 汗 。 “ 老 哥 ， 你 这 是 接 到 什 么 任 务 了 ？ 看 把 你 给 你 忙 的 ” 虎 子 一 看 我 过 来 ， 擦 了 擦 头 上 的 汗 说 到 ： “ 我 这 是 在 搬 运 数 据 啊 ， 刚 刚 搬 完 一 批 ， 累 死 我 了 ” 我 有 些 疑 惑 ： “ 咱 们 现 在 不 是 有 D M A 技 术 了 吗 ， 找 外 包 D M A 控 制 器 搬 运 啊 ， 你 干 嘛 还 亲 自 上 阵 ？ ” “ D M A 是 用 于 I / O 外 部 设 备 与 内 存 之 间 搬 运 数 据 ， 我 现 在 的 任 务 是 内 存 之 间 的 复 制 拷 贝 工 作 ， 这 D M A C 也 帮 不 上 什 么 忙 啊 ， 还 不 得 我 亲 自 动 手 复 制 。 ” 编 程 技 术 宇 宙 编 程 技 术 宇 宙   . 一 个 文 章 很 酷 的 公 众 号 ~
我 瘪 了 瘪 嘴 ， “ 也 是 ， 但 愿 我 不 要 接 到 这 种 任 务 ” “ 先 不 跟 你 聊 了 ， 又 有 活 要 干 了 ” ， 虎 子 屁 股 还 没 坐 热 ， 又 起 身 去 忙 了 ， 我 也 起 身 准 备 回 去 。 “ 我 靠 ！ 怎 么 又 要 拷 贝 这 批 数 据 ！ ” ， 我 刚 走 两 步 ， 就 听 到 虎 子 的 吐 槽 。 我 回 过 头 去 问 到 ： “ 咋 了 这 是 ？ ” “ 我 刚 才 才 把 这 份 数 据 从 内 核 地 址 空 间 往 用 户 态 地 址 空 间 拷 贝 了 一 次 ， 这 还 没 喘 口 气 ， 又 让 我 再 搬 一 次 从 用 户 态 再 搬 回 内 核 地 址 空 间 ， 太 折 腾 我 了 吧 ！ ” 我 拍 了 拍 他 的 肩 膀 说 到 ： “ 嗨 ， 这 没 办 法 ， 咱 们 就 是 打 工 的 ， 哪 轮 得 到 咱 们 挑 挑 拣 拣 啊 ， 加 油 吧 ！ ” 我 一 边 给 他 打 气 ， 一 边 暗 自 祈 祷 别 给 我 安 排 这 种 活 ， 又 累 有 没 有 技 术 含 量 。 天 有 不 测 风 云 ， 回 到 一 号 车 间 没 多 久 ， 我 也 摊 上 这 种 事 了 。 老 话 说 得 好 ， 真 是 怕 什 么 来 什 么 。 一 开 始 我 还 能 忍 着 ， 时 间 一 久 我 就 抑 制 不 住 心 里 的 不 满 了 ， 还 真 是 落 在 自 己 身 上 才 知 道 痛 。 数 据 的 四 次 拷 贝 数 据 的 四 次 拷 贝 第 二 天 ， 我 约 上 虎 子 去 找 操 作 系 统 内 存 管 理 部 门 反 应 这 事 。 内 存 管 理 部 门 居 然 踢 皮 球 ， 说 这 事 不 归 他 们 管 ， 让 我 们 找 I / O 部 门 ， 没 办 法 ， 我 们 又 来 到 I / O 部 门 反 应 这 事 。 I / O 部 门 的 人 听 完 我 们 的 抱 怨 ， 也 很 无 奈 ： “ 两 位 ， 实 在 不 是 我 们 故 意 戏 耍 你 们 。 之 前 让 你 们 两 次 搬 运 数 据 实 在 没 有 办 法 ， 这 是 上 边 的 应 用 程 序 要 这 样 写 的 。 他 们 要 把 硬 盘 上 的 文 件 读 取 出 来 ， 然 后 再 通 过 网 卡 发 送 出 去 。 这 一 读 一 写 的 不 就 要 搬 两 次 吗 ？ ”
“ 硬 盘 ？ 网 卡 ？ 这 ， 这 ， 这 我 们 不 是 有 了 D M A 技 术 了 吗 ， 正 好 解 决 了 和 他 们 的 数 据 传 输 ， 干 嘛 还 另 外 让 我 们 再 在 内 存 之 间 复 制 来 复 制 去 呢 ？ ” ， 我 问 到 。 对 方 看 出 了 我 们 的 疑 惑 ， 在 旁 边 的 白 板 上 画 了 一 张 图 ： “ 你 们 看 ， 数 据 从 硬 盘 最 终 到 网 卡 ， 因 为 有 应 用 程 序 的 参 与 ， 他 们 需 要 先 读 到 他 们 在 用 户 空 间 的 缓 存 区 ， 再 发 送 出 去 ， 这 样 就 总 共 有 四 次 数 据 的 传 输 。 其 中 从 硬 盘 到 内 核 空 间 和 从 内 核 空 间 到 网 卡 这 两 个 环 节 ， D M A C 可 以 帮 你 们 搬 运 。 不 过 剩 下 两 次 的 用 户 空 间 和 内 核 空 间 的 来 回 拷 贝 ， 这 还 得 靠 你 们 来 搬 运 下 啊 ” “ 原 来 是 这 样 ， 唉 ， 看 来 是 没 办 法 避 免 了 ， 咱 先 回 去 吧 ” ， 虎 子 看 完 图 垂 头 丧 气 的 说 到 。 我 却 不 愿 放 弃 ， 想 在 这 图 中 找 出 可 以 优 化 改 进 的 地 方 。 F i l e . r e a d ( f i l e ,   b u f ,   l e n ) ; S o c k e t . s e n d ( s o c k e t ,   b u f ,   l e n ) ;
“ 能 不 能 让 数 据 不 要 去 应 用 程 序 那 里 ， 直 接 在 内 核 空 间 复 制 一 次 就 好 ， 我 们 就 可 以 少 搬 运 一 次 了 ？ ” ， 我 抛 出 了 一 个 问 题 。 “ 那 怎 么 可 能 呢 ， 他 不 读 上 去 ， 后 面 怎 么 发 出 去 呢 ？ 不 行 不 行 ” ， I / O 部 门 的 人 连 连 摇 头 。 “ 还 是 可 以 发 啊 ， 你 看 像 这 样 · · · 反 正 最 后 也 是 把 数 据 从 内 核 空 间 交 给 网 卡 发 ， 只 是 免 去 了 数 据 去 用 户 空 间 白 晃 一 圈 的 浪 费 ” ， 我 把 他 画 的 图 改 了 一 下 ， 不 肯 放 弃 解 释 到 。 对 方 被 我 的 话 点 醒 了 一 般 ， 眼 珠 左 右 转 动 ， 反 复 思 考 。 片 刻 之 后 ， 回 到 ： “ 还 是 不 行 ， 万 一 人 家 要 对 读 取 的 文 件 数 据 进 行 修 改 ， 或 者 解 密 ， 那 还 是 得 读 到 他 的 用 户 空 间 缓 存 区 才 行 ”
我 想 了 一 下 ， 这 似 乎 没 办 法 避 免 ， 说 到 ： “ 那 这 种 情 况 咱 们 就 认 了 ， 反 正 以 我 的 经 验 来 看 ， 你 说 的 这 种 情 况 不 多 。 大 部 分 情 况 下 都 是 数 据 原 封 不 动 的 从 内 核 到 用 户 空 间 ， 又 从 用 户 空 间 回 到 内 核 。 ” I / O 部 门 的 人 再 也 没 有 什 么 说 辞 ， 点 了 点 头 答 应 了 下 来 ， 说 把 我 们 的 意 见 汇 报 到 L i n u x 帝 国 高 层 讨 论 后 才 能 做 决 定 。 我 们 就 先 回 去 等 消 息 了 。 零 拷 贝 技 术 零 拷 贝 技 术 不 过 后 来 工 作 太 忙 ， 迟 迟 没 有 操 作 系 统 那 边 的 消 息 ， 慢 慢 的 我 们 就 把 这 事 给 淡 忘 了 ， 直 到 前 几 天 · · · · · · “ 阿 Q ， 听 说 了 吗 ， 最 近 L i n u x 帝 国 新 成 立 了 一 个 公 司 ， 居 然 绕 过 我 们 C P U 就 能 把 数 据 从 网 卡 写 入 硬 盘 中 ” ， 虎 子 火 急 火 燎 的 来 找 我 。 “ 不 可 能 啊 ， 按 照 我 们 之 前 的 方 案 ， 怎 么 说 也 得 至 少 经 过 我 们 拷 贝 一 次 吧 ” “ 根 本 不 用 ， 他 们 号 称 是 零 拷 贝 技 术 零 拷 贝 技 术 ” 我 们 赶 紧 放 下 手 里 的 工 作 ， 去 打 听 下 究 竟 怎 么 回 事 。 原 来 ， L i n u x 帝 国 最 近 新 推 出 了 一 个 A P I ， 叫 s e n d f i l e 只 需 要 指 定 打 开 文 件 的 描 述 符 和 要 发 送 的 网 络 接 口 描 述 符 ， 就 直 接 实 现 了 把 文 件 通 过 网 络 发 出 去 。 我 们 再 次 来 到 了 操 作 系 统 I / O 部 门 ， 对 方 一 看 是 我 们 ， 热 情 的 接 待 了 我 们 。 “ 你 们 来 的 正 好 ， 我 还 没 来 得 及 告 诉 你 们 呢 。 上 次 你 们 提 的 思 路 非 常 好 ， 帝 国 高 层 非 常 重 视 ， 我 一 反 应 上 去 ， 当 即 就 采 纳 了 你 们 的 意 见 。 这 不 你 们 估 计 也 知 道 了 ， 推 出 了 新 的 A P I 给 应 用 程 序 们 使 用 ， 省 去 了 数 据 白 白 去 用 户 空 间 转 一 圈 的 开 销 。 一 推 出 就 大 受 欢 迎 ， 说 起 来 还 得 感 谢 你 们 呢 ” “ 原 来 是 这 样 ， 我 说 最 近 怎 么 搬 运 数 据 的 工 作 少 了 不 少 。 不 过 你 们 是 怎 么 做 到 零 拷 贝 零 拷 贝 的 ？ ” s s i z e _ t   s e n d f i l e (     i n t   o u t _ f d ,       i n t   i n _ f d ,       o f f _ t   * o f f s e t ,       s i z e _ t   c o u n t     ) ;
I / O 部 门 的 人 瞅 了 我 们 几 眼 ， 得 意 的 一 笑 ， “ 帝 国 高 层 在 讨 论 你 们 的 方 案 时 ， 觉 得 还 可 以 再 进 一 步 优 化 ， 直 接 把 从 硬 盘 读 取 到 的 数 据 缓 冲 区 地 址 和 长 度 给 到 网 络 s o c k e t 描 述 符 ， 就 不 用 你 们 再 搬 运 一 次 数 据 ， 彻 底 解 放 你 们 ， 所 以 叫 零 拷 贝 啦 ！ ” 我 俩 连 连 点 头 称 赞 。 “ 还 没 完 呢 ！ 咱 L i n u x 帝 国 还 把 这 一 技 术 推 广 到 了 文 件 数 据 复 制 上 ， 增 加 了 另 一 个 A P I : s p l i c e ， 以 后 文 件 拷 贝 也 可 以 减 轻 你 们 的 负 担 了 ” 我 俩 回 去 之 后 ， 把 这 一 消 息 告 知 了 全 厂 ， 大 家 都 高 兴 坏 了 ， 原 来 各 个 车 间 都 受 苦 久 矣 。 彩 蛋 彩 蛋 1 s s i z e _ t   s p l i c e (     i n t   f d _ i n ,       l o f f _ t   * o f f _ i n ,       i n t   f d _ o u t ,     l o f f _ t   * o f f _ o u t ,       s i z e _ t   l e n ,       u n s i g n e d   i n t   f l a g s     ) ;
在 遥 远 的 W i n d o w s 帝 国 上 。 “ 部 长 ， 听 说 L i n u x 帝 国 推 出 了 一 个 s e n d f i l e ， 号 称 零 拷 贝 ” “ 有 这 回 事 ？ 咱 们 不 能 落 后 ， 赶 紧 去 研 究 一 下 ” 彩 蛋 彩 蛋 2 L i n u x 帝 国 新 来 了 一 家 公 司 ， 专 注 网 络 数 据 包 分 析 业 务 。 “ 老 大 ， 数 据 包 每 次 都 要 经 过 L i n u x 帝 国 协 议 栈 部 门 处 理 一 遍 才 能 拿 到 ， 这 太 慢 了 ” “ 能 不 能 绕 开 协 议 栈 ， 直 接 抓 包 ？ ” 预 知 后 事 如 何 ， 请 关 注 后 续 精 彩 · · · · · · ● 输 入 m 获 取 文 章 目 录 推 荐 推 荐 ↓ ↓ ↓ 运 维 运 维
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理