搜索

[26519] 2021-09-01_Linux网络子系统

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-19
2021-09-01_Linux网络子系统 L i n u x 网 络 子 系 统 x h o l i c   L i n u x 学 习   2 0 2 1 - 0 9 - 0 1 作 者 ： 作 者 ： x h o l i c 链 接 ： 链 接 ： h t t p s : / / w w w . c n b l o g s . c o m / y p h o l i c / p / 1 4 3 3 7 3 2 8 . h t m l 今 天 分 享 一 篇 经 典 L i n u x 协 议 栈 文 章 ， 主 要 讲 解 L i n u x 网 络 子 系 统 ， 看 完 相 信 大 家 对 协 议 栈 又 会 加 深 不 少 ， 不 光 可 以 了 解 协 议 栈 处 理 流 程 ， 方 便 定 位 问 题 ， 还 可 以 学 习 一 下 怎 么 去 设 计 一 个 可 扩 展 的 子 系 统 ， 屏 蔽 不 同 层 次 的 差 异 。 目 录 目 录 1 . L i n u x 网 络 子 系 统 的 分 层 2 . T C P / I P 分 层 模 型 3 . L i n u x   网 络 协 议 栈 4 . L i n u x   网 卡 收 包 时 的 中 断 处 理 问 题 5 . L i n u x   网 络 启 动 的 准 备 工 作 6 . L i n u x 网 络 包 ： 中 断 到 网 络 层 接 收 7 . 总 结 L i n u x 网 络 子 系 统 的 分 层 网 络 子 系 统 的 分 层 L i n u x 网 络 子 系 统 实 现 需 要 ： 支 持 不 同 的 协 议 族   (   I N E T ,   I N E T 6 ,   U N I X ,   N E T L I N K . . . ) 支 持 不 同 的 网 络 设 备 支 持 统 一 的 B S D   s o c k e t   A P I 需 要 屏 蔽 协 议 、 硬 件 、 平 台 ( A P I ) 的 差 异 ， 因 而 采 用 分 层 结 构 ：  
  系 统 调 用 提 供 用 户 的 应 用 程 序 访 问 内 核 的 唯 一 途 径 。 协 议 无 关 接 口 由 s o c k e t   l a y e r 来 实 现 的 ， 其 提 供 一 组 通 用 功 能 ， 以 支 持 各 种 不 同 的 协 议 。 网 络 协 议 层 为 s o c k e t 层 提 供 具 体 协 议 接 口 — — p r o t o { } ， 实 现 具 体 的 协 议 细 节 。 设 备 无 关 接 口 ， 提 供 一 组 通 用 函 数 供 底 层 网 络 设 备 驱 动 程 序 使 用 。 设 备 驱 动 与 特 定 网 卡 设 备 相 关 ， 定 义 了 具 体 的 协 议 细 节 ， 会 分 配 一 个 n e t _ d e v i c e 结 构 ， 然 后 用 其 必 需 的 例 程 进 行 初 始 化 。 T C P / I P 分 层 模 型 分 层 模 型 在 T C P / I P 网 络 分 层 模 型 里 ， 整 个 协 议 栈 被 分 成 了 物 理 层 、 链 路 层 、 网 络 层 ， 传 输 层 和 应 用 层 。 物 理 层 对 应 的 是 网 卡 和 网 线 ， 应 用 层 对 应 的 是 我 们 常 见 的 N g i n x ， F T P 等 等 各 种 应 用 。 L i n u x 实 现 的 是 链 路 层 、 网 络 层 和 传 输 层 这 三 层 。 在 L i n u x 内 核 实 现 中 ， 链 路 层 协 议 靠 网 卡 驱 动 来 实 现 ， 内 核 协 议 栈 来 实 现 网 络 层 和 传 输 层 。 内 核 对 更 上 层 的 应 用 层 提 供 s o c k e t 接 口 来 供 用 户 进 程 访 问 。 我 们 用 L i n u x 的 视 角 来 看 到 的 T C P / I P 网 络 分 层 模 型 应 该 是 下 面 这 个 样 子 的 。       首 先 我 们 梳 理 一 下 每 层 模 型 的 职 责 ： 链 路 层 链 路 层 ： 对 0 和 1 进 行 分 组 ， 定 义 数 据 帧 ， 确 认 主 机 的 物 理 地 址 ， 传 输 数 据 ; 网 络 层 网 络 层 ： 定 义 I P 地 址 ， 确 认 主 机 所 在 的 网 络 位 置 ， 并 通 过 I P 进 行 M A C 寻 址 ， 对 外 网 数 据 包 进 行 路 由 转 发 ; 传 输 层 传 输 层 ： 定 义 端 口 ， 确 认 主 机 上 应 用 程 序 的 身 份 ， 并 将 数 据 包 交 给 对 应 的 应 用 程 序 ; 应 用 层 应 用 层 ： 定 义 数 据 格 式 ， 并 按 照 对 应 的 格 式 解 读 数 据 。   然 后 再 把 每 层 模 型 的 职 责 串 联 起 来 ， 用 一 句 通 俗 易 懂 的 话 讲 就 是 ： 当 你 输 入 一 个 网 址 并 按 下 回 车 键 的 时 候 ， 首 先 ， 应 用 层 协 议 对 该 请 求 包 做 了 格 式 定 义 ; 紧 接 着 传 输 层 协 议 加 上 了 双 方 的 端 口 号 ， 确 认 了 双 方 通 信 的 应 用 程 序 ; 然 后 网 络 协 议 加 上 了 双 方 的 I P 地 址 ， 确 认 了 双 方 的 网 络 位 置 ; 最 后 链 路 层 协 议 加 上 了 双 方 的 M A C 地 址 ， 确 认 了 双 方 的 物 理 位 置 ， 同 时 将 数 据 进 行 分 组 ， 形 成 数 据 帧 ， 采 用 广 播 方 式 ， 通 过 传 输 介 质 发 送 给 对 方 主 机 。 而 对 于 不 同 网 段 ， 该 数 据 包 首 先 会 转 发 给 网 关 路 由 器 ， 经 过 多 次 转 发 后 ， 最 终 被 发 送 到 目 标 主 机 。 目 标 机 接 收 到 数 据 包 后 ， 采 用 对 应 的 协 议 ， 对 帧 数 据 进 行 组 装 ， 然 后 再 通 过 一 层 一 层 的 协 议 进 行 解 析 ， 最 终 被 应 用 层 的 协 议 解 析 并 交 给 服 务 器 处 理 。 L i n u x   网 络 协 议 栈 网 络 协 议 栈
基 于 T C P / I P 协 议 栈 的 s e n d / r e c v 在 应 用 层 ， 传 输 层 ， 网 络 层 和 链 路 层 中 具 体 函 数 调 用 过 程 已 经 有 很 多 人 研 究 ， 本 文 引 用 一 张 比 较 完 善 的 图 如 下 ：     以 上 说 明 基 本 大 致 说 明 了 T C P / I P 中 T C P ， U D P 协 议 包 在 网 络 子 系 统 中 的 实 现 流 程 。 本 文 主 要 在 链 路 层 中 ， 即 关 于 网 卡 收 报 触 发 中 断 到 进 入 网 络 层 之 间 的 过 程 探 究 。 L i n u x   网 卡 收 包 时 的 中 断 处 理 问 题 网 卡 收 包 时 的 中 断 处 理 问 题 中 断 ， 一 般 指 硬 件 中 断 ， 多 由 系 统 自 身 或 与 之 链 接 的 外 设 （ 如 键 盘 、 鼠 标 、 网 卡 等 ） 产 生 。 中 断 首 先 是 处 理 器 提 供 的 一 种 响 应 外 设 请 求 的 机 制 ， 是 处 理 器 硬 件 支 持 的 特 性 。 一 个 外 设 通 过 产 生 一 种 电 信 号 通 知 中 断 控 制 器 ， 中 断 控 制 器 再 向 处 理 器 发 送 相 应 的 信 号 。 处 理 器 检 测 到 了 这 个 信 号 后 就 会 打 断 自 己 当 前 正 在 做 的 工 作 ， 转 而 去 处 理 这 次 中 断 （ 所 以 才 叫 中 断 ） 。 当 然 在 转 去 处 理 中 断 和 中 断 返 回 时 都 有 保 护 现 场 和 返 回 现 场 的 操 作 ， 这 里 不 赘 述 。 那 软 中 断 又 是 什 么 呢 ？ 我 们 知 道 在 中 断 处 理 时 C P U 没 法 处 理 其 它 事 物 ， 对 于 网 卡 来 说 ， 如 果 每 次 网 卡 收 包 时 中 断 的 时 间 都 过 长 ， 那 很 可 能 造 成 丢 包 的 可 能 性 。 当 然 我 们 不 能 完 全 避 免 丢 包 的 可 能 性 ， 以 太 包 的 传 输 是 没 有 1 0 0 % 保 证 的 ， 所 以 网 络 才 有 协 议 栈 ， 通 过 高 层 的 协 议 来 保 证 连 续 数 据 传 输 的 数 据 完 整 性 （ 比 如 在 协 议 发 现 丢 包 时 要 求 重 传 ） 。 但 是 即 使 有 协 议 保 证 ， 那 我 们 也 不 能 肆 无 忌 惮 的 使 用 中 断 ， 中 断 的 时 间 越 短 越 好 ， 尽 快 放 开 处 理 器 ， 让 它 可 以 去 响 应 下 次 中 断 甚 至 进 行 调 度 工 作 。 基 于 这 样 的 考 虑 ， 我 们 将 中 断 分 成 了 上 下 两 部 分 ， 上 半 部 分 就 是 上 面 说 的 中 断 部 分 ， 需 要 快 速 及 时 响 应 ， 同 时 需 要 越 快 结 束 越 好 。 而 下 半 部 分 就 是 完 成 一 些 可 以 推 后 执 行 的 工 作 。 对 于 网 卡 收 包 来 说 ， 网 卡 收 到 数 据 包 ， 通 知 内 核 数 据 包 到 了 ， 中 断 处 理 将 数 据 包 存 入 内 存 这 些 都 是 急 切 需 要 完 成 的 工 作 ， 放 到 上 半 部 完 成 。 而 解 析 处 理 数 据 包 的 工 作 则 可 以 放 到 下 半 部 去 执 行 。
软 中 断 就 是 下 半 部 使 用 的 一 种 机 制 ， 它 通 过 软 件 模 仿 硬 件 中 断 的 处 理 过 程 ， 但 是 和 硬 件 没 有 关 系 ， 单 纯 的 通 过 软 件 达 到 一 种 异 步 处 理 的 方 式 。 其 它 下 半 部 的 处 理 机 制 还 包 括 t a s k l e t ， 工 作 队 列 等 。 依 据 所 处 理 的 场 合 不 同 ， 选 择 不 同 的 机 制 ， 网 卡 收 包 一 般 使 用 软 中 断 。 对 应 N E T _ R X _ S O F T I R Q 这 个 软 中 断 ， 软 中 断 的 类 型 如 下 ： 通 过 以 上 可 以 了 解 到 ， L i n u x 中 断 注 册 显 然 应 该 包 括 网 卡 的 硬 中 断 ， 包 处 理 的 软 中 断 两 个 步 骤 。   注 册 网 卡 中 断 注 册 网 卡 中 断 我 们 以 一 个 具 体 的 网 卡 驱 动 为 例 ， 比 如 e 1 0 0 0 。 其 模 块 初 始 化 函 数 就 是 ： 其 中 e 1 0 0 0 _ d r i v e r 这 个 结 构 体 是 一 个 关 键 ， 这 个 结 构 体 中 很 主 要 的 一 个 方 法 就 是 . p r o b e 方 法 ， 也 就 是 e 1 0 0 0 _ p r o b e ( ) ： 这 个 函 数 很 长 ， 我 们 不 都 列 出 来 ， 这 是 e 1 0 0 0 主 要 的 初 始 化 函 数 ， 即 使 从 注 释 都 能 看 出 来 。 我 们 留 意 其 注 册 了 n e t d e v 的 n e t d e v _ o p s ， 用 的 是 e 1 0 0 0 _ n e t d e v _ o p s 这 个 结 构 体 ： 这 个 e 1 0 0 0 的 方 法 集 里 有 一 个 重 要 的 方 法 ， e 1 0 0 0 _ o p e n ， 我 们 要 说 的 中 断 的 注 册 就 从 这 里 开 始 ： e n u m {                 H I _ S O F T I R Q = 0 ,                 T I M E R _ S O F T I R Q ,                 N E T _ T X _ S O F T I R Q ,                 N E T _ R X _ S O F T I R Q ,                 B L O C K _ S O F T I R Q ,                 I R Q _ P O L L _ S O F T I R Q ,                 T A S K L E T _ S O F T I R Q ,                 S C H E D _ S O F T I R Q ,                 H R T I M E R _ S O F T I R Q ,                 R C U _ S O F T I R Q ,         / *   P r e f e r a b l e   R C U   s h o u l d   a l w a y s   b e   t h e   l a s t   s o f t i r q   * /                 N R _ S O F T I R Q S } ; s t a t i c   i n t   _ _ i n i t   e 1 0 0 0 _ i n i t _ m o d u l e ( v o i d ) {                 i n t   r e t ;                 p r _ i n f o ( " % s   -   v e r s i o n   % s n " ,   e 1 0 0 0 _ d r i v e r _ s t r i n g ,   e 1 0 0 0 _ d r i v e r _ v e r s i o n ) ;                 p r _ i n f o ( " % s n " ,   e 1 0 0 0 _ c o p y r i g h t ) ;                 r e t   =   p c i _ r e g i s t e r _ d r i v e r ( & e 1 0 0 0 _ d r i v e r ) ; . . .                 r e t u r n   r e t ; } / * *                                                                                                       *   e 1 0 0 0 _ p r o b e   -   D e v i c e   I n i t i a l i z a t i o n   R o u t i n e                     *   @ p d e v :   P C I   d e v i c e   i n f o r m a t i o n   s t r u c t                                           *   @ e n t :   e n t r y   i n   e 1 0 0 0 _ p c i _ t b l             *                                                                   *   R e t u r n s   0   o n   s u c c e s s ,   n e g a t i v e   o n   f a i l u r e                                                                                                                                                                 *                                                                                                                                                                                                                                 *   e 1 0 0 0 _ p r o b e   i n i t i a l i z e s   a n   a d a p t e r   i d e n t i f i e d   b y   a   p c i _ d e v   s t r u c t u r e .                                                                                                                                 *   T h e   O S   i n i t i a l i z a t i o n ,   c o n f i g u r i n g   o f   t h e   a d a p t e r   p r i v a t e   s t r u c t u r e ,                                                                                                                                       *   a n d   a   h a r d w a r e   r e s e t   o c c u r .                                                                                                               * * / s t a t i c   i n t   e 1 0 0 0 _ p r o b e ( s t r u c t   p c i _ d e v   * p d e v ,   c o n s t   s t r u c t   p c i _ d e v i c e _ i d   * e n t ) { . . . . . .                 n e t d e v - > n e t d e v _ o p s   =   & e 1 0 0 0 _ n e t d e v _ o p s ;                 e 1 0 0 0 _ s e t _ e t h t o o l _ o p s ( n e t d e v ) ; . . . . . . } s t a t i c   c o n s t   s t r u c t   n e t _ d e v i c e _ o p s   e 1 0 0 0 _ n e t d e v _ o p s   =   {                 . n d o _ o p e n                               =   e 1 0 0 0 _ o p e n ,                 . n d o _ s t o p                               =   e 1 0 0 0 _ c l o s e ,                 . n d o _ s t a r t _ x m i t                   =   e 1 0 0 0 _ x m i t _ f r a m e ,                 . n d o _ s e t _ r x _ m o d e                 =   e 1 0 0 0 _ s e t _ r x _ m o d e ,                 . n d o _ s e t _ m a c _ a d d r e s s         =   e 1 0 0 0 _ s e t _ m a c ,                 . n d o _ t x _ t i m e o u t                   =   e 1 0 0 0 _ t x _ t i m e o u t , . . . . . . } ;
e 1 0 0 0 在 这 里 注 册 了 中 断 ： 如 上 所 示 ， 这 个 被 注 册 的 中 断 处 理 函 数 ， 也 就 是 h a n d l e r ， 就 是 e 1 0 0 0 _ i n t r ( ) 。 我 们 不 展 开 这 个 中 断 处 理 函 数 看 了 ， 我 们 知 道 中 断 处 理 函 数 在 这 里 被 注 册 了 ， 在 网 络 包 来 的 时 候 会 触 发 这 个 中 断 函 数 。 注 册 软 中 断 注 册 软 中 断 内 核 初 始 化 期 间 ， s o f t i r q _ i n i t 会 注 册 T A S K L E T _ S O F T I R Q 以 及 H I _ S O F T I R Q 相 关 联 的 处 理 函 数 。 网 络 子 系 统 分 两 种 s o f t   I R Q 。 N E T _ T X _ S O F T I R Q 和 N E T _ R X _ S O F T I R Q ， 分 别 处 理 发 送 数 据 包 和 接 收 数 据 包 。 这 两 个 s o f t   I Q 在 n e t _ d e v _ i n i t 函 数 （ n e t / c o r e / d e v . c ） 中 注 册 ： 收 发 数 据 包 的 软 中 断 处 理 函 数 被 注 册 为 n e t _ r x _ a c t i o n 和 n e t _ t x _ a c t i o n 。 其 中 o p e n _ s o f t i r q 实 现 为 ：     / * *                         *   e 1 0 0 0 _ o p e n   -   C a l l e d   w h e n   a   n e t w o r k   i n t e r f a c e   i s   m a d e   a c t i v e       *   @ n e t d e v :   n e t w o r k   i n t e r f a c e   d e v i c e   s t r u c t u r e                           *                                                                                                     *   R e t u r n s   0   o n   s u c c e s s ,   n e g a t i v e   v a l u e   o n   f a i l u r e             *             *   T h e   o p e n   e n t r y   p o i n t   i s   c a l l e d   w h e n   a   n e t w o r k   i n t e r f a c e   i s   m a d e                                                                                                                                                                                                           *   a c t i v e   b y   t h e   s y s t e m   ( I F F _ U P ) .     A t   t h i s   p o i n t   a l l   r e s o u r c e s   n e e d e d                                                                                                                                                           *   f o r   t r a n s m i t   a n d   r e c e i v e   o p e r a t i o n s   a r e   a l l o c a t e d ,   t h e   i n t e r r u p t                                                                                                             *   h a n d l e r   i s   r e g i s t e r e d   w i t h   t h e   O S ,   t h e   w a t c h d o g   t a s k   i s   s t a r t e d ,                                                                                                                                                                                                             *   a n d   t h e   s t a c k   i s   n o t i f i e d   t h a t   t h e   i n t e r f a c e   i s   r e a d y .                                                                                                                                                                                                                             * * / i n t   e 1 0 0 0 _ o p e n ( s t r u c t   n e t _ d e v i c e   * n e t d e v ) {                 s t r u c t   e 1 0 0 0 _ a d a p t e r   * a d a p t e r   =   n e t d e v _ p r i v ( n e t d e v ) ;                 s t r u c t   e 1 0 0 0 _ h w   * h w   =   & a d a p t e r - > h w ; . . . . . .                 e r r   =   e 1 0 0 0 _ r e q u e s t _ i r q ( a d a p t e r ) ; . . . } s t a t i c   i n t   e 1 0 0 0 _ r e q u e s t _ i r q ( s t r u c t   e 1 0 0 0 _ a d a p t e r   * a d a p t e r ) {                 s t r u c t   n e t _ d e v i c e   * n e t d e v   =   a d a p t e r - > n e t d e v ;                 i r q _ h a n d l e r _ t   h a n d l e r   =   e 1 0 0 0 _ i n t r ;                 i n t   i r q _ f l a g s   =   I R Q F _ S H A R E D ;                 i n t   e r r ;                 e r r   =   r e q u e s t _ i r q ( a d a p t e r - > p d e v - > i r q ,   h a n d l e r ,   i r q _ f l a g s ,   n e t d e v - > n a m e , . . . . . . }   v o i d   _ _ i n i t   s o f t i r q _ i n i t ( v o i d ) {         . . . . . .         o p e n _ s o f t i r q ( T A S K L E T _ S O F T I R Q ,   t a s k l e t _ a c t i o n ) ;         o p e n _ s o f t i r q ( H I _ S O F T I R Q ,   t a s k l e t _ h i _ a c t i o n ) ; }       o p e n _ s o f t i r q ( N E T _ T X _ S O F T I R Q ,   n e t _ t x _ a c t i o n ) ;       o p e n _ s o f t i r q ( N E T _ R X _ S O F T I R Q ,   n e t _ r x _ a c t i o n ) ; v o i d   o p e n _ s o f t i r q ( i n t   n r ,   v o i d   ( * a c t i o n ) ( s t r u c t   s o f t i r q _ a c t i o n   * ) ) {         s o f t i r q _ v e c [ n r ] . a c t i o n   =   a c t i o n ; }
从 硬 中 断 到 软 中 断 从 硬 中 断 到 软 中 断       L i n u x   网 络 启 动 的 准 备 工 作 网 络 启 动 的 准 备 工 作 首 先 在 开 始 收 包 之 前 ， 首 先 在 开 始 收 包 之 前 ， L i n u x 要 做 许 多 的 准 备 工 作 ： 要 做 许 多 的 准 备 工 作 ： 1 .   创 建 k s o f t i r q d 线 程 ， 为 它 设 置 好 它 自 己 的 线 程 函 数 ， 后 面 就 指 望 着 它 来 处 理 软 中 断 呢 。 2 .   协 议 栈 注 册 ， l i n u x 要 实 现 许 多 协 议 ， 比 如 a r p ， i c m p ， i p ， u d p ， t c p ， 每 一 个 协 议 都 会 将 自 己 的 处 理 函 数 注 册 一 下 ， 方 便 包 来 了 迅 速 找 到 对 应 的 处 理 函 数 3 .   网 卡 驱 动 初 始 化 ， 每 个 驱 动 都 有 一 个 初 始 化 函 数 ， 内 核 会 让 驱 动 也 初 始 化 一 下 。 在 这 个 初 始 化 过 程 中 ， 把 自 己 的 D M A 准 备 好 ， 把 N A P I 的 p o l l 函 数 地 址 告 诉 内 核 4 .   启 动 网 卡 ， 分 配 R X ， T X 队 列 ， 注 册 中 断 对 应 的 处 理 函 数   创 建 创 建 k s o f t i r q d 内 核 线 程 内 核 线 程 L i n u x 的 软 中 断 都 是 在 专 门 的 内 核 线 程 （ k s o f t i r q d ） 中 进 行 的 ， 因 此 我 们 非 常 有 必 要 看 一 下 这 些 进 程 是 怎 么 初 始 化 的 ， 这 样 我 们 才 能 在 后 面 更 准 确 地 了 解 收 包 过 程 。 该 进 程 数 量 不 是 1 个 ， 而 是 N 个 ， 其 中 N 等 于 你 的 机 器 的 核 数 。 系 统 初 始 化 的 时 候 在 k e r n e l / s m p b o o t . c 中 调 用 了 s m p b o o t _ r e g i s t e r _ p e r c p u _ t h r e a d ，   该 函 数 进 一 步 会 执 行 到 s p a w n _ k s o f t i r q d （ 位 于 k e r n e l / s o f t i r q . c ） 来 创 建 出 s o f t i r q d 进 程 。   相 关 代 码 如 下 ： / / f i l e :   k e r n e l / s o f t i r q . c s t a t i c   s t r u c t   s m p _ h o t p l u g _ t h r e a d   s o f t i r q _ t h r e a d s   =   {         . s t o r e                     =   & k s o f t i r q d ,         . t h r e a d _ s h o u l d _ r u n     =   k s o f t i r q d _ s h o u l d _ r u n ,         . t h r e a d _ f n             =   r u n _ k s o f t i r q d ,         . t h r e a d _ c o m m                 =   " k s o f t i r q d / % u " , } ;
当 k s o f t i r q d 被 创 建 出 来 以 后 ， 它 就 会 进 入 自 己 的 线 程 循 环 函 数 k s o f t i r q d _ s h o u l d _ r u n 和 r u n _ k s o f t i r q d 了 。 不 停 地 判 断 有 没 有 软 中 断 需 要 被 处 理 。 这 里 需 要 注 意 的 一 点 是 ， 软 中 断 不 仅 仅 只 有 网 络 软 中 断 ， 还 有 其 它 类 型 。   创 建 创 建 k s o f t i r q d 内 核 线 程 内 核 线 程   l i n u x 内 核 通 过 调 用 s u b s y s _ i n i t c a l l 来 初 始 化 各 个 子 系 统 ， 在 源 代 码 目 录 里 你 可 以 g r e p 出 许 多 对 这 个 函 数 的 调 用 。 这 里 我 们 要 说 的 是 网 络 子 系 统 的 初 始 化 ， 会 执 行 到 n e t _ d e v _ i n i t 函 数 。  
在 这 个 函 数 里 ， 会 为 每 个 C P U 都 申 请 一 个 数 据 结 构 ， 在 这 个 数 据 结 构 里 的 是 等 待 驱 动 程 序 将 其 p o l l 函 数 注 册 进 来 ， 稍 后 网 卡 驱 动 初 始 化 的 时 候 我 们 可 以 看 到 这 一 过 程 。 另 外 o p e n _ s o f t i r q 注 册 了 每 一 种 软 中 断 都 注 册 一 个 处 理 函 数 。 N E T _ T X _ S O F T I R Q 的 处 理 函 数 为 n e t _ t x _ a c t i o n ， N E T _ R X _ S O F T I R Q 的 为 n e t _ r x _ a c t i o n 。 继 续 跟 踪 后 发 现 这 个 注 册 的 方 式 是 记 录 在 变 量 里 的 。 后 面 k s o f t i r q d 线 程 收 到 软 中 断 的 时 候 ， 也 会 使 用 这 个 变 量 来 找 到 每 一 种 软 中 断 对 应 的 处 理 函 数 。   协 议 栈 注 册 协 议 栈 注 册 内 核 实 现 了 网 络 层 的 i p 协 议 ， 也 实 现 了 传 输 层 的 t c p 协 议 和 u d p 协 议 。 这 些 协 议 对 应 的 实 现 函 数 分 别 是 i p _ r c v ( ) , t c p _ v 4 _ r c v ( ) 和 u d p _ r c v ( ) 。 和 我 们 平 时 写 代 码 的 方 式 不 一 样 的 是 ， 内 核 是 通 过 注 册 的 方 式 来 实 现 的 。 L i n u x 内 核 中 的 f s _ i n i t c a l l 和 s u b s y s _ i n i t c a l l 类 似 ， 也 是 初 始 化 模 块 的 入 口 。 f s _ i n i t c a l l 调 用 i n e t _ i n i t 后 开 始 网 络 协 议 栈 注 册 。 通 过 i n e t _ i n i t ， 将 这 些 函 数 注 册 到 了 i n e t _ p r o t o s 和 p t y p e _ b a s e 数 据 结 构 中 相 关 代 码 如 下 s o f t n e t _ d a t a p o l l _ l i s t o p e n _ s o f t i r q s o f t i r q _ v e c / / f i l e :   n e t / i p v 4 / a f _ i n e t . c s t a t i c   s t r u c t   p a c k e t _ t y p e   i p _ p a c k e t _ t y p e   _ _ r e a d _ m o s t l y   =   {         . t y p e   =   c p u _ t o _ b e 1 6 ( E T H _ P _ I P ) ,         . f u n c   =   i p _ r c v , } ; s t a t i c   c o n s t   s t r u c t   n e t _ p r o t o c o l   u d p _ p r o t o c o l   =   {         . h a n d l e r   =     u d p _ r c v ,         . e r r _ h a n d l e r   =     u d p _ e r r ,         . n o _ p o l i c y   =         1 ,         . n e t n s _ o k   =   1 , } ; s t a t i c   c o n s t   s t r u c t   n e t _ p r o t o c o l   t c p _ p r o t o c o l   =   {         . e a r l y _ d e m u x         =       t c p _ v 4 _ e a r l y _ d e m u x ,         . h a n d l e r         =       t c p _ v 4 _ r c v ,         . e r r _ h a n d l e r         =       t c p _ v 4 _ e r r ,         . n o _ p o l i c y     =       1 ,         . n e t n s _ o k       =       1 , } ;
扩 展 一 下 ， 如 果 看 一 下 i p _ r c v 和 u d p _ r c v 等 函 数 的 代 码 能 看 到 很 多 协 议 的 处 理 过 程 。 例 如 ， i p _ r c v 中 会 处 理 n e t f i l t e r 和 i p t a b l e 过 滤 ， 如 果 你 有 很 多 或 者 很 复 杂 的   n e t f i l t e r   或   i p t a b l e s   规 则 ， 这 些 规 则 都 是 在 软 中 断 的 上 下 文 中 执 行 的 ， 会 加 大 网 络 延 迟 。 再 例 如 ， u d p _ r c v 中 会 判 断 s o c k e t 接 收 队 列 是 否 满 了 。 对 应 的 相 关 内 核 参 数 是 n e t . c o r e . r m e m _ m a x 和 n e t . c o r e . r m e m _ d e f a u l t 。 如 果 有 兴 趣 ， 建 议 大 家 好 好 读 一 下 i n e t _ i n i t 这 个 函 数 的 代 码 。 网 卡 驱 动 初 始 化 网 卡 驱 动 初 始 化 每 一 个 驱 动 程 序 （ 不 仅 仅 只 是 网 卡 驱 动 ） 会 使 用   m o d u l e _ i n i t   向 内 核 注 册 一 个 初 始 化 函 数 ， 当 驱 动 被 加 载 时 ， 内 核 会 调 用 这 个 函 数 。 比 如 i g b 网 卡 驱 动 的 代 码 位 于 d r i v e r s / n e t / e t h e r n e t / i n t e l / i g b / i g b _ m a i n . c 驱 动 的 p c i _ r e g i s t e r _ d r i v e r 调 用 完 成 后 ， L i n u x 内 核 就 知 道 了 该 驱 动 的 相 关 信 息 ， 比 如 i g b 网 卡 驱 动 的 i g b _ d r i v e r _ n a m e 和 i g b _ p r o b e 函 数 地 址 等 等 。 当 网 卡 设 备 被 识 别 以 后 ， 内 核 会 调 用 其 驱 动 的 p r o b e 方 法 （ i g b _ d r i v e r 的 p r o b e 方 法 是 i g b _ p r o b e ） 。 驱 动 p r o b e 方 法 执 行 的 目 的 就 是 让 设 备 r e a d y ， 对 于 i g b 网 卡 ， 其 i g b _ p r o b e 位 于 d r i v e r s / n e t / e t h e r n e t / i n t e l / i g b / i g b _ m a i n . c 下 。 主 要 执 行 的 操 作 如 下 ：   第 5 步 中 我 们 看 到 ， 网 卡 驱 动 实 现 了 e t h t o o l 所 需 要 的 接 口 ， 也 在 这 里 注 册 完 成 函 数 地 址 的 注 册 。 当   e t h t o o l   发 起 一 个 系 统 调 用 之 后 ， 内 核 会 找 到 对 应 操 作 的 回 调 函 数 。 对 于 i g b 网 卡 来 说 ， 其 实 现 函 数 都 在 d r i v e r s / n e t / e t h e r n e t / i n t e l / i g b / i g b _ e t h t o o l . c 下 。 相 信 你 这 次 能 彻 底 理 解 e t h t o o l 的 工 作 原 理 了 吧 ？ 这 个 命 令 之 所 以 能 查 看 网 卡 收 发 包 统 计 、 能 修 改 网 卡 自 适 应 模 式 、 能 调 整 R X   队 列 的 数 量 和 大 小 ， 是 因 为 e t h t o o l 命 令 最 终 调 用 到 了 网 卡 驱 动 的 相 应 方 法 ， 而 不 是 e t h t o o l 本 身 有 这 个 超 能 力 。 第 6 步 注 册 的 i g b _ n e t d e v _ o p s 中 包 含 的 是 i g b _ o p e n 等 函 数 ， 该 函 数 在 网 卡 被 启 动 的 时 候 会 被 调 用 。 第 7 步 中 ， 在 i g b _ p r o b e 初 始 化 过 程 中 ， 还 调 用 到 了 i g b _ a l l o c _ q _ v e c t o r 。 他 注 册 了 一 个 N A P I 机 制 所 必 须 的 p o l l 函 数 ， 对 于 i g b 网 卡 驱 动 来 说 ， 这 个 函 数 就 是 i g b _ p o l l , 如 下 代 码 所 示 。 / / f i l e :   d r i v e r s / n e t / e t h e r n e t / i n t e l / i g b / i g b _ m a i n . . . . . . . s t a t i c   c o n s t   s t r u c t   n e t _ d e v i c e _ o p s   i g b _ n e t d e v _ o p s   =   {     . n d o _ o p e n                               =   i g b _ o p e n ,     . n d o _ s t o p                               =   i g b _ c l o s e ,     . n d o _ s t a r t _ x m i t                   =   i g b _ x m i t _ f r a m e ,     . n d o _ g e t _ s t a t s 6 4                 =   i g b _ g e t _ s t a t s 6 4 ,     . n d o _ s e t _ r x _ m o d e                 =   i g b _ s e t _ r x _ m o d e ,     . n d o _ s e t _ m a c _ a d d r e s s         =   i g b _ s e t _ m a c ,     . n d o _ c h a n g e _ m t u                   =   i g b _ c h a n g e _ m t u ,     . n d o _ d o _ i o c t l                       =   i g b _ i o c t l , . . . . . . } s t a t i c   i n t   i g b _ a l l o c _ q _ v e c t o r ( s t r u c t   i g b _ a d a p t e r   * a d a p t e r ,                                     i n t   v _ c o u n t ,   i n t   v _ i d x ,                                     i n t   t x r _ c o u n t ,   i n t   t x r _ i d x ,                                     i n t   r x r _ c o u n t ,   i n t   r x r _ i d x ) {         . . . . . .         / *   i n i t i a l i z e   N A P I   * /         n e t i f _ n a p i _ a d d ( a d a p t e r - > n e t d e v ,   & q _ v e c t o r - > n a p i ,                               i g b _ p o l l ,   6 4 ) ; }
启 动 网 卡 启 动 网 卡 当 上 面 的 初 始 化 都 完 成 以 后 ， 就 可 以 启 动 网 卡 了 。 回 忆 前 面 网 卡 驱 动 初 始 化 时 ， 我 们 提 到 了 驱 动 向 内 核 注 册 了   s t r u c t u r e   n e t _ d e v i c e _ o p s   变 量 ， 它 包 含 着 网 卡 启 用 、 发 包 、 设 置 m a c   地 址 等 回 调 函 数 （ 函 数 指 针 ） 。 当 启 用 一 个 网 卡 时 （ 例 如 ， 通 过   i f c o n f i g   e t h 0   u p ） ， n e t _ d e v i c e _ o p s   中 的   i g b _ o p e n 方 法 会 被 调 用 。 它 通 常 会 做 以 下 事 情 ：   在 上 面 _ _ i g b _ o p e n 函 数 调 用 了 i g b _ s e t u p _ a l l _ t x _ r e s o u r c e s , 和 i g b _ s e t u p _ a l l _ r x _ r e s o u r c e s 。 在 i g b _ s e t u p _ a l l _ r x _ r e s o u r c e s 这 一 步 操 作 中 ， 分 配 了 R i n g B u f f e r ， 并 建 立 内 存 和 R x 队 列 的 映 射 关 系 。 （ R x   T x   队 列 的 数 量 和 大 小 可 以 通 过   e t h t o o l   进 行 配 置 ） 。 我 们 再 接 着 看 中 断 函 数 注 册 i g b _ r e q u e s t _ i r q : 在 上 面 的 代 码 中 跟 踪 函 数 调 用 ，   _ _ i g b _ o p e n   = >   i g b _ r e q u e s t _ i r q   = >   i g b _ r e q u e s t _ m s i x ,   在 i g b _ r e q u e s t _ m s i x 中 我 们 看 到 了 ， 对 于 多 队 列 的 网 卡 ， 为 每 一 个 队 列 都 注 册 了 中 断 ， 其 对 应 的 中 断 处 理 函 数 是 i g b _ m s i x _ r i n g （ 该 函 数 也 在 d r i v e r s / n e t / e t h e r n e t / i n t e l / i g b / i g b _ m a i n . c 下 ） 。 我 们 也 可 以 看 到 ， m s i x 方 式 下 ， 每 个   R X   队 列 有 独 立 的 M S I - X   中 断 ， 从 网 卡 硬 件 中 断 的 层 面 就 可 以 设 置 让 收 到 的 包 被 不 同 的 C P U 处 理 。 （ 可 以 通 过   i r q b a l a n c e   ， 或 者 修 改   / p r o c / i r q / I R Q _ N U M B E R / s m p _ a f f i n i t y 能 够 修 改 和 C P U 的 绑 定 行 为 ） 。 到 此 准 备 工 作 完 成 。 L i n u x 网 络 包 ： 中 断 到 网 络 层 接 收 网 络 包 ： 中 断 到 网 络 层 接 收 网 卡 收 包 从 整 体 上 是 网 线 中 的 高 低 电 平 转 换 到 网 卡 F I F O 存 储 再 拷 贝 到 系 统 主 内 存 （ D D R 3 ） 的 过 程 ， 其 中 涉 及 到 网 卡 控 制 器 ， C P U ， D M A ， 驱 动 程 序 ， 在 O S I 模 型 中 属 于 物 理 层 和 链 路 层 ， 如 下 图 所 示 。 } / / f i l e :   d r i v e r s / n e t / e t h e r n e t / i n t e l / i g b / i g b _ m a i n . c s t a t i c   i n t   _ _ i g b _ o p e n ( s t r u c t   n e t _ d e v i c e   * n e t d e v ,   b o o l   r e s u m i n g ) {         / *   a l l o c a t e   t r a n s m i t   d e s c r i p t o r s   * /         e r r   =   i g b _ s e t u p _ a l l _ t x _ r e s o u r c e s ( a d a p t e r ) ;         / *   a l l o c a t e   r e c e i v e   d e s c r i p t o r s   * /         e r r   =   i g b _ s e t u p _ a l l _ r x _ r e s o u r c e s ( a d a p t e r ) ;         / *   注 册 中 断 处 理 函 数   * /         e r r   =   i g b _ r e q u e s t _ i r q ( a d a p t e r ) ;         i f   ( e r r )                 g o t o   e r r _ r e q _ i r q ;         / *   启 用 N A P I   * /         f o r   ( i   =   0 ;   i   <   a d a p t e r - > n u m _ q _ v e c t o r s ;   i + + )                 n a p i _ e n a b l e ( & ( a d a p t e r - > q _ v e c t o r [ i ] - > n a p i ) ) ;         . . . . . . } s t a t i c   i n t   i g b _ r e q u e s t _ i r q ( s t r u c t   i g b _ a d a p t e r   * a d a p t e r ) {         i f   ( a d a p t e r - > m s i x _ e n t r i e s )   {                 e r r   =   i g b _ r e q u e s t _ m s i x ( a d a p t e r ) ;                 i f   ( ! e r r )                         g o t o   r e q u e s t _ d o n e ;                 . . . . . .         } } s t a t i c   i n t   i g b _ r e q u e s t _ m s i x ( s t r u c t   i g b _ a d a p t e r   * a d a p t e r ) {         . . . . . .         f o r   ( i   =   0 ;   i   <   a d a p t e r - > n u m _ q _ v e c t o r s ;   i + + )   {                 . . .                 e r r   =   r e q u e s t _ i r q ( a d a p t e r - > m s i x _ e n t r i e s [ v e c t o r ] . v e c t o r ,                                     i g b _ m s i x _ r i n g ,   0 ,   q _ v e c t o r - > n a m e ,         }  
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理