搜索

[26495] 2021-08-09_扒开Linux中断的底裤之workqueue

文档创建者：s7ckTeam
浏览次数：40
最后更新：2025-01-19
2021-08-09_扒开Linux中断的底裤之workqueue 扒 开   L i n u x   中 断 的 底 裤 之   w o r k q u e u e L i n u x 学 习   2 0 2 1 - 0 8 - 0 9 以 下 文 章 来 源 于 人 人 都 是 极 客   ， 作 者 布 道 师 P e t e r 来 自 公 众 号 ： 来 自 公 众 号 ： 人 人 都 是 极 客 人 人 都 是 极 客 w o r k q u e u e   是 除 了   s o f t i r q   和   t a s k l e t   以 外 最 常 用 的 下 半 部 机 制 之 一 。 w o r k q u e u e   的 本 质 是 把   w o r k   交 给 一 个 内 核 线 程 ， 在 进 程 上 下 文 调 度 的 时 候 执 行 。 因 为 这 个 特 点 ， 所 以   w o r k q u e u e   允 许 重 新 调 度 和 睡 眠 ， 这 种 异 步 执 行 的 进 程 上 下 文 ， 能 解 决 因 为   s o f t i r q   和 t a s k l e t   执 行 时 间 长 而 导 致 的 系 统 实 时 性 下 降 等 问 题 。 当 驱 动 程 序 在 进 程 上 下 文 中 有 异 步 执 行 的 工 作 任 务 时 ， 可 以 用   w o r k   来 描 述 工 作 任 务 。 把   w o r k   添 加 到 一 个 链 表   w o r k l i s t   中 ， 然 后 由 一 个 内 核 线 程   w o r k e r   遍 历 链 表 ， 串 行 地 执 行 挂 入   w o r k l i s t   中 的 所 有   w o r k 。 如 果   w o r k l i s t   中 没 有   w o r k ， 那 么 内 核 线 程   w o r k e r   就 会 变 成   I D L E   状 态 ； 如 果 有   w o r k ， 则 执 行   w o r k   中 的 回 调 函 数 。 w o r k q u e u e   相 关 的 数 据 结 构 相 关 的 数 据 结 构 关 于   w o r k q u e u e   中 几 个 概 念 都 是   w o r k   相 关 的 数 据 结 构 非 常 容 易 混 淆 ， 大 概 可 以 这 样 来 理 解 ： w o r k _ s t r u c t   ： ： 工 作 。 初 始 化 一 个   w o r k   并 添 加 到 工 作 队 列 后 ， 将 会 将 其 传 递 到 合 适 的 内 核 线 程 来 进 行 处 理 ， 它 是 用 于 调 度 的 最 小 单 位 。 d a t a ： 低 比 特 存 放 状 态 位 ， 高 比 特 存 放   w o r k e r _ p o o l   的 I D 或 者   p o o l _ w o r k q u e u e   的 指 针 e n t r y ： 用 于 添 加 到 其 他 队 列 上 f u n c ： 工 作 任 务 的 处 理 函 数 ， 在 内 核 线 程 中 回 调 w o r k q u e u e _ s t r u c t   ： ： 工 作 的 集 合 。 w o r k q u e u e   和   w o r k   是 一 对 多 的 关 系 。 内 核 中 工 作 队 列 分 为 两 种 ： 人 人 都 是 极 客 人 人 都 是 极 客   . 号 主 P e t e r   L i u ， N X P 资 深 系 统 工 程 师 ， 谷 歌 优 秀 讲 师 ， C S D N 博 客 专 家 。 主 要 分 享 A R M ， L i n u x ， A n d r o i d 等 技 术 和 职 业 发 展 与 项 目 管 理 。 s t r u c t   w o r k _ s t r u c t   {   a t o m i c _ l o n g _ t   d a t a ;             s t r u c t   l i s t _ h e a d   e n t r y ;     w o r k _ f u n c _ t   f u n c ;               # i f d e f   C O N F I G _ L O C K D E P   s t r u c t   l o c k d e p _ m a p   l o c k d e p _ m a p ; # e n d i f } ;
1 .   b o u n d ： 绑 定 处 理 器 的 工 作 队 列 ， 每 个   w o r k e r   创 建 的 内 核 线 程 绑 定 到 特 定 的   C P U 上 运 行 。 2 .   u n b o u n d ： 不 绑 定 处 理 器 的 工 作 队 列 ， 创 建 的 时 候 需 要 指 定   W Q _ U N B O U N D   标 志 ， 内 核 线 程 可 以 在 处 理 器 间 迁 移 。 p w q s ： 所 有 的   p o o l _ w o r k q u e u e   都 添 加 到 本 链 表 中 l i s t ： 用 于 将 工 作 队 列 添 加 到 全 局 链 表   w o r k q u e u e s   中 m a y d a y s ： r e s c u e 状 态 下 的   p o o l _ w o r k q u e u e   添 加 到 本 链 表 中 r e s c u e r ： r e s c u e r   内 核 线 程 ， 用 于 处 理 内 存 紧 张 时 创 建 工 作 线 程 失 败 的 情 况 c p u _ p w q s ： P e r - C P U   创 建   p o o l _ w o r k q u e u e n u m a _ p w q _ t b l [ ] ： P e r - N o d e   创 建   p o o l _ w o r k q u e u e p o o l _ w o r k q u e u e ： ： 中 间 人   /   中 介 ， 负 责 建 立 起   w o r k q u e u e   和   w o r k e r _ p o o l   之 间 的 关 系 。 w o r k q u e u e   和   p o o l _ w o r k q u e u e   是 一 对 多 的 关 系 。 s t r u c t   w o r k q u e u e _ s t r u c t   {   s t r u c t   l i s t _ h e a d   p w q s ;     / *   W R :   a l l   p w q s   o f   t h i s   w q   * /         s t r u c t   l i s t _ h e a d   l i s t ;     / *   P R :   l i s t   o f   a l l   w o r k q u e u e s   * /       s t r u c t   l i s t _ h e a d   m a y d a y s ;   / *   M D :   p w q s   r e q u e s t i n g   r e s c u e   * /           s t r u c t   w o r k e r     * r e s c u e r ;   / *   I :   r e s c u e   w o r k e r   * /       s t r u c t   p o o l _ w o r k q u e u e   * d f l _ p w q ;   / *   P W :   o n l y   f o r   u n b o u n d   w q s   * /   c h a r       n a m e [ W Q _ N A M E _ L E N ] ;   / *   I :   w o r k q u e u e   n a m e   * /   / *   h o t   f i e l d s   u s e d   d u r i n g   c o m m a n d   i s s u e ,   a l i g n e d   t o   c a c h e l i n e   * /   u n s i g n e d   i n t     f l a g s   _ _ _ _ c a c h e l i n e _ a l i g n e d ;   / *   W Q :   W Q _ *   f l a g s   * /   s t r u c t   p o o l _ w o r k q u e u e   _ _ p e r c p u   * c p u _ p w q s ;   / *   I :   p e r - c p u   p w q s   * /           s t r u c t   p o o l _ w o r k q u e u e   _ _ r c u   * n u m a _ p w q _ t b l [ ] ;   / *   P W R :   u n b o u n d   p w q s   i n d e x e d   b y   n o d e   * /         / / P e r - N o d e 创 建 p o o l _ w o r k q u e u e         . . . } ;
p o o l ： 指 向   w o r k e r _ p o o l w q ： 指 向 所 属 的   w o r k q u e u e n r _ a c t i v e ： 活 跃 的   w o r k   数 量 m a x _ a c t i v e ： 活 跃 的 最 大   w o r k   数 量 d e l a y e d _ w o r k s ： 延 迟 执 行 的   w o r k   挂 入 本 链 表 p w q s _ n o d e ： 用 于 添 加 到   w o r k q u e u e   链 表 中 m a y d a y _ n o d e ： 用 于 添 加 到   w o r k q u e u e   链 表 中 w o r k e r _ p o o l ： ： 工 人 的 集 合 。 p o o l _ w o r k q u e u e   和   w o r k e r _ p o o l   是 一 对 一 的 关 系 ， w o r k e r _ p o o l   和   w o r k e r   是 一 对 多 的 关 系 。 1 .   b o u n d   类 型 的 工 作 队 列 ： w o r k e r _ p o o l   是   P e r - C P U   创 建 ， 每 个   C P U   都 有 两 个 w o r k e r _ p o o l ， 对 应 不 同 的 优 先 级 ， n i c e   值 分 别 为   0   和   - 2 0 。 2 .   u n b o u n d   类 型 的 工 作 队 列 ： w o r k e r _ p o o l   创 建 后 会 添 加 到   u n b o u n d _ p o o l _ h a s h   哈 希 表 中 。 s t r u c t   p o o l _ w o r k q u e u e   {   s t r u c t   w o r k e r _ p o o l   * p o o l ;     / *   I :   t h e   a s s o c i a t e d   p o o l   * /           s t r u c t   w o r k q u e u e _ s t r u c t   * w q ;     / *   I :   t h e   o w n i n g   w o r k q u e u e   * /         i n t       n r _ a c t i v e ;   / *   L :   n r   o f   a c t i v e   w o r k s   * /           i n t       m a x _ a c t i v e ;   / *   L :   m a x   a c t i v e   w o r k s   * /         s t r u c t   l i s t _ h e a d   d e l a y e d _ w o r k s ;   / *   L :   d e l a y e d   w o r k s   * /             s t r u c t   l i s t _ h e a d   p w q s _ n o d e ;   / *   W R :   n o d e   o n   w q - > p w q s   * /           s t r u c t   l i s t _ h e a d   m a y d a y _ n o d e ;   / *   M D :   n o d e   o n   w q - > m a y d a y s   * /       / / 用 于 添 加 到 w o r k q u e u e 链 表 中         . . . }   _ _ a l i g n e d ( 1   < <   W O R K _ S T R U C T _ F L A G _ B I T S ) ;
c p u ： 绑 定 到   C P U   的   w o r k q u e u e ， 代 表   C P U   I D n o d e ： 非 绑 定 类 型 的   w o r k q u e u e ， 代 表 内 存   N o d e   I D w o r k l i s t ： p e n d i n g   状 态 的   w o r k   添 加 到 本 链 表 n r _ w o r k e r s ： w o r k e r   的 数 量 s t r u c t   w o r k e r _ p o o l   {   s p i n l o c k _ t     l o c k ;     / *   t h e   p o o l   l o c k   * /   i n t       c p u ;     / *   I :   t h e   a s s o c i a t e d   c p u   * /             i n t       n o d e ;     / *   I :   t h e   a s s o c i a t e d   n o d e   I D   * /     i n t       i d ;     / *   I :   p o o l   I D   * /   u n s i g n e d   i n t     f l a g s ;     / *   X :   f l a g s   * /   u n s i g n e d   l o n g     w a t c h d o g _ t s ;   / *   L :   w a t c h d o g   t i m e s t a m p   * /   s t r u c t   l i s t _ h e a d   w o r k l i s t ;   / *   L :   l i s t   o f   p e n d i n g   w o r k s   * /       i n t       n r _ w o r k e r s ;   / *   L :   t o t a l   n u m b e r   o f   w o r k e r s   * /         / *   n r _ i d l e   i n c l u d e s   t h e   o n e s   o f f   i d l e _ l i s t   f o r   r e b i n d i n g   * /   i n t       n r _ i d l e ;   / *   L :   c u r r e n t l y   i d l e   o n e s   * /   s t r u c t   l i s t _ h e a d   i d l e _ l i s t ;   / *   X :   l i s t   o f   i d l e   w o r k e r s   * /       s t r u c t   t i m e r _ l i s t   i d l e _ t i m e r ;   / *   L :   w o r k e r   i d l e   t i m e o u t   * /   s t r u c t   t i m e r _ l i s t   m a y d a y _ t i m e r ;   / *   L :   S O S   t i m e r   f o r   w o r k e r s   * /   / *   a   w o r k e r s   i s   e i t h e r   o n   b u s y _ h a s h   o r   i d l e _ l i s t ,   o r   t h e   m a n a g e r   * /   D E C L A R E _ H A S H T A B L E ( b u s y _ h a s h ,   B U S Y _ W O R K E R _ H A S H _ O R D E R ) ;       / *   L :   h a s h   o f   b u s y   w o r k e r s   * /   / *   s e e   m a n a g e _ w o r k e r s ( )   f o r   d e t a i l s   o n   t h e   t w o   m a n a g e r   m u t e x e s   * /   s t r u c t   w o r k e r     * m a n a g e r ;   / *   L :   p u r e l y   i n f o r m a t i o n a l   * /   s t r u c t   m u t e x     a t t a c h _ m u t e x ;   / *   a t t a c h / d e t a c h   e x c l u s i o n   * /   s t r u c t   l i s t _ h e a d   w o r k e r s ;   / *   A :   a t t a c h e d   w o r k e r s   * /         s t r u c t   c o m p l e t i o n   * d e t a c h _ c o m p l e t i o n ;   / *   a l l   w o r k e r s   d e t a c h e d   * /   s t r u c t   i d a     w o r k e r _ i d a ;   / *   w o r k e r   I D s   f o r   t a s k   n a m e   * /   s t r u c t   w o r k q u e u e _ a t t r s   * a t t r s ;     / *   I :   w o r k e r   a t t r i b u t e s   * /   s t r u c t   h l i s t _ n o d e   h a s h _ n o d e ;   / *   P L :   u n b o u n d _ p o o l _ h a s h   n o d e   * /                 . . . }   _ _ _ _ c a c h e l i n e _ a l i g n e d _ i n _ s m p ;
i d l e _ l i s t ： 处 于   I D L E   状 态 的   w o r k e r   添 加 到 本 链 表 b u s y _ h a s h ： 工 作 状 态 的   w o r k e r   添 加 到 本 哈 希 表 中 w o r k e r s ： w o r k e r _ p o o l   管 理 的   w o r k e r   添 加 到 本 链 表 中 h a s h _ n o d e ： 用 于 添 加 到   u n b o u n d _ p o o l _ h a s h   中 w o r k e r   ： ： 工 人 。 在 代 码 中   w o r k e r   对 应 一 个   w o r k _ t h r e a d ( )   内 核 线 程 。 e n t r y ： 用 于 添 加 到   w o r k e r _ p o o l   的 空 闲 链 表 中 h e n t r y ： 用 于 添 加 到   w o r k e r _ p o o l   的 忙 碌 列 表 中 c u r r e n t _ w o r k ： 当 前 正 在 处 理 的   w o r k c u r r e n t _ f u n c ： 当 前 正 在 执 行 的   w o r k   回 调 函 数 c u r r e n t _ p w q ： 指 向 当 前   w o r k   所 属 的   p o o l _ w o r k q u e u e s c h e d u l e d ： 所 有 被 调 度 执 行 的   w o r k   都 将 添 加 到 该 链 表 中 t a s k ： 指 向 内 核 线 程 s t r u c t   w o r k e r   {   / *   o n   i d l e   l i s t   w h i l e   i d l e ,   o n   b u s y   h a s h   t a b l e   w h i l e   b u s y   * /   u n i o n   {     s t r u c t   l i s t _ h e a d   e n t r y ;   / *   L :   w h i l e   i d l e   * /               s t r u c t   h l i s t _ n o d e   h e n t r y ;   / *   L :   w h i l e   b u s y   * /     } ;   s t r u c t   w o r k _ s t r u c t   * c u r r e n t _ w o r k ;   / *   L :   w o r k   b e i n g   p r o c e s s e d   * /       w o r k _ f u n c _ t     c u r r e n t _ f u n c ;   / *   L :   c u r r e n t _ w o r k ' s   f n   * /                                   s t r u c t   p o o l _ w o r k q u e u e   * c u r r e n t _ p w q ;   / *   L :   c u r r e n t _ w o r k ' s   p w q   * /         s t r u c t   l i s t _ h e a d   s c h e d u l e d ;   / *   L :   s c h e d u l e d   w o r k s   * /             / *   6 4   b y t e s   b o u n d a r y   o n   6 4 b i t ,   3 2   o n   3 2 b i t   * /   s t r u c t   t a s k _ s t r u c t   * t a s k ;     / *   I :   w o r k e r   t a s k   * /         s t r u c t   w o r k e r _ p o o l   * p o o l ;     / *   I :   t h e   a s s o c i a t e d   p o o l   * /                   / *   L :   f o r   r e s c u e r s   * /   s t r u c t   l i s t _ h e a d   n o d e ;     / *   A :   a n c h o r e d   a t   p o o l - > w o r k e r s   * /     / / 添 加 到 w o r k e r _ p o o l - > w o r k e r s 链 表 中             / *   A :   r u n s   t h r o u g h   w o r k e r - > n o d e   * /         . . . } ;
p o o l ： 该   w o r k e r   所 属 的   w o r k e r _ p o o l n o d e ： 添 加 到   w o r k e r _ p o o l - > w o r k e r s   链 表 中 可 以 用 下 图 来 总 结 ： w o r k q u e u e   的 初 始 化 的 初 始 化 内 核 在 启 动 的 时 候 会 对   w o r k q u e u e   做 初 始 化 ， w o r k q u e u e   的 初 始 化 包 含 两 个 阶 段 ， 分 别 是   w o r k q u e u e _ i n i t _ e a r l y   和   w o r k q u e u e _ i n i t 。 w o r k q u e u e _ i n i t _ e a r l y
分 配   w o r k e r _ p o o l ， 并 且 对 该 结 构 中 的 字 段 进 行 初 始 化 操 作 分 配   w o r k q u e u e _ s t r u c t ， 并 且 对 该 结 构 中 的 字 段 进 行 初 始 化 操 作 a l l o c _ a n d _ l i n k _ p w q s ： 分 配   p o o l _ w o r k q u e u e ， 将   w o r k q u e u e _ s t r u c t   和   w o r k e r _ p o o l   关 联 起 来 w o r k q u e u e _ i n i t 这 里 主 要 完 成 的 工 作 是 给 之 前 创 建 好 的   w o r k e r _ p o o l ， 添 加 一 个 初 始 的   w o r k e r ， 然 后 利 用 函 数   c r e a t e _ w o r k e r ， 创 建 名 字 为 k w o r k e r / X X : Y Y   或 者   k w o r k e r / u X X : Y Y   的 内 核 线 程 。 其 中   X X   表 示   w o r k e r _ p o o l   的 编 号 ， Y Y   表 示   w o r k e r   的 编 号 ， u   表 示 u n b o u n d 。
分 配   w o r k e r ， 并 且 对 该 结 构 中 的 字 段 进 行 初 始 化 操 作 为   w o r k e r   创 建 内 核 线 程   w o r k e r _ t h r e a d 将   w o r k e r   添 加 到   w o r k e r _ p o o l   中 w o r k e r   进 入   I D L E   状 态 经 过 上 面 两 个 阶 段 的 初 始 化 ， w o r k q u e u e   子 系 统 基 本 就 已 经 将 数 据 结 构 的 关 联 建 立 好 了 ， 当 有   w o r k   来 进 行 调 度 的 时 候 ， 就 可 以 进 行 处 理 了 。 使 用 使 用   w o r k q u e u e 内 核 推 荐 驱 动 开 发 者 使 用 默 认 的   w o r k q u e u e ， 而 不 是 新 建   w o r k q u e u e 。 要 使 用 系 统 默 认 的   w o r k q u e u e ， 首 先 需 要 初 始 化   w o r k ， 内 核 提 供 了 相 应 的 宏   I N I T _ W O R K 。 初 始 化 初 始 化   w o r k 初 始 化   w o r k   后 ， 就 可 以 调 用   s h e d u l e _ w o r k   函 数 把   w o r k   挂 入 系 统 默 认 的   w o r k q u e u e   中 。 w o r k   调 度 调 度 将   w o r k   添 加 到 系 统 的   s y s t e m _ w q   工 作 队 列 中 。 # d e f i n e   I N I T _ W O R K ( _ w o r k ,   _ f u n c )               _ _ I N I T _ W O R K ( ( _ w o r k ) ,   ( _ f u n c ) ,   0 )     # d e f i n e   _ _ I N I T _ W O R K ( _ w o r k ,   _ f u n c ,   _ o n s t a c k )           d o   {                     _ _ i n i t _ w o r k ( ( _ w o r k ) ,   _ o n s t a c k ) ;             ( _ w o r k ) - > d a t a   =   ( a t o m i c _ l o n g _ t )   W O R K _ D A T A _ I N I T ( ) ;       I N I T _ L I S T _ H E A D ( & ( _ w o r k ) - > e n t r y ) ;           ( _ w o r k ) - > f u n c   =   ( _ f u n c ) ;           }   w h i l e   ( 0 )
判 断   w o r k q u e u e   的 类 型 ， 如 果 是   b o u n d   类 型 ， 根 据   C P U   来 获 取   p o o l _ w o r k q u e u e 。 如 果 是   u n b o u n d   类 型 ， 通 过   n o d e   号 来 获 取   p o o l _ w o r k q u e u e 。 判 断   p o o l _ w o r k q u e u e   活 跃 的   w o r k   数 量 ， 少 于 最 大 限 值 则 将   w o r k   加 入 到   p o o l - > w o r k l i s t   中 ， 否 则 加 入 到   p w q - > d e l a y e d _ w o r k s   链 表 中 。 如 果   _ _ n e e d _ m o r e _ w o r k e r   判 断 没 有   w o r k e r   在 执 行 ， 则 通 过   w a k e _ u p _ w o r k e r   唤 醒 w o r k e r   内 核 线 程 。 w o r k e r _ t h r e a d w o r k e r   内 核 线 程 的 执 行 函 数 是   w o r k e r _ t h r e a d 。 设 置 标 志 位   P F _ W Q _ W O R K E R ， 调 度 器 在 进 行 调 度 处 理 时 会 对   t a s k   进 行 判 断 ， 针 对   w o r k e r q u e u e   w o r k e r   有 特 殊 的 处 理 。 w o r k e r   被 唤 醒 的 时 候 ， 跳 转 到   w o k e _ u p   执 行 。
w o k e _ u p   中 ， 如 果 此 时   w o r k e r   是 需 要 销 毁 的 ， 那 就 进 行 清 理 工 作 并 返 回 。 否 则 ， 离 开   I D L E   状 态 ， 并 进 入   r e c h e c k   模 块 执 行 。 r e c h e c k   中 ， 判 断 是 否 需 要 更 多 的   w o r k e r   来 处 理 ， 如 果 没 有 任 务 处 理 ， 跳 转 到 s l e e p   地 方 进 行 睡 眠 。 如 果 有 任 务 需 要 处 理 时 ， 遍 历 工 作 链 表 ， 对 链 表 中 的 每 个 节 点 调 用   p r o c e s s _ o n e _ w o r k   来 执 行   w o r k   的 回 调 函 数 ， 即   I N I T _ W O R K   里 的 回 调 函 数 。 s l e e p   中 ， 没 有 任 务 处 理 时 ， w o r k e r   进 入 空 闲 状 态 ， 并 将 当 前 的 内 核 线 程 设 置 成 睡 眠 状 态 ， 让 出   C P U 。 总 结 总 结
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理