搜索

[13950] 2019-04-05_Turbinia：一款自动化云端并行数字取证工具

文档创建者：s7ckTeam
浏览次数：27
最后更新：2025-01-18
2019-04-05_Turbinia：一款自动化云端并行数字取证工具 T u r b i n i a ： 一 款 自 动 化 云 端 并 行 数 字 取 证 工 具 A l p h a _ h 4 c k   F r e e B u f   2 0 1 9 - 0 4 - 0 5 T u r b i n i a 是 一 款 专 门 用 于 部 署 、 管 理 和 运 行 分 布 式 取 证 任 务 流 的 开 源 框 架 。 该 工 具 可 以 自 动 化 运 行 常 见 的 数 据 是 一 款 专 门 用 于 部 署 、 管 理 和 运 行 分 布 式 取 证 任 务 流 的 开 源 框 架 。 该 工 具 可 以 自 动 化 运 行 常 见 的 数 据 取 整 处 理 工 具 ， 例 如 取 整 处 理 工 具 ， 例 如 P l a s o 、 、 T S K 和 和 s t r i n g s 等 等 ， 可 帮 助 研 究 人 员 对 云 端 环 境 以 及 大 量 账 号 下 的 数 字 证 据 进 行 处 等 等 ， 可 帮 助 研 究 人 员 对 云 端 环 境 以 及 大 量 账 号 下 的 数 字 证 据 进 行 处 理 ， 并 尽 可 能 地 通 过 并 行 处 理 方 式 来 减 少 响 应 时 间 。 理 ， 并 尽 可 能 地 通 过 并 行 处 理 方 式 来 减 少 响 应 时 间 。 工 作 机 制 工 作 机 制 T u r b i n i a 由 客 户 端 、 服 务 器 端 和 业 务 处 理 端 ( W o r k e r ) 这 几 种 组 件 组 成 ， 这 些 组 件 可 以 在 云 端 环 境 中 运 行 ， 也 可 以 在 本 地 运 行 ， 或 者 在 这 两 种 混 合 环 境 下 运 行 都 可 以 。 T u r b i n i a 客 户 端 会 向 T u r b i n i a 服 务 器 端 发 送 取 证 数 据 的 处 理 请 求 ， 服 务 器 端 会 根 据 用 户 发 送 过 来 的 请 求 创 建 逻 辑 任 务 ， 并 为 W o r k e r 创 建 取 证 处 理 计 划 任 务 。 在 允 许 的 情 况 下 ， 需 要 处 理 的 取 证 分 析 任 务 会 被 拆 分 成 多 个 工 作 任 务 ， T u r b i n i a 会 以 并 行 的 方 式 处 理 这 些 任 务 以 节 省 时 间 开 销 ， 服 务 器 端 会 同 时 使 用 一 个 或 多 个 W o r k e r 来 持 续 处 理 分 析 任 务 。 任 务 创 建 或 分 配 的 任 何 取 证 数 据 都 将 会 回 传 给 T u r b i n i a 来 进 行 进 一 步 处 理 。 客 户 端 与 服 务 器 端 的 通 信 可 以 由 G o o g l e   C l o u d   P u b S u b 或 K o m b u 消 息 组 成 。 W o r k e r 实 现 和 计 划 任 务 使 用 了 P S Q （ G o o g l e   C l o u d   P u b S u b 任 务 队 列 ） 或 C e l e r y 。 更 多 关 于 T u r b i n i a 工 作 机 制 的 内 容 ， 可 以 点 击 底 部 【 阅 读 原 文 】 查 看 。 V i r t u a l e n v 环 境 下 的 工 具 安 装 环 境 下 的 工 具 安 装 创 建 创 建 V i r t u a l e n v 实 例 实 例 创 建 并 激 活 V i r t u a l e n v ：
在 完 成 所 有 操 作 步 骤 之 前 不 要 退 出 V i r t u a l e n v 。 构 建 与 配 置 构 建 与 配 置 安 装 T u r b i n i a ： 安 装 P l a s o ： 更 新 P y t h o n 路 径 ： 选 择 T u r b i n i a 配 置 文 件 存 储 路 径 ： 部 署 云 函 数 ： 【 传 送 门 】 工 具 使 用 工 具 使 用 工 具 安 装 完 成 后 ， 可 以 按 照 下 列 步 骤 进 行 取 证 处 理 ： 1 、   使 用 下 列 命 令 开 启 T u r b i n i a 服 务 器 组 件 ： 2 、 使 用 下 列 命 令 开 启 一 个 或 多 个 T u r b i n i a   W o r k e r ： 3 、   使 用 下 列 命 令 控 制 T u r b i n i a 客 户 端 发 送 取 证 任 务 ： 4 、   使 用 下 列 命 令 检 查 任 务 运 行 状 态 ： t u r b i n i a c t l 命 令 可 以 用 来 开 启 不 同 的 组 件 ， 下 面 给 出 的 是 基 本 使 用 方 法 ： 默 认 情 况 下 ， 当 添 加 了 新 的 需 要 处 理 的 取 证 任 务 时 ， t u r b i n i a c t l 将 以 客 户 端 的 身 份 向 T u r b i n i a 服 务 器 发 送 任 务 请 求 ， 如 果 没 有 指 定 — s e r v e r 参 数 的 话 ， 它 将 会 开 启 自 己 的 T u r b i n i a 服 务 器 进 程 。 下 面 给 出 的 是 t u r b i n i a c t l 添 加 r a w d i s k 类 型 任 务 的 示 例 代 码 ： v i r t u a l e n v   t u r b i n i a - e n v   & &   .   t u r b i n i a - e n v / b i n / a c t i v a t e g i t   c l o n e   h t t p s : / / g i t h u b . c o m / g o o g l e / t u r b i n i a . g i t p i p   i n s t a l l   - - u p g r a d e   p i p p i p   i n s t a l l   - r   t u r b i n i a / r e q u i r e m e n t s . t x t c u r l   - o   p l a s o - r e q u i r e m e n t s . t x t   h t t p s : / / r a w . g i t h u b u s e r c o n t e n t . c o m / l o g 2 t i m e l i n e / p l a s o / m a s t e r / r e q u i r e m e n t s . t x t p i p   i n s t a l l   - r   p l a s o - r e q u i r e m e n t s . t x t c d   t u r b i n i a ;   e x p o r t   P Y T H O N P A T H = $ P Y T H O N P A T H : ` p w d ` ;   c d   – c d   t u r b i n i a ;   e c h o   " e x p o r t   P Y T H O N P A T H = $ P Y T H O N P A T H "   > >   ~ / . b a s h r c   ; c d   - / e t c / t u r b i n i a / t u r b i n i a . c o n f s u d o m k d i r   / e t c / t u r b i n i a c p < l o c a l g i t p a t h > / t u r b i n i a / c o n f i g / t u r b i n i a _ c o n f i g . p y / e t c / t u r b i n i a / t u r b i n i a . c o n f / h o m e / $ U S E R / . t u r b i n i a r c c p < l o c a l g i t p a t h > / t u r b i n i a / c o n f i g / t u r b i n i a _ c o n f i g . p y   / h o m e / $ U S E R / . t u r b i n i a r c < l o c a l g i t p a t h > / t u r b i n i a / c o n f i g / t u r b i n i a _ c o n f i g . p y t u r b i n i a c t l   s e r v e r t u r b i n i a c t l   p s q w o r k e r t u r b i n i a c t l   $ { e v i d e n c e t y p e } t u r b i n i a c t l   s t a t u s $ t u r b i n i a c t l   - - h e l p u s a g e : t u r b i n i a c t l   [ - h ]   [ - q ]   [ - v ]   [ - d ]   [ - a ]   [ - f ]   [ - o   O U T P U T _ D I R ]   [ - L   L O G _ F I L E ]                                       [ - r   R E Q U E S T _ I D ]   [ - R ]   [ - S ] [ - C ]   [ - V ]   [ - D ]                                       [ - F   F I L T E R _ P A T T E R N S _ F I L E ] [ - j   J O B S _ W H I T E L I S T ]                                       [ - J   J O B S _ B L A C K L I S T ]   [ - p P O L L _ I N T E R V A L ]   [ - t   T A S K ]   [ - w ]                                       < c o m m a n d >   . . .   o p t i o n a l   a r g u m e n t s :     - h ,   - - h e l p                         s h o w   t h i s   h e l p   m e s s a g e   a n d   e x i t     - q ,   - - q u i e t                       S h o w   m i n i m a l   o u t p u t     - v ,   - - v e r b o s e                   S h o w   v e r b o s e   o u t p u t     - d ,   - - d e b u g                       S h o w   d e b u g   o u t p u t     - a ,   - - a l l _ f i e l d s             S h o w   a l l   t a s k   s t a t u s   f i e l d s   i n   o u t p u t     - f ,   - - f o r c e _ e v i d e n c e     F o r c e   e v i d e n c e   p r o c e s s i n g   r e q u e s t   i n p o t e n t i a l l y                                                 u n s a f e   c o n d i t i o n s     - o   O U T P U T _ D I R ,   - - o u t p u t _ d i r   O U T P U T _ D I R                                                 D i r e c t o r y   p a t h   f o r o u t p u t     - L   L O G _ F I L E ,   - - l o g _ f i l e   L O G _ F I L E                                                 L o g   f i l e     - r   R E Q U E S T _ I D ,   - - r e q u e s t _ i d   R E Q U E S T _ I D                                                 C r e a t e   n e w   r e q u e s t s w i t h   t h i s   R e q u e s t   I D     - R ,   - - r u n _ l o c a l               R u n   c o m p l e t e l y   l o c a l l y   w i t h o u t   a n y s e r v e r   o r   o t h e r                                                 i n f r a s t r u c t u r e .   T h i s c a n   b e   u s e d   t o   r u n   o n e - o f f   T a s k s                                                 t o   p r o c e s s   d a t a   l o c a l l y .     - S ,   - - s e r v e r                     R u n   T u r b i n i a   S e r v e r   i n d e f i n i t e l y     - C ,   - - u s e _ c e l e r y             P a s s   t h i s   f l a g   w h e n   u s i n g   C e l e r y / K o m b u f o r   t a s k                                                 q u e u i n g   a n d   m e s s a g i n g ( i n s t e a d   o f   G o o g l e   P S Q / p u b s u b )     - V ,   - - v e r s i o n                   S h o w   t h e   v e r s i o n     - D ,   - - d u m p _ j s o n               D u m p   J S O N   o u t p u t   o f   T u r b i n i a   R e q u e s t i n s t e a d   o f                                                 s e n d i n g   i t     - F   F I L T E R _ P A T T E R N S _ F I L E , - - f i l t e r _ p a t t e r n s _ f i l e   F I L T E R _ P A T T E R N S _ F I L E                                                 A   f i l e   c o n t a i n i n g n e w l i n e   s e p a r a t e d   s t r i n g   p a t t e r n s   t o                                                 f i l t e r   t e x t   b a s e d e v i d e n c e   f i l e s   w i t h   ( i n   e x t e n d e d                                                 g r e p   r e g e x   f o r m a t ) . T h i s   f i l t e r e d   o u t p u t   w i l l   b e   i n                                                 a d d i t i o n   t o   t h e c o m p l e t e   o u t p u t     - j   J O B S _ W H I T E L I S T ,   - - j o b s _ w h i t e l i s t J O B S _ W H I T E L I S T                                                 A   w h i t e l i s t   f o r   J o b s t h a t   w e   w i l l   a l l o w   t o   r u n   ( n o t e                                                 t h a t   i t   w i l l   n o t   f o r c e t h e m   t o   r u n ) .     - J   J O B S _ B L A C K L I S T ,   - - j o b s _ b l a c k l i s t J O B S _ B L A C K L I S T                                                 A   b l a c k l i s t   f o r   J o b s   w e   w i l l   n o t   a l l o w   t o r u n     - p   P O L L _ I N T E R V A L ,   - - p o l l _ i n t e r v a l P O L L _ I N T E R V A L                                                 N u m b e r   o f   s e c o n d s   t o w a i t   b e t w e e n   p o l l i n g   f o r   t a s k                                                 s t a t e   i n f o     - t   T A S K ,   - - t a s k   T A S K     T h e   n a m e   o f   a   s i n g l e   T a s k   t o   r u n   l o c a l l y ( m u s t   b e   u s e d                                                 w i t h   - - r u n _ l o c a l .     - w ,   - - w a i t                         W a i t   t o   e x i t   u n t i l   a l l   t a s k s   f o r t h e   g i v e n   r e q u e s t                                                 h a v e   c o m p l e t e d   C o m m a n d s :     < c o m m a n d >         r a w d i s k                           P r o c e s s   R a w D i s k   a s   E v i d e n c e         g o o g l e c l o u d d i s k           P r o c e s s   G o o g l e   C l o u d   P e r s i s t e n t   D i s k   a s E v i d e n c e         g o o g l e c l o u d d i s k e m b e d d e d                                                 P r o c e s s   G o o g l e   C l o u d P e r s i s t e n t   D i s k   w i t h   a n   e m b e d d e d                                                 r a w   d i s k   i m a g e   a s E v i d e n c e         d i r e c t o r y                     P r o c e s s   a   d i r e c t o r y   a s E v i d e n c e         l i s t j o b s                         L i s t   a l l   a v a i l a b l e   j o b s         p s q w o r k e r                       R u n   P S Q   w o r k e r         c e l e r y w o r k e r                 R u n   C e l e r y   w o r k e r         s t a t u s                             G e t   T u r b i n i a   T a s k   s t a t u s s e r v e r                             R u n   T u r b i n i a   S e r v e r
参 考 文 档 参 考 文 档 1 、   工 具 安 装 2 、   工 作 机 制 3 、   贡 献 代 码 4 、   开 发 新 任 务 5 、   疑 难 解 答 6 、   调 试 常 见 错 误 * 参 考 来 源 ： m a a a a z ， F B 小 编 A l p h a _ h 4 c k 编 译 ， 转 载 请 注 明 来 自 F r e e B u f . C O M 阅 读 原 文 $ . / t u r b i n i a c t l   r a w d i s k   - h u s a g e : t u r b i n i a c t l   r a w d i s k   [ - h ]   - l   L O C A L _ P A T H   [ - s   S O U R C E ]   [ - n   N A M E ]   o p t i o n a l   a r g u m e n t s :     - h ,   - - h e l p                         s h o w   t h i s   h e l p   m e s s a g e   a n d   e x i t     - l   L O C A L _ P A T H ,   - - l o c a l _ p a t h   L O C A L _ P A T H                                                 L o c a l   p a t h   t o   t h e e v i d e n c e     - s   S O U R C E ,   - - s o u r c e   S O U R C E                                                 D e s c r i p t i o n   o f   t h e s o u r c e   o f   t h e   e v i d e n c e     - n   N A M E ,   - - n a m e   N A M E     D e s c r i p t i v e   n a m e   o f   t h e   e v i d e n c e
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理