搜索

[16526] 2021-03-08_Batea：一款基于AI的上下文驱动网络设备排序工具

文档创建者：s7ckTeam
浏览次数：14
最后更新：2025-01-18
2021-03-08_Batea：一款基于AI的上下文驱动网络设备排序工具 B a t e a ： 一 款 基 于 A I 的 上 下 文 驱 动 网 络 设 备 排 序 工 具 A l p h a _ h 4 c k   F r e e B u f   2 0 2 1 - 0 3 - 0 8 B a t e a B a t e a 是 一 款 基 于 机 器 学 习 算 法 异 常 检 测 分 支 的 上 下 文 驱 动 的 网 络 设 备 排 序 框 架 ， 而 B a t e a 的 主 要 目 标 是 允 许 并 帮 助 安 全 团 队 使 用 n m a p 扫 描 报 告 自 动 过 滤 大 型 网 络 中 感 兴 趣 的 网 络 资 产 。 B a t e a 工 作 机 制 工 作 机 制 B a t e a 的 工 作 原 理 是 从 n m a p 报 告 （ X M L ） 中 构 造 所 有 设 备 的 数 字 表 示 （ n u m p y ） ， 然 后 应 用 异 常 检 测 方 法 来 发 现 感 兴 趣 或 有 价 值 的 网 络 资 产 。 我 们 还 可 以 通 过 向 网 络 资 产 元 素 的 数 字 表 示 中 添 加 特 定 的 字 符 来 扩 展 其 功 能 。 网 络 资 产 元 素 的 数 字 表 示 是 使 用 特 征 构 建 的 ， 这 些 特 征 受 到 安 全 社 区 专 业 知 识 的 启 发 ， 而 无 人 管 理 的 异 常 检 测 方 法 将 允 许 工 具 将 网 络 资 产 上 下 文 或 网 络 的 整 体 描 述 用 作 排 序 算 法 的 核 心 构 建 块 。 这 里 所 使 用 的 准 确 算 法 为 I s o l a t i o n   F o r e s t 算 法 。 机 器 学 习 模 型 是 B a t e a 的 核 心 。 模 型 是 在 整 个 数 据 集 上 训 练 的 算 法 ， 用 于 预 测 相 同 （ 和 其 他 ） 数 据 点 （ 网 络 设 备 ） 的 得 分 。 除 此 之 外 ， B a t e a 还 允 许 模 型 持 久 化 。 也 就 是 说 ， 我 们 可 以 重 用 预 先 训 练 的 模 型 ， 并 导 出 在 大 型 数 据 集 上 训 练 的 模 型 以 供 进 一 步 使 用 。 工 具 安 装 工 具 安 装 开 发 者 安 装 开 发 者 安 装 工 具 使 用 工 具 使 用 $   g i t   c l o n e   g i t @ g i t h u b . c o m : d e l v e l a b s / b a t e a . g i t $   c d   b a t e a $   p y t h o n 3   s e t u p . p y   s d i s t $   p i p 3   i n s t a l l   - r   r e q u i r e m e n t s . t x t $   p i p 3   i n s t a l l   - e   . $   g i t   c l o n e   g i t @ g i t h u b . c o m : d e l v e l a b s / b a t e a . g i t $   c d   b a t e a $   p y t h o n 3   - m   v e n v   b a t e a / $   s o u r c e   b a t e a / b i n / a c t i v a t e $   p y t h o n 3   s e t u p . p y   s d i s t $   p i p 3   i n s t a l l   - r   r e q u i r e m e n t s - d e v . t x t $   p i p 3   i n s t a l l   - e   . $   p y t e s t #   完 整 信 息 $   s u d o   n m a p   - A   1 9 2 . 1 6 8 . 0 . 0 / 1 6   - o X   o u t p u t . x m l #   部 分 信 息 $   s u d o   n m a p   - O   - s V   1 9 2 . 1 6 8 . 0 . 0 / 1 6   - o X   o u t p u t . x m l $   b a t e a   - v   o u t p u t . x m l 工 具 使 用 样 例 #   简 单 使 用 （ 以 默 认 格 式 输 出 排 名 前 五 的 资 产 ）
如 何 添 加 新 的 特 性 如 何 添 加 新 的 特 性 B a t e a 的 工 作 原 理 是 将 数 字 特 征 分 配 给 报 告 （ 或 一 系 列 报 告 ） 中 的 每 一 台 主 机 。 这 里 的 主 机 指 的 是 从 n m a p 报 告 派 生 的 p y t h o n 对 象 ， 它 们 由 以 下 属 性 列 表 组 成 ： [ i p v 4 ,   h o s t n a m e , o s _ i n f o ,   p o r t s ] ， 其 中 的 p o r t s 是 端 口 对 象 的 列 表 。 每 一 个 端 口 都 有 以 下 属 性 ： [ p o r t ,   p r o t o c o l ,   s t a t e ,   s e r v i c e ,   s o f t w a r e ,   v e r s i o n ,   c p e ,   s c r i p t s ] ， 所 有 属 性 值 默 认 为 N o n e 。 F e a t u r e s 是 从 F e a t u r e B a s e 类 继 承 的 对 象 ， 它 实 例 化 了 一 个 特 定 的 _ t r a n s f o r m 方 法 。 这 个 方 法 始 终 将 所 有 主 机 的 列 表 作 为 输 入 ， 并 返 回 一 个 l a m b d a 函 数 ， 该 函 数 将 每 个 主 机 映 射 到 数 值 的 n u m p y 列 （ 主 机 顺 序 是 守 恒 的 ） ， 然 后 将 该 列 附 加 到 扫 描 报 告 的 矩 阵 表 示 形 式 中 。 F e a t u r e s 必 须 输 出 正 确 的 数 值 （ 浮 点 或 整 数 ） ， 而 不 能 输 出 其 他 值 。 大 多 数 特 征 转 换 都 是 使 用 简 单 的 l a m b d a 函 数 实 现 的 ， 只 需 确 保 为 每 个 主 机 默 认 一 个 数 值 ， 以 实 现 模 型 兼 容 性 。 具 体 样 例 如 下 ： 具 体 样 例 如 下 ： $   b a t e a   n m a p _ r e p o r t . x m l #   输 出 前 三 $   b a t e a   - n   3   n m a p _ r e p o r t . x m l #   输 出 所 有 资 产 $   b a t e a   - A   n m a p _ r e p o r t . x m l #   使 用 多 个 输 入 文 件 $   b a t e a   - A   n m a p _ r e p o r t 1 . x m l   n m a p _ r e p o r t 2 . x m l #   使 用 通 配 符 $   b a t e a   . / n m a p * . x m l $   b a t e a   - f   c s v   . / a s s e t s * . c s v #   你 可 以 在 预 训 练 模 型 和 导 出 训 练 模 型 上 使 用 b a t e a 。 #   持 久 性 的 训 练 、 输 出 和 转 储 模 型 $   b a t e a   - D   m y m o d e l . b a t e a   n m a p _ r e p o r t . x m l #   使 用 预 训 练 模 型 $   b a t e a   - L   m y m o d e l . b a t e a   n m a p _ r e p o r t . x m l #   使 用 预 格 式 化 C S V 和 X M L 文 件 $   b a t e a   - x   n m a p _ r e p o r t . x m l   - c   p o r t s c a n _ d a t a . c s v #   V e r b o s e 模 式 $   b a t e a   - v v   n m a p _ r e p o r t . x m l c l a s s   C u s t o m I n t e r e s t i n g P o r t s ( F e a t u r e B a s e ) :         d e f   _ _ i n i t _ _ ( s e l f ) :                 s u p e r ( ) . _ _ i n i t _ _ ( n a m e = " s o m e _ c u s t o m _ i n t e r e s t i n g _ p o r t s " )         d e f   _ t r a n s f o r m ( s e l f ,   h o s t s ) :             " " " T h i s   m e t h o d   t a k e s   a   l i s t   o f   h o s t s   a n d   r e t u r n s   a   f u n c t i o n   t h a t   c o u n t s   t h e   n u m b e r             o f   h o s t   p o r t s   m e m b e r   f r o m   a   p r e d e f i n e d   l i s t   o f   " i n t e r e s t i n g "   p o r t s ,   d e f a u l t i n g   t o   0 .             P a r a m e t e r s             - - - - - - - - - -             h o s t s   :   l i s t                     T h e   l i s t   o f   a l l   h o s t s             R e t u r n s             - - - - - - -             f   :   l a m b d a   f u n c t i o n                     C o u n t s   t h e   n u m b e r   o f   p o r t s   i n   t h e   d e f i n e d   l i s t .
使 用 预 计 算 表 格 数 据 （ 使 用 预 计 算 表 格 数 据 （ C S V ） ） 我 们 还 可 以 使 用 预 处 理 的 数 据 来 训 练 模 型 或 进 行 预 测 。 数 据 必 须 按 （ i p v 4 ， p o r t ） 索 引 ， 每 行 有 一 个 唯 一 的 组 合 。 列 必 须 使 用 以 下 名 称 之 一 ， 但 不 必 全 部 使 用 。 如 果 缺 少 列 ， 则 解 析 器 默 认 为 空 值 。 样 例 ： 样 例 ： 输 出 数 值 表 示 输 出 数 值 表 示 我 们 还 可 以 输 出 数 值 矩 阵 和 分 数 列 ， 而 不 是 常 规 输 出 ， 这 对 于 进 一 步 的 数 据 分 析 和 调 试 非 常 有 用 。 项 目 地 址 项 目 地 址 B a t e a ： 点 击 文 末 阅 读 原 文 获 取 链 接 精 彩 推 荐 精 彩 推 荐                     C o u n t s   t h e   n u m b e r   o f   p o r t s   i n   t h e   d e f i n e d   l i s t .             " " "                 m e m b e r _ p o r t s   =   [ 2 1 ,   2 2 ,   2 5 ,   8 0 8 0 ,   8 0 8 1 ,   1 2 3 4 ]                 f   =   l a m b d a   h o s t :   l e n ( [ p o r t   f o r   p o r t   i n   h o s t . p o r t s   i f   p o r t . p o r t   i n   m e m b e r _ p o r t s ] )                 r e t u r n   f 接 下 来 ， 我 们 可 以 使 用 b a t e a / i n i t . p y 中 的 N m a p R e p o r t . a d d _ f e a t u r e 方 法 来 向 报 告 中 添 加 新 的 特 性 ： f r o m   . f e a t u r e s . b a s i c _ f e a t u r e s   i m p o r t   C u s t o m I n t e r e s t i n g P o r t s d e f   b u i l d _ r e p o r t ( ) :         r e p o r t   =   N m a p R e p o r t ( )         # [ . . . ]         r e p o r t . a d d _ f e a t u r e ( C u s t o m I n t e r e s t i n g P o r t s ( ) ) r e t u r n   r e p o r t ' i p v 4 ' ,     ' h o s t n a m e ' ,     ' o s _ n a m e ' ,     ' p o r t ' ,     ' s t a t e ' ,     ' p r o t o c o l ' ,     ' s e r v i c e ' ,     ' s o f t w a r e _ b a n n e r ' ,     ' v e r s i o n ' ,     ' c p e ' ,     ' o t h e r _ i n f o ' i p v 4 , h o s t n a m e , o s _ n a m e , p o r t , s t a t e , p r o t o c o l , s e r v i c e , s o f t w a r e _ b a n n e r 1 0 . 2 5 1 . 5 3 . 1 0 0 , i n t e r n a l . d e l v e s e c u r i t y . c o m , L i n u x , 1 1 0 , o p e n , t c p , r p c b i n d , " p r o g r a m   v e r s i o n       p o r t / p r o t o     s e r v i c e 1 0 0 0 0 0     2 , 3 , 4                 1 1 1 / t c p     r p c b i n d 1 0 0 0 0 0     2 , 3 , 4         " 1 0 . 2 5 1 . 5 3 . 1 0 0 , i n t e r n a l . d e l v e s e c u r i t y . c o m , L i n u x , 1 1 1 , o p e n , t c p , r p c b i n d , 1 0 . 2 5 1 . 5 3 . 1 8 8 , s e r i o u s . d e l v e s e c u r i t y . c o m , L i n u x , 6 0 0 0 , o p e n , t c p , X 1 1 , " X 1 1 P r o b e :   C e n t O S " $   b a t e a   - o M   n e t w o r k _ m a t r i x   n m a p _ r e p o r t . x m l
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理