搜索

[17806] 2020-09-25_插件分享可以进行web爬虫的Xray插件（文章末尾有福利）

文档创建者：s7ckTeam
浏览次数：5
最后更新：2025-01-18
2020-09-25_插件分享可以进行web爬虫的Xray插件（文章末尾有福利） 插 件 分 享   |   可 以 进 行 w e b 爬 虫 的 X r a y 插 件 （ 文 章 末 尾 有 福 利 ） 原 创   g o 0 p   G o b y S e c   2 0 2 0 - 0 9 - 2 5 前 言 ： 前 言 ： X r a y 有 多 香 想 必 大 家 应 该 是 知 道 的 （ 上 星 期 在 做 某 演 练 的 时 候 就 用 X r a y 扫 到 了 不 少 洞 ） 。 所 以 ， 当 时 看 见 G i t h u b 上 有 联 动 X r a y 的 需 求 ， 就 尝 试 着 写 了 此 插 件 。 本 次 讲 的 会 稍 微 仔 ( 啰 ) 细 ( 嗦 ) 一 点 ， 希 望 通 过 此 次 分 享 ， 大 家 也 能 动 起 手 来 尝 试 写 出 更 多 的 、 有 趣 的 插 件 。   0 1   插 件 效 果 插 件 效 果 1 . 1     w e b 爬 虫 爬 虫 对 目 标 进 行 资 产 测 绘 后 ， 进 入 I P 详 情 页 ： 或 进 入 W e b 检 测 页 ：
注 ： w e b 检 测 的 X r a y 入 口 目 前 只 有 开 发 版 才 有 。 这 里 借 用 一 下 C o r p 0 r a 1 大 佬 之 前 在 社 区 技 术 分 享 中 用 的 图 ： 1 . 2     生 成 报 告 生 成 报 告 如 果 扫 到 了 漏 洞 ， 会 生 成 一 个 类 似 X r a y 的 报 告 ( 代 码 写 的 很 烂 . . . ) ， 按 照 时 间 先 后 ， 最 新 扫 到 的 洞 会 在 最 上 面 。
  0 2   开 发 流 程 开 发 流 程 2 . 1     确 定 需 要 用 到 的 确 定 需 要 用 到 的 G o b y   A P I 首 先 ， 我 们 需 要 用 户 手 动 输 入 X r a y 的 路 径 ， 因 此 需 要 设 置 c o n t r i b u t e s . c o n f i g u r a t i o n ： 其 次 我 们 要 在 G o b y 探 测 完 资 产 后 ， 在 I P 详 情 页 面 的 b a n n e r 上 显 示 出 我 们 的 插 件 ， 因 此 需 要 设 置 c o n t r i b u t e s . v i e w . i p D e t a i l . b a n n e r T o p ： 如 果 X r a y 扫 到 了 漏 洞 ， 我 们 还 需 要 查 看 报 告 。 稍 加 思 索 发 现 放 在 更 多 下 拉 菜 单 相 对 比 较 合 适 ， 于 是 需 要 设 置 c o n t r i b u t e s . v i e w . s c a n R e s . m o r e O p t i o n s ： 到 这 里 ， 我 们 插 件 的 自 定 义 的 视 图 入 口 点 就 算 基 本 写 好 了 ， 以 上 这 些 都 可 以 在 G o b y E x t e n s i o n 中 找 到 ， 而 且 有 更 多 的 视 图 入 口 点 和 更 加 详 细 的 说 明 。 2 . 2     A P I 调 用 调 用 通 过 通 过 G o b y . g e t C o n f i g u r a t i o n 获 取 上 面 的 插 件 配 置 项 获 取 上 面 的 插 件 配 置 项 我 们 在 上 面 设 置 了 命 令 ， 由 于 要 触 发 的 命 令 基 本 都 是 照 搬 的 官 方 M S F   S p l o i t 插 件 代 码 ， 这 里 就 不 再 叙 述 了 ， 有 兴 趣 的 可 以 看 看 M S F   S p l o i t 代 码 。 " c o n t r i b u t e s " :   {         " c o n f i g u r a t i o n " :   {             " X r a y P A T H " :   {                 " t y p e " :   " s t r i n g " ,                 " d e f a u l t " :   " " ,                 " d e s c r i p t i o n " :   " 请 输 入 X r a y 的 路 径 " ,                 " f r o m D i a l o g " :   t r u e   / / 该 配 置 参 数 是 否 可 以 通 过 读 取 文 件 路 径 设 置             } ,             . . .             . . .         } } " v i e w s " :   {             " i p D e t a i l " :   {                 " b a n n e r T o p " :   [                     {                         " c o m m a n d " :   " X r a y _ c r a w l e r " , / / 注 册 命 令 的 名 称                         " t i t l e " :   " X r a y - c r a w l e r " , / / 在 按 钮 中 显 示 的 文 字                         " i c o n " :   " s r c / a s s e t s / i m g / X r a y . i c o " ,                         " v i s i b l e " :   " X r a y _ c r a w l e r _ v i s i "   / / 控 制 自 定 义 组 件 是 否 显 示 的 命 令 ， 返 回 t r u e 显 示 ， 返 回 f a l s e 不 显 示                     }                 ]             }   } " s c a n R e s " :   {                 " m o r e O p t i o n s " :   [                     {                         " c o m m a n d " :   " X r a y _ R e p o r t " ,                         " t i t l e " :   " X r a y   R e p o r t " ,                         " i c o n " :   " s r c / a s s e t s / i m g / X r a y . i c o "                     }                 ]             } l e t   c o n f i g   =   G o b y . g e t C o n f i g u r a t i o n ( ) ; / / 通 过 c o n f i g . X r a y P A T H . d e f a u l t 就 可 以 获 取 到 用 户 输 入 的 X r a y 路 径 x r a y _ c r a w l e r x r a y _ c r a w l e r
这 里 着 重 讲 讲 我 们 设 置 的 另 一 个 命 令 这 里 着 重 讲 讲 我 们 设 置 的 另 一 个 命 令 — — ， 实 现 原 理 主 要 是 用 实 现 原 理 主 要 是 用 n o d e . j s 的 的 f s 模 块 读 取 模 块 读 取 X r a y 生 成 的 生 成 的 j s o n 格 式 的 报 告 ， 再 传 入 格 式 的 报 告 ， 再 传 入 h t m l 页 面 中 进 行 处 理 。 页 面 中 进 行 处 理 。 2 . 3     h t m l 页 面 的 处 理 页 面 的 处 理 官 方 插 件 中 使 用 的 是   l a y u i   框 架 进 行 开 发 ， 由 于 h t m l 的 那 些 布 局 啊 ， 样 式 啊 ， 实 在 不 太 会 ， 好 在 现 在 有 很 多 框 架 ， 并 且 一 些 不 是 很 复 杂 的 需 求 可 以 百 度 ， 咱 不 求 优 雅 ， 只 求 至 少 能 实 现 需 求 . . . . . . 接 下 来 就 是 处 理 传 过 来 的 i n f o 数 据 了 。 首 先 需 要 处 理 传 过 来 的 i n f o 信 息 ， 可 以 直 接 c o p y 官 方 文 档 提 供 的 代 码 ， 只 需 要 注 意 b a s e 6 4 解 码 一 下 : 拿 到 了 r e s u l t s 就 可 以 方 便 的 将 内 容 输 出 到 h t m l 页 面 中 的 表 格 了 ， 接 下 来 就 是 一 些 前 端 的 布 局 和 样 式 了 ， 由 于 不 太 会 ， 也 说 不 清 ， 就 不 误 人 子 弟 了 ( 捂 脸 ) 。 在 以 上 所 以 内 容 都 完 成 后 ， 就 可 以 进 行 打 包 以 及 发 布 了 ~ ， 由 于 用 的 官 方 的 代 码 ， 也 没 引 入 其 他 模 块 ， 所 以 直 接 压 缩 就 完 事 了 ~ 2 . 4     一 些 技 巧 一 些 技 巧 建 议 使 用 1 . 7 . 1 9 9 版 本 的 开 发 版 G o b y ， 此 版 本 的 信 息 打 印 的 十 分 详 细 ， 更 加 方 便 调 试 : x r a y _ R e p o r t / / e x t e n s i o n . j s l e t   c p   =   r e q u i r e ( ' c h i l d _ p r o c e s s ' ) ; c o n s t   o s   =   r e q u i r e ( ' o s ' ) ; c o n s t   p a t h   =   r e q u i r e ( ' p a t h ' ) ; c o n s t   f s   =   r e q u i r e ( ' f s ' ) ; / / 导 入 的 一 些 n o d e . j s 内 置 模 块 f u n c t i o n   a c t i v a t e ( c o n t e n t )   {     l e t   i d e n t i c a l   =   {         " w e b " :   t r u e ,         " h t t p " :   t r u e ,         " h t t p s " :   t r u e ,   / / 只 有 这 些 协 议 插 件 才 会 显 示 ， 同 理 可 以 对 一 些 端 口 啊 什 么 的 做 过 滤     } ;     l e t   c o n f i g   =   G o b y . g e t C o n f i g u r a t i o n ( ) ;     G o b y . r e g i s t e r C o m m a n d ( ' X r a y _ R e p o r t ' ,   f u n c t i o n   ( )   {     / / 注 册 要 执 行 的 命 令 ， 也 就 是 c o n t r i b u t e s . v i e w . s c a n R e s . m o r e O p t i o n s [ 0 ] . c o m m a n d 的 值         l e t   j s o n _ f i l e   =   p a t h . d i r n a m e ( c o n f i g . X r a y P A T H . d e f a u l t )   +   " / G o b y "   / / 设 置 要 读 取 的 j s o n 报 告 的 路 径 ， 在 X r a y _ c r a w l e r 命 令 中 设 置 了 会 在 X r a y 的 路 径 下 生 成 一 个 名 为 G o b y 的 文 件 夹 用 来 存 放 X r a y 生 成 的 j s o n 格 式 的 报 告         v a r   f i l e s L i s t   =   [ ] ;   / / f i l e s L i s t   列 表 用 来 存 放 生 成 的 j s o n 文 件 名         v a r   i n f o   =   [ ] ;   / / 存 放 j s o n 文 件 中 的 内 容         r e a d F i l e L i s t ( j s o n _ f i l e ,   f i l e s L i s t ) ; / /   百 度 了 个 读 取 指 定 路 径 下 的 文 件 并 返 回 列 表 的 函 数         f i l e s L i s t . f o r E a c h ( f u n c t i o n   ( v )   {             v a r   d a t a   =   f s . r e a d F i l e S y n c ( v ,   ' u t f - 8 ' )             i f   ( d a t a . c h a r A t ( d a t a . l e n g t h   -   1 )   = =   ' ] ' )   {   / / 判 断 j s o n 文 件 的 最 后 一 个 字 符 是 不 是 ' ] '                 j s o n d a t a   =   J S O N . p a r s e ( d a t a ) ; / / X r a y 正 常 扫 完 某 个 u r l ， 生 成 的 j s o n 报 告 由 [ ] 包 裹             }   e l s e   {                 j s o n d a t a   =   J S O N . p a r s e ( d a t a   +   ' ] ' ) ; / / u r l 未 扫 完 但 是 已 经 扫 到 了 漏 洞 ， 咱 们 手 动 给 它 闭 合 一 下             }             j s o n d a t a . f o r E a c h ( ( v ,   k )   = >   {                 i n f o . p u s h ( v )             } ) ;         } ) ;         v a r   i n f o B a s e 6 4   =   n e w   B u f f e r . f r o m ( J S O N . s t r i n g i f y ( i n f o ) ) . t o S t r i n g ( ' b a s e 6 4 ' ) ; / / 因 为 有 比 较 多 的 特 殊 字 符 ， 咱 们 b a s e 6 4 编 码 一 下         i f   ( i n f o   & &   i n f o . l e n g t h   >   0 )   {             l e t   p a t h   =   _ _ d i r n a m e   +   " / x R e p o r t . h t m l ? i n f o = "   +   i n f o B a s e 6 4 ; / / 传 入 到 h t m l 页 面             G o b y . s h o w I f r a m e D i a ( p a t h ,   " X r a y _ R e p o r t " ,   " 9 6 0 " ,   " 5 0 0 " ) ;         }   e l s e   {             G o b y . s h o w I n f o r m a t i o n M e s s a g e ( " X r a y 暂 未 产 生 报 告 ！ " ) ;         }     } ) ;     G o b y . r e g i s t e r C o m m a n d ( ' X r a y _ c r a w l e r _ v i s i ' ,   f u n c t i o n   ( c o n t e n t )   {         i f   ( i d e n t i c a l [ c o n t e n t . p r o t o c o l ] )   r e t u r n   t r u e ; / / 对 协 议 名 称 进 行 判 断         r e t u r n   f a l s e ;     } ) ; } < s c r i p t   s r c = " a s s e t s / j s / j q u e r y . b a s e 6 4 . j s " > < / s c r i p t > f u n c t i o n   d e c o d e ( s t r )   {             v a r   d e b a s e 6 4   =   $ . b a s e 6 4 . d e c o d e ( s t r ) ;             r e t u r n   d e b a s e 6 4 ;         } f u n c t i o n   G e t I f r a m e Q u e r y S t r i n g ( n a m e ,   i d )   {             v a r   r e g   =   n e w   R e g E x p ( ' ( ^ | & ) '   +   n a m e   +   ' = ( [ ^ & ] * ) ( & | $ ) ' ,   ' i ' ) ; / / 正 则 匹 配 ' i n f o = x x x x x '             v a r   r   =   w i n d o w . p a r e n t . d o c u m e n t . g e t E l e m e n t B y I d ( i d ) . c o n t e n t W i n d o w . l o c a t i o n . s e a r c h . s u b s t r ( 1 ) . m a t c h ( r e g ) ;             / / r [ 0 ] : i n f o = x x x     r [ 1 ] : " "     r [ 2 ] : x x x             i f   ( r   ! =   n u l l )   {                 r e t u r n   d e c o d e ( r [ 2 ] ) ; / / b a s e 6 4 解 码 一 下             }             r e t u r n   n u l l ;         } l e t   r e s u l t s   =   J S O N . p a r s e ( G e t I f r a m e Q u e r y S t r i n g ( " i n f o " ,   " G o b y - i f r a m e " ) ) ;
也 可 以 在 e x t e n s i o n . j s 同 级 目 录 下 新 建 一 个 t e s t . j s 用 来 测 试 、 打 印 信 息 ， 比 如 上 文 中 的 文 件 读 取 ， 然 后 再 用 n o d e 执 行 就 可 以 比 较 方 便 的 进 行 调 试 ， 省 去 了 重 启 G o b y 这 一 操 作 。 / / t e s t . j s c o n s t   p a t h   =   r e q u i r e ( ' p a t h ' ) ; c o n s t   f s   =   r e q u i r e ( ' f s ' ) ; f u n c t i o n   r e a d F i l e L i s t ( d i r ,   f i l e s L i s t   =   [ ] )   {         c o n s t   f i l e s   =   f s . r e a d d i r S y n c ( d i r ) ;         f i l e s . f o r E a c h ( ( i t e m ,   i n d e x )   = >   {                 i f   ( i t e m . i n d e x O f ( ' . j s o n ' )   ! =   - 1 )   {                         v a r   f u l l P a t h   =   p a t h . j o i n ( d i r ,   i t e m ) ;                         c o n s t   s t a t   =   f s . s t a t S y n c ( f u l l P a t h ) ;                         i f   ( s t a t . i s D i r e c t o r y ( ) )   {                                 r e a d F i l e L i s t ( p a t h . j o i n ( d i r ,   i t e m ) ,   f i l e s L i s t ) ;     / / 递 归 读 取 文 件                         }   e l s e   {                                 f i l e s L i s t . p u s h ( f u l l P a t h ) ;                         }                 }         } ) ;         r e t u r n   f i l e s L i s t . r e v e r s e ( ) ; } l e t   j s o n _ f i l e   =   ' / U s e r s / g o 0 p / T o o l s / X r a y / G o b y ' ; v a r   f i l e s L i s t   =   [ ] ; v a r   i n f o   =   [ ] r e a d F i l e L i s t ( j s o n _ f i l e ,   f i l e s L i s t ) ; c o n s o l e . l o g ( f i l e s L i s t ) ; f i l e s L i s t . f o r E a c h ( f u n c t i o n   ( v )   {         v a r   d a t a   =   f s . r e a d F i l e S y n c ( v ,   ' u t f - 8 ' )         i f   ( d a t a . c h a r A t ( d a t a . l e n g t h   -   1 )   = =   ' ] ' )   {                 j s o n d a t a   =   J S O N . p a r s e ( d a t a ) ;         }   e l s e   {                 j s o n d a t a   =   J S O N . p a r s e ( d a t a   +   ' ] ' ) ;         }         j s o n d a t a . f o r E a c h ( ( v ,   k )   = >   {                 i n f o . p u s h ( v )         } ) ; } ) ; c o n s o l e . l o g ( i n f o ) ; v a r   i n f o B a s e 6 4   =   n e w   B u f f e r . f r o m ( J S O N . s t r i n g i f y ( i n f o ) ) . t o S t r i n g ( ' b a s e 6 4 ' ) ; c o n s o l e . l o g ( i n f o B a s e 6 4 ) ; . / s r c ├ ─ ─   a s s e t s ├ ─ ─   e x t e n s i o n . j s ├ ─ ─   x R e p o r t . h t m l └ ─ ─   t e s t . j s
1 . 7 . 1 9 9 开 发 版 下 载   h t t p s : / / g o b i e s . o r g / d o c s . h t m l # G e t s t a r t e d   0 3 完 结 ， 撒 花 完 结 ， 撒 花 在 社 区 表 哥 们 建 议 下 ， 后 面 我 有 迭 代 过 两 次 ， 修 复 了 w i n s 下 报 告 问 题 并 加 入 r a d 浏 览 器 爬 虫 。 高 级 版 的 高 级 版 的 X r a y 对 对 r a d 进 行 了 深 度 融 合 ， 使 用 进 行 了 深 度 融 合 ， 使 用 - - b r o w s e r - c r a w l e r 配 合 插 件 只 用 开 一 个 配 合 插 件 只 用 开 一 个 t e r m i n a l / c m d   窗 口 真 的 太 香 了 。 窗 口 真 的 太 香 了 。 社 区 版 X r a y 联 动 r a d 需 要 设 置 X r a y 路 径 、 r a d 路 径 、 r a d 执 行 参 数 及 X r a y 被 动 代 理 服 务 器 ， 具 体 操 作 可 到 扩 展 程 序 D e t a i l s 查 看 。 写 文 章 要 比 开 发 插 件 难 多 了 ， 开 发 过 程 中 可 以 多 看 看 G o b y 官 方 的 开 发 文 档 ， 发 现 可 复 用 的 代 码 可 以 C o p y 借 鉴 一 下 ， 调 试 过 程 中 可 以 多 使 用 开 发 者 工 具 下 断 点 调 试 ， 或 者 直 接 把 信 息 打 印 出 来 。 领 领 福 福 利 利 啦 啦 G o b y   &   X r a y   联 合 送 福 利 联 合 送 福 利 1 .   福 利 内 容 福 利 内 容 ： X r a y 纪 念 版 短 T   x 5 G o b y 纪 念 版 短 T   x 5 2 .   福 利 福 利 时 间 时 间 ： 0 9 月 2 5 日 - 0 9 月 2 8 日 3 .   活 动 规 则 活 动 规 则 ： ①   点 击 下 方 活 动 链 接 参 与 抽 奖 ； ②   转 发 本 文 到 朋 友 圈 ； ③   转 发 成 功 后 截 图 发 送 至 G o b y 公 众 号 后 台 。 审 核 满 足 条 件 后 即 可 获 得 抽 奖 资 格 。 未 满 足 ② ③ 条 件 但 被 抽 中 ， 则 获 奖 资 格 会 被 取 消 哦 ~ 1   d i r e c t o r y ,   3   f i l e s $   n o d e   t e s t . j s   / / 进 行 测 试 ， 查 看 打 印 信 息
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理