搜索

[15927] 2020-10-04_研究人员如何使用Shhgit搜索GitHub中的敏感数据

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-18
2020-10-04_研究人员如何使用Shhgit搜索GitHub中的敏感数据 研 究 人 员 如 何 使 用 S h h g i t 搜 索 G i t H u b 中 的 敏 感 数 据 A l p h a _ h 4 c k   F r e e B u f   2 0 2 0 - 1 0 - 0 4 S h h g i t S h h g i t 能 够 帮 助 广 大 研 究 人 员 以 近 乎 实 时 的 方 式 寻 找 G i t H u b （ 包 括 G i s t s ） 、 G i t L a b 和 B i t B u c k e t 提 交 代 码 中 的 敏 感 数 据 和 敏 感 文 件 。 实 际 上 ， 在 G i t H u b 中 发 现 敏 感 数 据 并 不 算 什 么 新 鲜 事 了 。 目 前 也 有 很 多 很 好 的 工 具 可 以 帮 助 我 们 去 寻 找 开 源 代 码 库 中 的 敏 感 信 息 。 比 如 说 ， 类 似 g i t r o b 和 t r u g g l e H o g 这 样 的 工 具 ， 可 以 帮 助 我 们 挖 掘 c o m m i t 历 史 记 录 并 寻 找 特 定 代 码 库 的 机 密 令 牌 。 除 此 之 外 ， G i t H u b 本 身 也 可 以 通 过 他 们 的 令 牌 搜 索 项 目 来 寻 找 敏 感 信 息 。 它 们 的 目 标 是 实 时 识 别 提 交 代 码 中 的 秘 密 令 牌 ， 并 通 知 服 务 提 供 商 采 取 行 动 。 所 以 从 理 论 上 讲 ， 如 果 任 何 A W S 密 钥 被 提 交 到 了 G i t H u b ， A m a z o n 就 会 收 到 通 知 并 自 动 撤 销 它 们 。 S h h g i t 的 主 要 目 标 是 唤 起 用 户 的 安 全 意 识 ， 并 能 够 主 动 采 取 行 动 。 虽 然 我 不 知 道 G i t H u b 令 牌 扫 描 项 目 的 内 部 工 作 机 制 ， 但 是 社 区 也 可 以 做 出 很 多 努 力 来 防 止 网 络 犯 罪 分 子 利 用 这 个 信 息 宝 库 。 通 过 对 签 名 的 一 些 调 整 ， S h h g i t 将 能 够 给 我 们 提 供 非 常 优 秀 的 功 能 。 工 具 安 装 工 具 安 装 广 大 用 户 可 以 直 接 使 用 预 编 译 的 代 码 或 使 用 G o 来 进 行 源 码 编 译 。 1 、 在 用 户 设 备 上 安 装 G o 环 境 。 2 、 执 行 下 列 命 令 下 载 并 构 建 S h h g i t ： 3 、 或 者 使 用 下 列 命 令 将 项 目 源 码 克 隆 至 本 地 ， 并 进 行 手 动 构 建 ： 除 此 之 外 ， 广 大 用 户 也 可 以 直 接 在 D o c k e r 环 境 中 使 用 S h h g i t 。 首 先 ， 获 取 c o n f i g . y a m l 文 件 副 本 ， 并 插 入 到 你 G i t H u b 凭 证 中 ， 然 后 执 行 下 列 命 令 ： 工 具 使 用 工 具 使 用 S h h g i t 可 以 通 过 两 种 方 式 工 作 ： 通 过 G i t H u b 、 G i t L a b 和 B i t B u c k e t 公 共 代 码 库 搜 索 ， 或 处 理 本 地 目 录 种 的 文 件 。 默 认 配 置 下 ， S h h g i t 能 够 以 前 者 ， 也 就 是 公 共 模 式 运 行 ， 并 且 需 要 访 问 公 共 G i t H u b   A P I 。 此 时 ， 我 们 将 需 要 一 个 令 牌 和 访 问 权 限 ， 无 论 使 用 哪 一 种 令 牌 ， A P I 的 速 率 限 制 为 每 个 账 户 每 小 时 5 0 0 0 次 请 求 。 提 供 的 账 户 唯 一 令 牌 越 多 ， 处 理 事 件 的 速 度 就 越 快 。 大 家 可 以 按 照 这 篇 【 文 档 】 来 生 成 一 个 灵 台 ， 并 且 不 需 要 任 何 权 限 。 接 下 来 ， 将 其 写 入 c o n f i g . y a m l 文 件 中 的 g i t h u b _ a c c e s s _ t o k e n s 域 。 跟 其 他 工 具 不 同 的 是 ， 我 们 不 需 要 给 S h h g i t 传 递 目 标 ， 我 们 只 需 要 运 行 “ $   s h h g i t ” 就 可 以 获 取 所 有 匹 配 1 2 0 种 自 带 规 则 的 G i t H u b   c o m m i t 并 寻 找 敏 感 数 据 / 文 件 了 。 如 需 以 本 地 模 式 运 行 工 具 的 话 ， 则 需 要 传 递 “ — l o c a l ” 参 数 。 选 项 选 项 g o   g e t   g i t h u b . c o m / e t h 0 i z z l e / s h h g i t g i t   c l o n e   h t t p s : / / g i t h u b . c o m / e t h 0 i z z l e / s h h g i t . g i t G O 1 1 1 M O D U L E = o n   C G O _ E N A B L E D = 0   g o   b u i l d   - v   - i   - o   s h h g i t d o c k e r   r u n   - v   $ ( p w d ) / c o n f i g . y a m l : / c o n f i g . y a m l : r o   e t h 0 i z z l e / s h h g i t - - c l o n e - r e p o s i t o r y - t i m e o u t                 M a x i m u m   t i m e   i t   s h o u l d   t a k e   t o   c l o n e   a   r e p o s i t o r y   i n   s e c o n d s   ( d e f a u l t   1 0 ) - - c o n f i g - p a t h                 S e a r c h e s   f o r   c o n f i g . y a m l   f r o m   g i v e n   d i r e c t o r y .   I f   n o t   s e t ,   t r i e s   t o   f i n d   i f   f r o m   s h h g i t   b i n a r y ' s   a n d   c u r r e n t   d i r e c t o r y - - c s v - p a t h
c o n f i g . y a m l 文 件 由 七 个 元 素 组 成 ， 项 目 以 提 供 了 默 认 配 置 文 件 ： - - c s v - p a t h                 S p e c i f y   a   p a t h   i f   y o u   w a n t   t o   w r i t e   f o u n d   s e c r e t s   t o   a   C S V .   L e a v e   b l a n k   t o   d i s a b l e - - d e b u g                 P r i n t   d e b u g g i n g   i n f o r m a t i o n - - e n t r o p y - t h r e s h o l d                 F i n d s   h i g h   e n t r o p y   s t r i n g s   i n   f i l e s .   H i g h e r   t h r e s h o l d   =   m o r e   s e c r e t   s e c r e t s ,   l o w e r   t h r e s h o l d   =   m o r e   f a l s e   p o s i t i v e s .   S e t   t o   0   t o   d i s a b l e   e n t r o p y   c h e c k s   ( d e f a u l t   5 . 0 ) - - l o c a l                 S p e c i f y   l o c a l   d i r e c t o r y   ( a b s o l u t e   p a t h )   w h i c h   t o   s c a n .   S c a n s   o n l y   g i v e n   d i r e c t o r y   r e c u r s i v e l y .   N o   n e e d   t o   h a v e   G i t h u b   t o k e n s   w i t h   l o c a l   r u n . - - m a x i m u m - f i l e - s i z e                 M a x i m u m   f i l e   s i z e   t o   p r o c e s s   i n   K B   ( d e f a u l t   5 1 2 ) - - m a x i m u m - r e p o s i t o r y - s i z e                 M a x i m u m   r e p o s i t o r y   s i z e   t o   d o w n l o a d   a n d   p r o c e s s   i n   K B )   ( d e f a u l t   5 1 2 0 ) - - m i n i m u m - s t a r s                 O n l y   c l o n e   r e p o s i t o r i e s   w i t h   t h i s   m a n y   s t a r s   o r   h i g h e r .   S e t   t o   0   t o   i g n o r e   s t a r   c o u n t   ( d e f a u l t   0 ) - - p a t h - c h e c k s                 S e t   t o   f a l s e   t o   d i s a b l e   f i l e   n a m e / p a t h   s i g n a t u r e   c h e c k i n g ,   i . e .   j u s t   m a t c h   r e g e x   p a t t e r n s   ( d e f a u l t   t r u e ) - - p r o c e s s - g i s t s                 W a t c h   a n d   p r o c e s s   G i s t s   i n   r e a l   t i m e .   S e t   t o   f a l s e   t o   d i s a b l e   ( d e f a u l t   t r u e ) - - s e a r c h - q u e r y                 S p e c i f y   a   s e a r c h   s t r i n g   t o   i g n o r e   s i g n a t u r e s   a n d   f i l t e r   o n   f i l e s   c o n t a i n i n g   t h i s   s t r i n g   ( r e g e x   c o m p a t i b l e ) - - s i l e n t                 S u p p r e s s   a l l   o u t p u t   e x c e p t   f o r   e r r o r s - - t e m p - d i r e c t o r y                 D i r e c t o r y   t o   s t o r e   r e p o s i t o r i e s / m a t c h e s   ( d e f a u l t   " % t e m p % s h h g i t " ) - - t h r e a d s                 N u m b e r   o f   c o n c u r r e n t   t h r e a d s   t o   u s e   ( d e f a u l t   n u m b e r   o f   l o g i c a l   C P U s ) 配 置 g i t h u b _ a c c e s s _ t o k e n s :   #   p r o v i d e   a t   l e a s t   o n e   t o k e n     -   ' t o k e n   o n e '     -   ' t o k e n   t w o ' w e b h o o k :   ' '   #   U R L   t o   a   P O S T   w e b h o o k . w e b h o o k _ p a y l o a d :   ' '   #   P a y l o a d   t o   P O S T   t o   t h e   w e b h o o k   U R L b l a c k l i s t e d _ e x t e n s i o n s :   [ ]   #   l i s t   o f   e x t e n s i o n s   t o   i g n o r e b l a c k l i s t e d _ p a t h s :   [ ]   #   l i s t   o f   p a t h s   t o   i g n o r e b l a c k l i s t e d _ e n t r o p y _ e x t e n s i o n s :   [ ]   #   a d d i t i o n a l   e x t e n s i o n s   t o   i g n o r e   f o r   e n t r o p y   c h e c k s s i g n a t u r e s :   #   l i s t   o f   s i g n a t u r e s   t o   c h e c k     -   p a r t :   ' '   #   e i t h e r   f i l e n a m e ,   e x t e n s i o n ,   p a t h   o r   c o n t e n t s         m a t c h :   ' '   #   s i m p l e   t e x t   c o m p a r i s o n   ( i f   n o   r e g e x   e l e m e n t )         r e g e x :   ' '   #   r e g e x   p a t t e r n   ( i f   n o   m a t c h   e l e m e n t )         n a m e :   ' '   #   n a m e   o f   t h e   s i g n a t u r e
签 名 签 名 S h h g i t 自 带 了 1 2 0 种 签 名 方 案 ， 我 们 可 以 通 过 编 辑 c o n f i g . y a m l 文 件 来 进 行 签 名 的 添 加 和 删 除 ： 工 具 运 行 截 图 工 具 运 行 截 图 许 可 证 协 议 许 可 证 协 议 本 项 目 的 开 发 与 发 布 遵 循 M I T 开 源 许 可 证 协 议 。 项 目 地 址 项 目 地 址 S h h g i t ： h t t p s : / / g i t h u b . c o m / e t h 0 i z z l e / s h h g i t 精 彩 推 荐 精 彩 推 荐 C h e f   p r i v a t e   k e y ,   P o t e n t i a l   L i n u x   s h a d o w   f i l e ,   P o t e n t i a l   L i n u x   p a s s w d   f i l e ,   D o c k e r   c o n f i g u r a t i o n   f i l e ,   N P M   c o n f i g u r a t i o n   f i l e ,   E n v i r o n m e n t   c o n f i g u r a t i o n   f i l e ,   C o n t a i n s   a   p r i v a t e   k e y ,   A W S   A c c e s s   K e y   I D   V a l u e ,   A W S   A c c e s s   K e y   I D ,   A W S   A c c o u n t   I D ,   A W S   S e c r e t   A c c e s s   K e y ,   A W S   S e s s i o n   T o k e n ,   A r t i f a c t o r y ,   C o d e C l i m a t e ,   F a c e b o o k   a c c e s s   t o k e n ,   G o o g l e   ( G C M )   S e r v i c e   a c c o u n t ,   S t r i p e   A P I   k e y ,   G o o g l e   O A u t h   K e y ,   G o o g l e   C l o u d   A P I   K e y G o o g l e   O A u t h   A c c e s s   T o k e n ,   P i c a t i c   A P I   k e y ,   S q u a r e   A c c e s s   T o k e n ,   S q u a r e   O A u t h   S e c r e t ,   P a y P a l / B r a i n t r e e   A c c e s s   T o k e n ,   A m a z o n   M W S   A u t h   T o k e n ,   T w i l o   A P I   K e y ,   M a i l G u n   A P I   K e y ,   M a i l C h i m p   A P I   K e y ,   S S H   P a s s w o r d ,   O u t l o o k   t e a m ,   S a u c e   T o k e n ,   S l a c k   T o k e n ,   S l a c k   W e b h o o k ,   S o n a r Q u b e   D o c s   A P I   K e y ,   H o c k e y A p p ,   U s e r n a m e   a n d   p a s s w o r d   i n   U R I ,   N u G e t   A P I   K e y ,   P o t e n t i a l   c r y p t o g r a p h i c   p r i v a t e   k e y ,   L o g   f i l e ,   P o t e n t i a l   c r y p t o g r a p h i c   k e y   b u n d l e ,   P o t e n t i a l   c r y p t o g r a p h i c   k e y   b u n d l e P o t e n t i a l   c r y p t o g r a p h i c   k e y   b u n d l e ,   P o t e n t i a l   c r y p t o g r a p h i c   k e y   b u n d l e ,   P i d g i n   O T R   p r i v a t e   k e y ,   O p e n V P N   c l i e n t   c o n f i g u r a t i o n   f i l e ,   A z u r e   s e r v i c e   c o n f i g u r a t i o n   s c h e m a   f i l e ,   R e m o t e   D e s k t o p   c o n n e c t i o n   f i l e ,   M i c r o s o f t   S Q L   d a t a b a s e   f i l e ,   M i c r o s o f t   S Q L   s e r v e r   c o m p a c t   d a t a b a s e   f i l e ,   S Q L i t e   d a t a b a s e   f i l e ,   S Q L i t e 3   d a t a b a s e   f i l e ,   M i c r o s o f t   B i t L o c k e r   r e c o v e r y   k e y   f i l e M i c r o s o f t   B i t L o c k e r   T r u s t e d   P l a t f o r m   M o d u l e   p a s s w o r d   f i l e ,   W i n d o w s   B i t L o c k e r   f u l l   v o l u m e   e n c r y p t e d   d a t a   f i l e ,   J a v a   k e y s t o r e   f i l e ,   P a s s w o r d   S a f e   d a t a b a s e   f i l e ,   R u b y   O n   R a i l s   s e c r e t   t o k e n   c o n f i g u r a t i o n   f i l e ,   C a r r i e r w a v e   c o n f i g u r a t i o n   f i l e ,   P o t e n t i a l   R u b y   O n   R a i l s   d a t a b a s e   c o n f i g u r a t i o n   f i l e ,   O m n i A u t h   c o n f i g u r a t i o n   f i l e ,   D j a n g o   c o n f i g u r a t i o n   f i l e 1 P a s s w o r d   p a s s w o r d   m a n a g e r   d a t a b a s e   f i l e ,   A p p l e   K e y c h a i n   d a t a b a s e   f i l e ,   N e t w o r k   t r a f f i c   c a p t u r e   f i l e ,   G n u C a s h   d a t a b a s e   f i l e ,   J e n k i n s   p u b l i s h   o v e r   S S H   p l u g i n   f i l e ,   P o t e n t i a l   J e n k i n s   c r e d e n t i a l s   f i l e ,   K D E   W a l l e t   M a n a g e r   d a t a b a s e   f i l e ,   P o t e n t i a l   M e d i a W i k i   c o n f i g u r a t i o n   f i l e ,   T u n n e l b l i c k   V P N   c o n f i g u r a t i o n   f i l e ,   S e q u e l   P r o   M y S Q L   d a t a b a s e   m a n a g e r   b o o k m a r k   f i l e ,   L i t t l e   S n i t c h   f i r e w a l l   c o n f i g u r a t i o n   f i l e ,   D a y   O n e   j o u r n a l   f i l e ,   P o t e n t i a l   j r n l   j o u r n a l   f i l e ,   C h e f   K n i f e   c o n f i g u r a t i o n   f i l e ,   c P a n e l   R o b o m o n g o   M o n g o D B   m a n a g e r   c o n f i g u r a t i o n   f i l e ,   F i l e Z i l l a   F T P   c o n f i g u r a t i o n   f i l e ,   F i l e Z i l l a   F T P   r e c e n t   s e r v e r s   f i l e ,   V e n t r i l o   s e r v e r   c o n f i g u r a t i o n   f i l e ,   T e r r a f o r m   v a r i a b l e   c o n f i g   M y S Q L   c l i e n t   c o m m a n d   h i s t o r y   f i l e ,   P o s t g r e S Q L   c l i e n t   c o m m a n d   h i s t o r y   f i l e ,   P o s t g r e S Q L   p a s s w o r d   f i l e ,   R u b y   I R B   c o n s o l e   h i s t o r y   f i l e ,   P i d g i n   c h a t   c l i e n t   a c c o u n t   c o n f i g u r a t i o n   f i l e S h e l l   p r o f i l e   c o n f i g u r a t i o n   f i l e ,   S h e l l   c o m m a n d   a l i a s   c o n f i g u r a t i o n   f i l e ,   P H P   c o n f i g u r a t i o n   f i l e ,   G N O M E   K e y r i n g   d a t a b a s e   f i l e ,   K e e P a s s   p a s s w o r d   m a n a g e r   d a t a b a s e   f i l e ,   S Q L   d u m p  
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理