搜索

[13991] 2019-04-15_数据分析与可视化：谁是安全圈的吃鸡第一人

文档创建者：s7ckTeam
浏览次数：7
最后更新：2025-01-18
2019-04-15_数据分析与可视化：谁是安全圈的吃鸡第一人 数 据 分 析 与 可 视 化 ： 谁 是 安 全 圈 的 吃 鸡 第 一 人 原 创   O m e g o g o g o   F r e e B u f   2 0 1 9 - 0 4 - 1 5 0 x 0 0   前 言 前 言   放 假 和 小 伙 伴 们 打 了 几 把 放 假 和 小 伙 伴 们 打 了 几 把 P U B G ， 大 半 年 没 碰 ， 居 然 也 意 外 地 躺 着 吃 了 次 鸡 。 吃 鸡 这 个 游 戏 果 然 得 ， 大 半 年 没 碰 ， 居 然 也 意 外 地 躺 着 吃 了 次 鸡 。 吃 鸡 这 个 游 戏 果 然 得 4 个 认 识 的 人 个 认 识 的 人 打 打 ( d a i ) 战 战 ( d a i ) 术 术 ( w o ) 才 更 有 趣 。 才 更 有 趣 。 由 于 身 边 搞 安 全 的 人 比 较 多 ， 之 前 也 会 和 一 些 安 全 圈 的 大 佬 一 起 玩 ， 经 常 会 有 些 认 识 或 不 认 识 的 黑 阔 大 佬 开 着 由 于 身 边 搞 安 全 的 人 比 较 多 ， 之 前 也 会 和 一 些 安 全 圈 的 大 佬 一 起 玩 ， 经 常 会 有 些 认 识 或 不 认 识 的 黑 阔 大 佬 开 着 高 科 技 带 着 躺 鸡 。 当 然 笔 者 也 曾 羞 耻 地 开 过 挂 带 妹 （ 纪 念 号 被 封 的 第 高 科 技 带 着 躺 鸡 。 当 然 笔 者 也 曾 羞 耻 地 开 过 挂 带 妹 （ 纪 念 号 被 封 的 第 1 9 3 天 ） 。 天 ） 。 那 么 这 些 黑 阔 大 佬 们 ， 在 不 开 挂 的 情 况 下 ， 谁 会 是 他 们 之 中 技 术 最 好 的 呢 ？ 带 着 这 样 的 疑 问 ， 试 着 从 数 据 分 析 那 么 这 些 黑 阔 大 佬 们 ， 在 不 开 挂 的 情 况 下 ， 谁 会 是 他 们 之 中 技 术 最 好 的 呢 ？ 带 着 这 样 的 疑 问 ， 试 着 从 数 据 分 析 的 角 度 来 看 看 谁 会 是 安 全 圈 的 吃 鸡 第 一 人 。 的 角 度 来 看 看 谁 会 是 安 全 圈 的 吃 鸡 第 一 人 。 注 ： 全 文 所 指 的 “ 安 全 圈 ” 是 一 个 非 常 狭 义 的 概 念 ， 在 本 文 中 仅 覆 盖 到 小 部 分 安 全 从 业 者 玩 家 ， 所 以 标 题 有 些 夸 大 。 如 有 其 他 错 误 也 欢 迎 指 出 。   0 x 0 1   数 据 收 集 数 据 收 集 怎 么 才 能 知 道 哪 些 安 全 从 业 者 在 玩 这 个 游 戏 ， 他 们 的 I D 又 是 什 么 呢 ？ 在 一 些 A P P 里 可 以 查 到 玩 家 的 战 绩 ， 其 中 比 较 有 价 值 的 是 ， 还 能 看 到 每 位 玩 家 的 好 友 列 表 。 那 么 可 以 有 这 么 个 思 路 ， 也 就 是 一 个 广 度 优 先 遍 历 ： 1 . 确 定 一 个 初 始 的 I D 链 表 ， 并 保 证 初 始 链 表 内 都 是 安 全 圈 内 人 士 。 2 . 遍 历 初 始 链 表 内 每 一 位 玩 家 的 所 有 好 友 。 3 . 当 链 表 内 H 的 好 友 J ， 同 时 也 是 链 表 内 另 外 两 位 黑 客 的 共 同 好 友 ， 那 么 认 为 J 也 是 安 全 圈 内 人 士 ， 加 入 到 链 表 尾 处 。 4 . 向 后 迭 代 重 复 2 、 3 。 动 手 实 现 动 手 实 现 发 现 走 的 是 h t t p s ， 挂 上 证 书 以 M I T M 的 方 式 来 监 听 h t t p s 流 量 ：
可 以 发 现 数 据 是 以 j s o n 格 式 传 递 的 ， 写 个 p y t h o n 脚 本 来 自 动 完 成 获 取 数 据 ， 单 线 程 + 限 速 （ 一 方 面 不 至 于 给 别 人 家 的 a p i 爬 挂 了 另 一 方 面 也 不 至 于 触 发 I D S 、 a n t i - C C 等 机 制 ） 。 脚 本 主 要 代 码 是 ： 笔 者 先 确 定 一 份 初 始 安 全 圈 列 表 ， 包 括 “ R i c k y h a o ” 、 “ R i c t e r Z ” 、 “ r 3 d r 4 1 n ” 、 “ P w n D o g ” 等 。 这 些 人 或 是 在 b a t 、 3 6 0 等 d e f   r _ g e t ( n i c k n a m e , o f f s e t ) : # 发 送 给 a p i 的 r e q u e s t . . .         r e t u r n   j s o n # 返 回 一 个 j s o n 格 式 d e f   g e t _ f r i e n d s ( n i c k n a m e ) :         o f f s e t     =   0         r e s _ j s   =   r _ g e t ( n i c k n a m e , s t r ( o f f s e t ) )         t e m p _ f r i e n d s   =   r e s _ j s [ ' r e s u l t ' ] [ ' b o a r d ' ]         i f   r e s _ j s [ ' s t a t u s ' ]   = =   " o k " :                 w h i l e   l e n ( r e s _ j s [ ' r e s u l t ' ] [ ' b o a r d ' ] )   = =   3 0 :                         o f f s e t   =   o f f s e t   +   3 0                         r e s _ j s   =   r _ g e t ( n i c k n a m e , s t r ( o f f s e t ) )                         t e m p _ f r i e n d s   =   t e m p _ f r i e n d s   +   r e s _ j s [ ' r e s u l t ' ] [ ' b o a r d ' ]                 p r i n t ( "       { 0 }       的 好 友 人 数         { 1 } " . f o r m a t ( r e s _ j s [ ' r e s u l t ' ] [ ' u s e r _ r a n k ' ] [ ' n i c k n a m e ' ] ,   l e n ( t e m p _ f r i e n d s )   - 1   ) )                 f r i e n d s   =   [ ]                 W x n a m e     =   " "                 W x s e x   =   " "                 W x a v a t a r     =   " "                 s q l   =   " "                 f o r   p l a y e r i n f o   i n   t e m p _ f r i e n d s :                         i f   p l a y e r i n f o [ ' n i c k n a m e ' ]   ! =   r e s _ j s [ ' r e s u l t ' ] [ ' u s e r _ r a n k ' ] [ ' n i c k n a m e ' ] :                                 f r i e n d s . a p p e n d ( p l a y e r i n f o [ ' n i c k n a m e ' ] )                         e l i f   p l a y e r i n f o . h a s _ k e y ( ' h e y b o x _ i n f o ' )   = =   T r u e :                                 W x n a m e   =   p l a y e r i n f o [ ' h e y b o x _ i n f o ' ] [ ' u s e r n a m e ' ]                                 W x s e x   =   p l a y e r i n f o [ ' h e y b o x _ i n f o ' ] [ ' s e x ' ]                                 W x a v a t a r   =   p l a y e r i n f o [ ' h e y b o x _ i n f o ' ] [ ' a v a r t a r ' ]                 f r i e n d s _ s   =   ' , ' . j o i n ( f r i e n d s )                 s q l   =   " I N S E R T   I N T O   p l a y e r   ( n i c k n a m e , a v a t a r , s t e a m I D , f r i e n d s , W x n a m e , W x s e x , W x a v a t a r )                               V A L U E S   ( ' { 0 } ' , ' { 1 } ' , ' { 2 } ' , ' { 3 } ' , ' { 4 } ' , ' { 5 } ' , ' { 6 } ' ) " . f o r m a t ( r e s _ j s [ ' r e s u l t ' ] [ ' u s e r _ r a n k ' ] [ ' n i c k n a m e ' ] , r e s _ j s [ ' r e s u l t ' ] [ ' u s e r _ r a n k ' ] [ ' a v a t a r ' ] ,   r e s _ j s [ ' r e s u l t ' ] [ ' u s e r _ r a n k ' ] [ ' s t e a m _ i d ' ] , f r i e n d s _ s , W x n a m e , W x s e x , W x a v a t a r )                 r e t u r n   f r i e n d s , s q l         e l s e :                 p r i n t ( " 获 取 { 0 } 的 好 友 人 数 失 败 ,   返 回 { 1 } " . f o r m a t ( r e s _ j s [ ' r e s u l t ' ] [ ' u s e r _ r a n k ' ] [ ' n i c k n a m e ' ] , r e s _ j s [ ' m s g ' ] ) )                 r e t u r n   1 d e f   r e c o r d _ r d s ( s q l ) :         # d b 操 作 d e f   m a i n ( ) :       . . .
公 司 从 事 安 全 相 关 工 作 ， 或 是 笔 者 信 安 专 业 的 同 学 ， 或 I D 明 显 带 有 安 全 的 特 征 （ P w n D o g ） ， 总 之 都 是 比 较 确 信 的 安 全 圈 人 士 。 以 这 些 人 为 初 始 列 表 ， 很 快 就 有 几 位 玩 家 被 划 定 为 安 全 圈 人 士 。 在 遍 历 到 大 约 第 5 0 来 位 的 时 候 也 看 到 了 自 己 的 游 戏 昵 称 ： O m e g o 5 5 5 （ 正 是 刚 才 提 到 开 挂 带 妹 被 封 的 账 号 ）         遍 历 到 “ w i l s o n 2 3 3 ” 时 发 现 直 接 跳 过 了 ， 并 没 有 被 纳 入 到 安 全 圈 列 表 中 ， 但 笔 者 读 过 w i l s o n 写 下 的 很 多 优 质 文 章 ， 他 也 是 某 甲 方 公 司 的 安 全 从 业 者 。 （ 该 I D 在 后 来 的 某 次 遍 历 中 也 被 纳 入 了 列 表 中 ， 程 序 表 现 出 一 定 的 健 壮 性 。   ） 在 数 据 量 达 到 1 0 0 0 多 的 时 候 笔 者 手 动 终 止 了 程 序 。 原 因 是 列 表 增 长 的 速 度 越 来 越 快 ， 在 单 线 程 + 限 速 的 限 制 下 程 序 迟 迟 看 不 到 收 敛 的 希 望 。 另 一 方 面 笔 者 只 是 想 做 个 小 测 试 ， 并 不 需 要 太 大 规 模 的 数 据 集 。 观 察 数 据 集 观 察 数 据 集 初 步 观 察 数 据 集 ， 发 现 很 多 有 意 思 的 事 情 ： 比 如 在 遍 历 到 第 3 0 0 多 位 玩 家 的 时 候 ， 发 现 了 一 个 I D 带 得 有 “ p k a v ” 字 样 的 玩 家 " P K A V - x i a o L " （ p k a v 是 原 来 在 乌 云 很 有 名 气 的 安 全 组 织 ， 其 中 一 名 成 员 “ g a i n o v e r ” 正 是 原 乌 云 知 识 库 《 安 全 圈 有 多 大 》 一 文 的 作 者 ， 笔 者 也 是 受 到 这 篇 文 章 的 启 发 才 打 算 做 这 个 小 项 目 ） 。 随 着 P K A V - x i a o L 被 确 定 到 安 全 圈 列 表 中 ， 由 于 社 交 关 系 ， 更 多 的 p k a v 成 员 也 被 添 加 进 列 表 中 。
除 了 p k a v - x x x ， 还 看 到 了 一 些 很 眼 熟 的 I D ： 比 如 【 S p a r k Z h e n g 】 - - - 正 是 多 个 i o s 越 狱 的 作 者 蒸 米 大 大 比 如 【 m a 7 h 1 a s 】 ， 笔 者 大 学 时 的 队 友 ， 现 玄 武 实 验 室 大 佬 ， 多 个 G o o g l e / M S   C V E 获 得 者 ， 超 级 大 黑 客 再 来 看 这 位 ， 从 游 戏 昵 称 看 不 出 是 谁 ， 但 微 信 昵 称 告 诉 我 们 这 个 账 号 的 主 人 应 该 是 安 全 盒 子 的 创 始 人 王 松 。 当 然 还 有 一 些 活 跃 在 安 全 论 坛 ， 或 者 笔 者 有 读 过 的 一 些 高 质 量 技 术 文 章 的 作 者 的 I D ， 眼 熟 的 如 " l i g h t l e s s 2 3 3 " 、 " L o R e x x a r " 、 " s u s u 4 3 " 、 " C u r s e R e d " 等 ， 这 里 不 再 一 一 列 举 。 除 此 之 外 还 有 一 些 玩 家 ， 比 如 这 位 ： 笔 者 既 不 认 识 他 ， 也 从 未 在 安 全 论 坛 见 过 他 的 I D ， 只 是 猜 想 用 “ s u d o ” 作 为 I D 的 人 是 安 全 从 业 者 的 可 能 性 比 较 大 吧 。 那 么 他 真 的 会 是 安 全 圈 人 士 吗 ？ 试 着 搜 索 一 下 ：
找 到 了 他 的 G i t H u b ， 并 在 其 中 发 现 了 很 多 你 懂 的 东 西 ， 很 有 趣 对 吧 ？   0 x 0 2   社 群 发 现 与 社 区 关 系 社 群 发 现 与 社 区 关 系 我 们 发 现 了 很 多 安 全 圈 的 吃 鸡 玩 家 ， 但 是 除 了 这 些 眼 熟 和 有 迹 可 循 的 I D ， 列 表 里 躺 着 的 绝 大 多 数 都 是 笔 者 没 见 过 ， 陌 生 的 I D 。 为 了 弄 清 楚 他 们 之 间 的 社 区 关 系 。 我 们 使 用 一 些 算 法 和 可 视 化 工 具 来 帮 助 进 行 数 据 分 析 。 先 用 环 形 关 系 图 看 看 ： 圆 上 的 每 个 红 点 代 表 一 位 玩 家 ， 无 数 条 灰 边 则 将 各 位 玩 家 串 联 起 来 。 在 这 份 数 据 集 中 一 共 有 1 2 7 0 个 节 点 ， 他 们 互 相 组 成 了 共 计 1 4 2 1 6 次 好
友 关 系 ， 形 成 了 7 1 2 8 条 灰 边 。 称 得 上 是 复 杂 的 社 交 网 络 了 。 我 们 使 用 无 向 图 来 构 建 力 引 导 关 系 ， 虽 然 在 安 全 领 域 的 风 控 、 反 欺 诈 方 向 中 使 用 有 向 图 更 为 广 泛 一 些 ， 但 好 友 关 系 是 双 向 的 ， 因 此 这 里 用 无 向 图 。 代 码 如 下 ： 得 到 ： #   - * -   c o d i n g :   U T F - 8 - * -     f r o m   p y e c h a r t s   i m p o r t   G r a p h i m p o r t   j s o n i m p o r t   s y s i m p o r t   s q l i t e 3 c o n n   =   s q l i t e 3 . c o n n e c t ( ' d b 2 . d b ' ) c   =   c o n n . c u r s o r ( ) p r i n t   " O p e n e d   d a t a b a s e   s u c c e s s f u l l y " ; c u r s o r   =   c . e x e c u t e ( " S E L E C T   n i c k n a m e , f r i e n d s   F R O M   p l a y e r " ) n o d e s   =   [ ] l i n k s   =   [ ] t e m p s   =   [ ] f o r   r o w   i n   c u r s o r :         t e m p s . a p p e n d ( { " n a m e " : r o w [ 0 ] , " f r i e n d s " : r o w [ 1 ] . s p l i t ( " , " ) } )             n o d e s . a p p e n d ( { " n a m e " : r o w [ 0 ] , " s y m b o l S i z e " : 5 } ) f o r   t e m p   i n   t e m p s :         f o r   f r i e n d   i n   t e m p [ " f r i e n d s " ] :                 i f   { " n a m e " : f r i e n d , " s y m b o l S i z e " : 5 }   i n   n o d e s :                         l i n k s . a p p e n d ( { " s o u r c e " : t e m p [ " n a m e " ] , " t a r g e t " : f r i e n d } ) g r a p h   =   G r a p h ( " 力 导 图 " , w i d t h = 1 4 0 0 , h e i g h t = 1 6 0 0 ) g r a p h . a d d (         " " ,         n o d e s ,         l i n k s ,         g r a p h _ l a y o u t   =   " f o r c e " ,         l a b e l _ p o s = " r i g h t " ,         g r a p h _ r e p u l s i o n = 1 0 ,         l i n e _ c u r v e = 0 . 2 , ) g r a p h . r e n d e r ( )
俗 话 说 “ 物 以 类 聚 人 以 群 分 ” ， 在 我 们 的 数 据 集 中 也 同 样 适 用 。 可 以 观 察 到 这 份 社 交 网 络 其 实 是 由 多 个 小 社 区 群 落 组 成 的 ， 比 如 在 最 左 下 角 的 这 个 部 分 ， 这 个 小 社 区 处 于 安 全 圈 的 边 缘 地 带 ， 很 有 可 能 不 是 安 全 从 业 者 ， 我 们 放 大 来 看 ： 这 个 “ 五 边 形 ” 是 一 个 完 全 子 图 。 在 这 个 小 社 区 中 ， 五 个 人 都 互 为 好 友 ， 也 被 称 作 “ 派 系 （ C l i q u e ） ” ， 这 五 个 人 很 有 可 能 经 常 一 起 开 黑 。 同 时 我 们 可 以 看 到 顶 点 这 位 玩 家 ：
如 果 我 们 把 上 面 最 大 的 部 分 看 做 是 安 全 圈 的 话 ， 这 位 叫 F e n g _ B a o 的 玩 家 卡 在 了 安 全 圈 与 这 个 5 人 小 社 区 “ 道 路 咽 喉 ” 的 位 置 ， 这 样 的 节 点 具 有 较 高 的 “ 中 介 中 心 性 （ B e t w e e n n e s s   C e n t r a l i t y ） ” ， 往 往 具 有 不 可 替 代 的 作 用 。 在 现 实 中 类 似 房 屋 中 介 一 样 ， 买 房 者 与 卖 房 者 之 间 的 联 系 都 得 靠 他 。 除 了 中 介 中 心 性 ， 在 图 论 中 节 点 还 有 另 外 两 个 重 要 性 质 ： 度 中 心 性 ( D e g r e e   C e n t r a l i t y ) 以 及 紧 密 中 心 性 ( C l o s e n e s s   C e n t r a l i t y ) 。 一 个 节 点 与 之 相 连 的 边 越 多 ， 这 个 节 点 的 度 中 心 性 就 越 高 ， 也 就 是 好 友 越 多 ， 度 中 心 性 越 高 ， 很 可 能 是 具 有 较 高 名 望 的 人 ， 比 如 微 博 的 大 V ， 意 见 领 袖 等 。 紧 密 中 心 性 则 是 衡 量 一 个 节 点 到 其 他 所 有 节 点 的 最 短 距 离 之 和 的 指 标 ， 一 个 节 点 的 紧 密 中 心 性 越 高 那 么 他 传 播 信 息 的 时 候 也 就 越 不 需 要 依 赖 其 他 人 。 分 别 计 算 一 下 数 据 集 中 三 个 中 心 性 排 名 靠 前 的 玩 家 。 有 没 有 看 到 眼 熟 的 I D 呢 ：
确 实 看 到 一 些 眼 熟 的 I D ， 但 由 于 我 们 前 面 寻 找 安 全 圈 的 算 法 并 不 准 确 ， 在 收 集 数 据 的 过 程 中 很 可 能 误 入 到 某 些 特 定 的 圈 子 中 。 比 如 某 些 安 全 圈 玩 家 同 时 又 是 二 次 元 爱 好 者 ， 那 么 很 可 能 会 把 这 份 数 据 集 带 入 到 “ 二 次 元 圈 ” 。 为 了 尽 量 避 免 这 种 情 况 ， 我 们 使 用 一 些 社 区 发 现 算 法 来 完 成 社 区 的 寻 找 与 分 割 。 社 区 发 现 算 法 用 来 发 现 网 络 中 的 社 区 结 构 ， 多 数 是 聚 类 类 型 的 算 法 。 使 用 社 区 发 现 算 法 可 以 帮 助 我 们 发 现 联 系 相 对 紧 密 的 社 区 ， 从 而 帮 助 我 们 把 安 全 圈 和 其 他 圈 子 的 人 分 割 开 来 。
常 见 的 社 区 发 现 算 法 有 ： G i r v a n - N e w m a n 、 L o u v a i 、 K - C l i q u e 、 L a b e l   p r o p a g a t i o n 等 。 在 P y t h o n 下 可 以 使 用 N e t w o r k X 来 完 成 各 类 社 区 发 现 算 法 的 调 试 ， 但 N e t w o r k X 本 身 只 是 算 法 工 具 ， 并 不 具 备 可 视 化 功 能 ， 而 笔 者 联 调 p l t 画 出 来 的 图 实 在 奇 丑 无 比 。 因 此 这 里 使 用 算 法 单 一 但 可 视 化 功 能 强 悍 的 g e p h i 来 实 现 。 f a s t - u n f o l d i n g 是 基 于 M o d u l a r i t y 的 算 法 ， 也 是 复 杂 网 络 当 中 进 行 社 团 划 分 简 单 高 效 、 应 用 最 广 泛 的 算 法 。 用 f o r c e   a t l a s 图 布 局 ： f a s t - u n f o l d i n g ：
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理