搜索

[12236] 2018-01-14_Python工具分析风险数据

文档创建者：s7ckTeam
浏览次数：5
最后更新：2025-01-18
2018-01-14_Python工具分析风险数据 P y t h o n 工 具 分 析 风 险 数 据 岂 安 科 技   F r e e B u f   2 0 1 8 - 0 1 - 1 4 小 安 前 言 小 安 前 言 随 着 网 络 安 全 信 息 数 据 大 规 模 的 增 长 ， 应 用 数 据 分 析 技 术 进 行 网 络 安 全 分 析 成 为 业 界 研 究 热 点 ， 小 安 在 这 次 小 随 着 网 络 安 全 信 息 数 据 大 规 模 的 增 长 ， 应 用 数 据 分 析 技 术 进 行 网 络 安 全 分 析 成 为 业 界 研 究 热 点 ， 小 安 在 这 次 小 讲 堂 中 带 大 家 用 讲 堂 中 带 大 家 用 P y t h o n 工 具 对 风 险 数 据 作 简 单 分 析 ， 主 要 是 分 析 蜜 罐 日 志 数 据 ， 来 看 看 一 般 大 家 都 使 用 代 理 工 具 对 风 险 数 据 作 简 单 分 析 ， 主 要 是 分 析 蜜 罐 日 志 数 据 ， 来 看 看 一 般 大 家 都 使 用 代 理 i p 干 了 一 些 啥 事 。 干 了 一 些 啥 事 。 大 家 可 能 会 问 小 安 啥 是 蜜 罐 ， 网 上 一 些 黑 客 或 技 术 人 员 经 常 做 一 些 ＂ 事 情 ＂ 的 时 候 ， 需 要 隐 藏 自 己 身 份 ， 这 样 他 们 会 使 用 代 理 I P 来 办 事 。 而 蜜 罐 ( H o n e y p o t ) 是 一 种 新 型 的 主 动 防 御 的 安 全 技 术 ， 它 是 一 个 专 门 为 了 被 攻 击 或 入 侵 而 设 置 的 欺 骗 系 统 — — 既 可 以 用 于 保 护 产 品 系 统 ， 又 可 用 于 搜 集 黑 客 信 息 ， 是 一 种 配 置 灵 活 、 形 式 多 样 的 网 络 安 全 技 术 。 说 得 通 俗 一 点 就 是 提 供 大 量 代 理 I P ， 引 诱 一 些 不 法 分 子 来 使 用 代 理 这 些 代 理 i p ， 从 而 搜 集 他 们 的 信 息 。 数 据 分 析 工 具 介 绍 数 据 分 析 工 具 介 绍 工 欲 善 其 事 ， 必 先 利 其 器 ， 在 此 小 安 向 大 家 介 绍 一 些 P y t h o n 数 据 分 析 的 “ 神 兵 利 器 “ 。 P y t h o n 中 著 名 的 数 据 分 析 库 中 著 名 的 数 据 分 析 库 P a n d a P a n d a s 库 是 基 于 N u m P y   的 一 种 工 具 ， 该 工 具 是 为 了 解 决 数 据 分 析 任 务 而 创 建 ， 也 是 围 绕 着   S e r i e s   和   D a t a F r a m e   两 个 核 心 数 据 结 构 展 开 的 ， 其 中 S e r i e s   和   D a t a F r a m e   分 别 对 应 于 一 维 的 序 列 和 二 维 的 表 结 构 。 P a n d a s 提 供 了 大 量 能 使 我 们 快 速 便 捷 地 处 理 数 据 的 函 数 和 方 法 。 这 个 库 优 点 很 多 ， 简 单 易 用 ， 接 口 抽 象 得 非 常 好 ， 而 且 文 档 支 持 实 在 感 人 。 你 很 快 就 会 发 现 ， 它 是 使 P y t h o n 成 为 强 大 而 高 效 的 数 据 分 析 环 境 的 重 要 因 素 之 一 。 数 据 可 视 化 采 用 数 据 可 视 化 采 用 P y t h o n 上 最 常 用 的 上 最 常 用 的 M a t p l o t l i b 库 库
M a t p l o t l i b 是 一 个 P y t h o n 的 图 形 框 架 ， 也 是 P y t h o n 最 著 名 的 绘 图 库 ， 它 提 供 了 一 整 套 和 M a t l a b 相 似 的 命 令 A P I ， 十 分 适 合 交 互 式 地 进 行 制 图 。 我 们 有 了 这 些 “ 神 兵 利 器 “ 在 手 ， 下 面 小 安 将 带 大 家 用 P y t h o n 这 些 工 具 对 蜜 罐 代 理 数 据 作 一 个 走 马 观 花 式 的 分 析 介 绍 。 1   引 入 工 具 引 入 工 具 – 加 载 数 据 分 析 包 加 载 数 据 分 析 包 启 动 I P y t h o n   n o t e b o o k ， 加 载 运 行 环 境 ： 2   数 据 准 备 数 据 准 备 俗 话 说 :   巧 妇 难 为 无 米 之 炊 。 小 安 分 析 的 数 据 主 要 是 用 户 使 用 代 理 I P 访 问 日 志 记 录 信 息 ， 要 分 析 的 原 始 数 据 以 C S V 的 形 式 存 储 。 这 里 首 先 要 介 绍 到 p a n d a s . r e a d _ c s v 这 个 常 用 的 方 法 ， 它 将 数 据 读 入 D a t a F r a m e 。 对 的 ,   一 行 代 码 就 可 以 将 全 部 数 据 读 到 一 个 二 维 的 表 结 构 D a t a F r a m e 变 量 ， 感 觉 很 简 单 有 木 有 啊 ！ ！ ！ 当 然 了 用 P a n d a s 提 供 的 I O 工 具 你 也 可 以 将 大 文 件 分 块 读 取 ， 再 此 小 安 测 试 了 一 下 性 能 ， 完 整 加 载 约 2 1 5 3 0 0 0 0 万 条 数 据 也 大 概 只 需 要 9 0 秒 左 右 ， 性 能 还 是 相 当 不 错 。 3   数 据 管 窥 数 据 管 窥 一 般 来 讲 ， 分 析 数 据 之 前 我 们 首 先 要 对 数 据 有 一 个 大 体 上 的 了 解 ， 比 如 数 据 总 量 有 多 少 ， 数 据 有 哪 些 变 量 ， 数 据 变 量 的 分 布 情 况 ， 数 据 重 复 情 况 ， 数 据 缺 失 情 况 ， 数 据 中 异 常 值 初 步 观 测 等 等 。 下 面 小 安 带 小 伙 伴 们 一 起 来 管 窥 管 窥 这 些 数 据 。 使 用 s h a p e 方 法 查 看 数 据 行 数 及 列 数 O u t :   ( 2 1 5 2 4 5 3 0 ,   2 2 )   # 这 是 有 2 2 个 维 度 ， 共 计 2 1 5 2 4 5 3 0 条 数 据 记 的 D a t a F r a m e 使 用 h e a d ( ) 方 法 默 认 查 看 前 5 行 数 据 ， 另 外 还 有 t a i l ( ) 方 法 是 默 认 查 看 后 5 行 , 当 然 可 以 输 入 参 数 来 查 看 自 定 义 行 数 这 里 可 以 了 解 到 我 们 数 据 记 录 有 用 户 使 用 代 理 I P 日 期 ， 代 理 h e a d e r 信 息 ， 代 理 访 问 域 名 ， 代 理 方 法 ， 源 i p 以 及 蜜 罐 节 点 信 息 等 等 。 在 此 小 安 一 定 一 定 要 告 诉 你 ， 小 安 每 次 做 数 据 分 析 时 必 定 使 用 的 方 法 – d e s c r i b e 方 法 。 p a n d a s 的 d e s c r i b e ( ) 函 数 能 对 数 据 进 行 快 速 统 计 汇 总 ： 对 于 数 值 类 型 数 据 ， 它 会 计 算 出 每 个 变 量 ： 对 于 数 值 类 型 数 据 ， 它 会 计 算 出 每 个 变 量 ：
总 个 数 ， 平 均 值 ， 最 大 值 ， 最 小 值 ， 标 准 差 ， 5 0 % 分 位 数 等 等 ； 非 数 值 类 型 数 据 ， 该 方 法 会 给 出 变 量 的 ： 非 数 值 类 型 数 据 ， 该 方 法 会 给 出 变 量 的 ： 非 空 值 数 量 、 u n i q u e 数 量 ( 等 同 于 数 据 库 中 d i s t i n c t 方 法 ) 、 最 大 频 数 变 量 和 最 大 频 数 。 由 h e a d ( ) 方 法 我 们 可 以 发 现 数 据 中 包 含 了 数 值 变 量 、 非 数 值 变 量 ， 我 们 首 先 可 以 利 用 d t y p e s 方 法 查 看 D a t a F r a m e 中 各 列 的 数 据 类 型 ， 用 s e l e c t _ d t y p e s 方 法 将 数 据 按 数 据 类 型 进 行 分 类 。 然 后 ， 利 用 d e s c r i b e 方 法 返 回 的 统 计 值 对 数 据 有 个 初 步 的 了 解 ： 简 单 的 观 察 上 面 变 量 每 一 维 度 统 计 结 果 ， 我 们 可 以 了 解 到 大 家 获 取 代 理 数 据 的 长 度 平 均 1 6 7 0 个 字 节 左 右 。 同 时 ， 也 能 发 现 字 段 s c a n _ o s _ s u b _ f p ， s c a n _ s c a n _ m o d e 等 存 在 空 值 等 等 信 息 。 这 样 我 们 能 对 数 据 整 体 上 有 了 一 个 大 概 了 解 。 4   数 据 清 洗 数 据 清 洗 由 于 源 数 据 通 常 包 含 一 些 空 值 甚 至 空 列 ， 会 影 响 数 据 分 析 的 时 间 和 效 率 ， 在 预 览 了 数 据 摘 要 后 ， 需 要 对 这 些 无 效 数 据 进 行 处 理 。 一 般 来 说 ， 移 除 一 些 空 值 数 据 可 以 使 用 d r o p n a 方 法 ，   当 你 使 用 该 方 法 后 ， 检 查 时 发 现   d r o p n a ( )   之 后 几 乎 移 除 了 所 有 行 的 数 据 ， 一 查 P a n d a s 用 户 手 册 ， 原 来 不 加 参 数 的 情 况 下 ，   d r o p n a ( )   会 移 除 所 有 包 含 空 值 的 行 。 如 果 你 只 想 移 除 全 部 为 空 值 的 列 ， 需 要 加 上   a x i s   和   h o w   两 个 参 数 ： 另 外 ， 也 可 以 通 过 d r o p n a 的 参 数 s u b s e t 移 除 指 定 列 为 空 的 数 据 ， 和 设 置 t h r e s h 值 取 移 除 每 非 N o n e 数 据 个 数 小 于 t h r e s h 的 行 。 移 除 p r o x y _ h o s t 字 段 或 s r c i p 字 段 没 有 值 的 行 移 除 所 有 行 字 段 中 有 值 属 性 小 于 1 0 的 行
5   统 计 分 析 统 计 分 析 再 对 数 据 中 的 一 些 信 息 有 了 初 步 了 解 过 后 ， 原 始 数 据 有 2 2 个 变 量 。 从 分 析 目 的 出 发 ， 我 将 从 原 始 数 据 中 挑 选 出 局 部 变 量 进 行 分 析 。 这 里 就 要 给 大 家 介 绍 p a n d a s 的 数 据 切 片 方 法 l o c 。 l o c ( [ s t a r t _ r o w _ i n d e x : e n d _ r o w _ i n d e x , [ ‘ t i m e s t a m p e ’ ,   ‘ p r o x y _ h o s t ’ ,   ‘ s r c i p ’ ] ] ) 是 p a n d a s 重 要 的 切 片 方 法 ， 逗 号 前 面 是 对 行 进 行 切 片 ； 逗 号 后 的 为 列 切 片 ， 也 就 是 挑 选 要 分 析 的 变 量 。 如 下 ， 我 这 里 选 出 日 期 ， h o s t 和 源 I P 字 段 — — 首 先 让 我 们 来 看 看 蜜 罐 代 理 每 日 使 用 数 据 量 ， 我 们 将 数 据 按 日 统 计 ， 了 解 每 日 数 据 量 P V ， 并 将 结 果 画 出 趋 势 图 。 对 数 据 列 的 丢 弃 ， 除 无 效 值 和 需 求 规 定 之 外 ， 一 些 表 自 身 的 冗 余 列 也 需 要 在 这 个 环 节 清 理 ， 比 如 说 D a t a F r a m e 中 的 i n d e x 号 、 类 型 描 述 等 ， 通 过 对 这 些 数 据 的 丢 弃 ， 从 而 生 成 新 的 数 据 ， 能 使 数 据 容 量 得 到 有 效 的 缩 减 ， 进 而 提 高 计 算 效 率 。 由 上 图 分 析 可 知 蜜 罐 代 理 使 用 量 在 6 月 5 号 ， 1 9 - 2 2 号 和 2 5 号 这 几 天 呈 爆 炸 式 增 长 。 那 么 这 几 天 数 据 有 情 况 ， 不 正 常 ， 具 体 是 神 马 情 况 ， 不 急 ， 后 面 小 安 带 大 家 一 起 来 慢 慢 揪 出 来 到 底 是 那 些 人 ( 源 i p )   干 了 什 么 “ 坏 事 ” 。 进 一 步 分 析 ,   数 据 有 异 常 后 ， 再 让 我 们 来 看 看 每 天 去 重 I P 数 据 后 量 及 其 增 长 量 。 可 以 按 天 g r o u p b y 后 通 过 n u n i q u e ( ) 方 法 直 接 算 出 来 每 日 去 重 I P 数 据 量 。
究 竟 大 部 分 人 （ 源 i p ） 在 干 神 马 ？ 干 神 马 ？ 干 神 马 ？ 让 我 们 来 看 看 被 访 问 次 数 最 多 h o s t 的 哪 些 ， 即 同 一 个 h o s t 关 联 的 I P 个 数 ， 为 了 方 便 我 们 只 查 看 前 1 0 名 热 门 h o s t 。 先 选 出 h o s t 和 i p 字 段 ， 能 过 g r o u p b y 方 法 来 g r o u p   每 个 域 名 ( h o s t ) ， 再 对 每 个 域 名 的 i p 访 问 里 u n i q u e 统 计 。 再 细 细 去 看 大 家 到 底 做 了 啥 — — 查 看 日 志 数 据 发 现 原 来 在 收 集 像 二 手 车 价 格 ， 工 人 招 聘 等 等 信 息 。 从 热 门 h o s t 来 看 ， 总 得 来 说 大 家 使 用 代 理 主 要 还 是 获 取 百 度 ， q q ， G o o g l e ， B i n g 这 类 妇 孺 皆 知 网 站 的 信 息 。 下 面 再 让 我 们 来 看 看 是 谁 用 代 理 I P “ 干 事 ” 最 多 ， 也 就 是 看 看 谁 的 I P 访 问 不 同 h o s t 的 个 数 最 多 。
哦 ， 发 现 目 标 I P 为 1 2 3 . . * . 1 5 5 的 小 伙 子 有 大 量 访 问 记 录 ,   进 而 查 看 日 志 ， 原 来 他 在 大 量 收 集 酒 店 信 息 。   好 了 ， 这 样 我 们 就 大 概 能 知 道 谁 在 干 什 么 了 ， 再 让 我 们 来 看 看 他 们 使 用 p r o x y 持 续 时 长 ， 谁 在 长 时 间 里 使 用 p r o x y 。   代 码 如 下 — — 这 里 不 给 大 家 细 说 代 码 了 ， 只 给 出 如 下 伪 代 码 。 好 了 ， 到 此 我 也 就 初 略 的 知 道 那 些 人 做 什 么 ， 谁 用 代 理 时 长 最 长 等 等 问 题 额 。 取 出 i p   =   8 0 . . . 3 8 的 用 户 使 用 代 理 i p 访 问 数 据 日 志 ， 发 现 原 来 这 个 小 伙 子 在 长 时 间 获 取 搜 狐 i m a g e s 。 蜜 罐 在 全 国 各 地 部 署 多 个 节 点 ， 再 让 我 们 来 看 看 每 个 源 i p 扫 描 蜜 罐 节 点 总 个 数 ， 了 解 I P 扫 描 节 点 覆 盖 率 。 结 果 见 如 下 ： 每 个 I P 扫 描 的 I P 扫 描 节 点 总 个 数
由 上 述 两 表 初 步 可 知 ， 一 些 结 论 ： 如 源 i p 为 1 8 2 . . . 2 0 5 的 用 户 长 时 间 对 蜜 罐 节 点 进 行 扫 描 ， m a r k 危 险 用 户 等 等 。 * 本 文 作 者 ： 岂 安 科 技 ， 转 载 请 注 明 来 自 F r e e B u f . C O M 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理