搜索

[11352] 2017-05-16_使用Kettle模型清洗全国弱口令Top1000

文档创建者：s7ckTeam
浏览次数：7
最后更新：2025-01-18
2017-05-16_使用Kettle模型清洗全国弱口令Top1000 使 用 K e t t l e 模 型 清 洗 全 国 弱 口 令 T o p   1 0 0 0 水 熊 科 技   F r e e B u f   2 0 1 7 - 0 5 - 1 6 前 言 几 天 前 ， 我 在 F r e e T a l k 北 京 站 演 讲 了 《 数 据 清 洗 在 网 络 安 全 中 的 应 用 》 ， 由 于 时 间 关 系 ， 很 多 内 容 并 没 有 讲 到 ， 会 议 结 束 后 很 多 人 也 私 信 问 我 很 多 问 题 。 其 实 在 这 个 信 息 大 爆 炸 的 时 代 ， 数 据 清 洗 可 以 应 用 在 众 多 的 领 域 ， 包 括 但 不 限 于 农 业 ， 军 事 产 业 ， 信 息 安 全 产 业 ， 工 业 ， 旅 游 业 ， 金 融 行 业 ， 房 地 产 业 等 等 。 在 会 议 上 我 展 示 的 两 个 模 型 只 是 非 常 基 础 的 两 个 数 据 处 理 模 型 ， 我 司 还 有 很 多 极 其 复 杂 的 模 型 并 没 有 展 示 。 先 举 一 个 例 子 ， 就 拿 社 工 库 来 说 ， 可 能 很 多 人 的 理 解 就 是 把 互 联 网 泄 露 的 信 息 索 引 进 去 并 且 进 行 搜 索 就 完 了 ， 真 是 天 真 。 社 工 库 的 鼻 祖 应 该 是 D I S 系 统 ， 全 称 为 D i s t r i b u t e d   I n t e r a c t i v e   S i m u l a t i o n   S y s t e m ， 是 美 国 国 防 高 级 研 究 计 划 局 早 期 的 项 目 之 一 ， D I S 系 统 具 有 互 操 作 性 （ I n t e r o p e r a b i l i t y ） 、 可 伸 缩 性 （ S c a l a b i l i t y ） 和 仿 真 的 时 空 一 致 性 （ T i m e - S p a c e   C o h e r e n c e ） 等 三 大 特 性 。 举 个 栗 子 这 里 说 一 个 我 碰 到 的 真 实 例 子 ， 警 方 已 经 确 定 有 两 个 犯 罪 人 员 小 A 和 小 B ， 目 前 只 知 道 小 A 的 真 实 信 息 ， 另 外 一 人 完 全 不 知 道 ， 如 果 强 行 逮 捕 小 A ， 那 么 可 能 会 让 另 外 一 个 犯 罪 分 子 逃 脱 。 这 个 两 个 人 在 网 络 上 没 有 任 何 的 交 流 ， 没 有 相 互 加 过 Q Q ， 微 信 等 ， 甚 至 连 电 话 号 码 也 没 有 留 过 ， 全 部 都 采 用 加 密 软 件 交 流 ， 而 且 也 不 在 一 起 搭 乘 交 通 工 具 。 但 是 最 后 警 方 还 是 通 过 D I S 系 统 成 功 找 到 了 小 B 。 虽 然 他 们 线 上 线 下 都 很 谨 慎 ， 但 是 警 方 发 现 ， 有 有 个 人 的 Q Q 号 经 常 和 小 A 的 Q Q 号 出 现 在 一 个 网 吧 ， 成 功 逮 捕 了 两 名 犯 罪 人 员 。 这 里 D I S 系 统 发 挥 主 要 功 能 就 是 仿 真 的 时 空 一 致 性 ， 而 要 完 成 这 个 功 能 需 要 非 常 稳 定 的 数 据 关 联 。 目 前 中 国 大 量 的 D I S 系 统 主 要 是 采 用 r e d i s 这 种 内 存 数 据 库 来 进 行 检 索 和 数 据 处 理 ， 因 此 需 要 极 高 的 内 存 配 置 ， 并 且 无 法 进 行 多 人 同 时 查 询 。 据 了 解 ， 中 国 某 个 部 门 的 D I S 系 统 需 要 1 2 5 G B 的 内 存 才 能 运 行 。 但 是 ， 如 果 提 前 就 将 数 据 进 行 清 洗 ， 把 具 有 关 联 的 数 据 进
行 输 出 和 入 库 。 那 么 查 询 的 时 候 不 会 再 回 到 内 存 中 做 数 据 清 洗 ， 而 是 直 接 从 数 据 库 中 检 索 ， 这 样 可 以 节 约 大 量 的 系 统 资 源 ， 并 且 可 以 多 人 同 时 查 询 。 字 典 清 洗 模 型 制 作 不 聊 家 常 了 ， 接 下 来 先 进 入 正 题 。 几 年 前 猪 猪 侠 在 W o o y u n 发 布 了 一 个 全 国 弱 口 令 T O P   1 0 0 ， 而 我 打 算 发 一 个 全 国 弱 口 令 T o p   1 0 0 0 。 以 下 为 源 数 据 截 图 ， 里 面 的 数 据 非 常 杂 乱 ， 保 护 M D 5 加 密 密 码 ， 中 文 用 户 名 ， 空 密 码 ， 空 用 户 名 等 。 首 要 任 务 是 先 在 K e t t l e   S p o o n 上 将 源 数 据 进 行 输 入 。 在 S p o o n 是 我 使 用 的 模 块 是 文 本 文 件 输 入 。 我 要 制 作 全 国 弱 口 令 T o p   1 0 0 0 ， 那 么 首 要 任 务 是 对 数 据 中 的 p a s s w o r d 进 行 排 序 。 这 里 使 用 的 模 块 是 排 序 记 录 模 块 。 排 序 的 真 正 作 用 是 为 了 分 组 模 块 能 够 对 数 据 进 行 正 确 ， 使 用 分 组 模 块 前 一 定 要 先 对 数 据 进 行 排 序 。
在 分 组 模 块 中 ， 我 新 建 了 一 个 S u m N u m b e r 字 段 ， 目 的 是 为 了 对 p a s s w o r d 字 段 中 内 容 的 出 现 次 数 进 行 计 算 。 随 后 再 对 S u m n u m b e r 字 段 进 行 排 序 ， 目 的 是 为 了 能 够 直 观 的 了 解 到 密 码 出 现 次 数 的 一 个 排 名 。
因 为 源 数 据 中 出 现 了 M D 5 值 ， 空 值 等 ， 所 以 我 们 还 要 对 数 据 再 进 行 二 次 清 洗 。 这 里 我 采 用 了 J a v a 代 码 模 块 ， 自 己 写 了 一 段 j a v a 将 大 于 1 6 位 数 的 密 码 ， 小 于 3 位 数 的 密 码 和 空 密 码 给 过 滤 了 。 并 且 将 过 滤 后 得 到 的 密 码 赋 值 给 p a s s w o r d n e w 1 字 段 。 因 为 以 上 过 滤 后 的 密 码 将 会 以 N U L L 来 替 换 ， 所 以 又 写 了 一 个 过 滤 规 则 将 N U L L 密 码 给 过 滤 了 。
最 后 再 将 全 部 清 洗 好 的 数 据 用 输 出 模 块 输 出 到 指 定 的 目 录 下 。 以 下 是 整 个 模 型 的 概 览 。 下 面 是 清 洗 好 的 数 据 ， 左 边 是 密 码 ， 右 边 是 密 码 出 现 的 次 数 。
因 为 数 据 采 集 的 时 候 是 互 联 网 上 的 泄 露 数 据 ， 有 些 数 据 无 法 确 定 真 伪 ， 数 据 采 集 的 不 规 范 导 致 了 部 分 结 果 存 在 错 误 ， 比 如 f i l l . c o m 这 个 密 码 不 应 该 排 名 那 么 靠 前 ， 还 有 就 是 f r o m 9 1 是 个 什 么 鬼 。 。 。 。 。 。 。 不 过 勉 强 还 是 能 够 让 大 家 用 用 。 下 面 是 传 送 门 ： 链 接 ： h t t p : / / p a n . b a i d u . c o m / s / 1 c 2 g o 9 l 2   密 码 ： 9 r x w 总 结 除 了 F r e e T a l k 展 示 的 那 个 模 型 以 外 ， 我 们 还 制 作 了 针 对 财 务 ， 天 气 ， 畜 牧 业 ， 种 植 业 等 相 关 的 数 据 模 型 。 如 果 你 从 事 信 息 安 全 行 业 ， 数 据 清 洗 这 个 技 能 将 会 给 你 事 半 功 倍 的 效 果 。 K e t t l e   S p o o n 采 用 图 形 化 窗 口 操 作 ， 非 常 便 捷 ， 其 中 内 置 了 大 量 数 据 清 洗 模 块 。 要 学 习 K e t t l e ， 单 纯 看 文 章 教 程 还 是 非 常 难 懂 ， 建 议 大 家 最 好 实 际 操 作 一 遍 。 如 果 有 哪 里 不 懂 的 欢 迎 在 评 论 区 留 言 。 这 里 只 提 供 了 前 1 0 0 0 的 弱 口 令 集 合 。 如 果 哪 家 单 位 需 要 完 整 的 弱 口 令 数 据 做 风 控 或 者 相 关 研 究 的 ， 可 以 私 信 我 司 （ 非 个 人 外 ， 我 司 免 费 无 条 件 分 享 这 批 格 式 化 数 据 ） *   本 文 作 者 ： 耿 浩 然 @ 水 熊 科 技 （ 企 业 帐 号 ） ， 转 载 请 注 明 来 自 F r e e B u f . C O M 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理