搜索

[14931] 2020-01-02_机器学习之KNN检测恶意流量

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-18
2020-01-02_机器学习之KNN检测恶意流量 机 器 学 习 之 K N N 检 测 恶 意 流 量 原 创   邹 先 生 0 0 7   F r e e B u f   2 0 2 0 - 0 1 - 0 2 背 景 背 景 任 何 智 能 活 动 的 都 可 以 称 为 人 工 智 能 ， 而 机 器 学 习 （ 任 何 智 能 活 动 的 都 可 以 称 为 人 工 智 能 ， 而 机 器 学 习 （ M a c h i n e   L e a r n i n g ） 属 于 人 工 智 能 的 一 个 分 支 ， 深 度 学 习 （ ） 属 于 人 工 智 能 的 一 个 分 支 ， 深 度 学 习 （ D e e p   L e a r n i n g ） 则 是 机 器 学 习 的 分 支 。 近 年 来 ， 随 着 基 础 设 施 的 完 ） 则 是 机 器 学 习 的 分 支 。 近 年 来 ， 随 着 基 础 设 施 的 完 善 ， 海 量 大 数 据 的 积 累 ， 机 器 学 习 方 法 理 论 越 来 越 成 熟 ， 算 力 的 大 幅 度 提 升 ， 互 联 网 企 业 也 越 来 越 愿 意 增 大 在 善 ， 海 量 大 数 据 的 积 累 ， 机 器 学 习 方 法 理 论 越 来 越 成 熟 ， 算 力 的 大 幅 度 提 升 ， 互 联 网 企 业 也 越 来 越 愿 意 增 大 在 A I 领 域 的 投 入 ， 领 域 的 投 入 ， A I 的 优 势 在 于 处 理 海 量 数 据 提 取 捕 获 其 中 有 用 信 息 上 发 的 优 势 在 于 处 理 海 量 数 据 提 取 捕 获 其 中 有 用 信 息 上 发 挥 着 非 常 重 要 的 作 用 ， 如 挥 着 非 常 重 要 的 作 用 ， 如 O C R 领 域 图 片 鉴 黄 、 自 然 语 言 处 理 方 面 的 恶 意 言 论 捕 获 、 风 控 领 域 画 像 、 推 荐 系 统 等 。 领 域 图 片 鉴 黄 、 自 然 语 言 处 理 方 面 的 恶 意 言 论 捕 获 、 风 控 领 域 画 像 、 推 荐 系 统 等 。 概 念 概 念 算 法 分 类 算 法 分 类 解 决 什 么 问 题 解 决 什 么 问 题 分 类 算 法 是 什 么 回 归 算 法 是 多 少 聚 类 算 法 怎 么 分 数 据 降 维 怎 么 压 强 化 学 习 怎 么 做 目 的 目 的 通 过 机 器 学 习 的 方 式 识 别 恶 意 流 量 特 征 工 程 特 征 工 程 使 用 s k l e a r n 的 T F I D F 、 2 n g r a m 进 行 分 词 什 么 是 什 么 是 T F - I D F T F - I D F 是 一 种 统 计 方 法 ， 用 以 评 估 一 字 词 对 于 一 个 文 件 集 或 一 个 语 料 库 中 的 其 中 一 份 文 件 的 重 要 程 度 。 字 词 的 重 要 性 随 着 它 在 文 件 中 出 现 的 次 数 成 正 比 增 加 ， 但 同 时 会 随 着 它 在 语 料 库 中 出 现 的 频 率 成 反 比 下 降 。 如 果 某 个 单 词 在 一 篇 文 章 中 出 现 的 频 率 T F 高 ， 并 且 在 其 他 文 章 中 很 少 出 现 ， 则 认 为 此 词 或 者 短 语 具 有 很 好 的 类 别 区 分 能 力 ， 适 合 用 来 分 类 。 如 果 包 含 词 条 t 的 文 档 越 少 ,   I D F 越 大 ， 则 说 明 词 条 具 有 很 好 的 类 别 区 分 能 力 。 词 频 （ T F ）   =   某 个 词 在 文 章 中 的 出 现 次 数 逆 文 档 频 率 （ I D F ）   =   l o g （ 语 料 库 的 文 档 总 数 / 包 含 该 词 的 文 档 总 数 + 1 ） 公 式 ： T F - I D F   =   T F   *   I D F 举 例 ： 假 设 一 篇 文 章 中 由 1 万 个 词 组 成 ， 其 中 “ 跨 站 脚 本 ” ， “ w e b ” ， “ 安 全 ” ， “ 攻 击 ” 几 个 词 各 出 现 1 0 0 次 ， 那 么 他 们 对 应 的 词 频 T F 就 是   T F   =   1 0 0 / 1 0 0 0 0   =   0 . 0 1 。 语 料 库 中 一 共 有 1 0 0 0 篇 文 章 ， 其 中 包 含 “ 跨 站 脚 本 ” 的 有 9 篇 ， 包 含 “ w e b ” 的 有 8 9 篇 ， 包 含 “ 安 全 ” 的 有 3 9 9 篇 ， 包 含 “ 攻 击 ” 的 有 4 9 9 篇 ， 那 他 们 对 应 的 T D F 如 下 ， 由 T F I D F 值 可 知 这 篇 文 章 重 点 应 该 是 在 讲 “ 跨 站 脚 本 ” 词 词 I D F T F * I D F
跨 站 脚 本 l o g ( 1 0 0 0 / 1 0 ) = 6 . 9 6 . 9   *   0 . 0 1   = 0 . 0 6 9 w e b l o g ( 1 0 0 0 / 9 0 ) = 4 . 7 4 . 7   *   0 . 0 1   = 0 . 0 4 7 安 全 l o g ( 1 0 0 0 / 4 0 0 ) = 3 . 2 3 . 2   *   0 . 0 1   = 0 . 0 3 2 攻 击 l o g ( 1 0 0 0 / 5 0 0 ) = 2 . 9 2 . 9   *   0 . 0 1   = 0 . 0 2 9 词 词 I D F T F * I D F 流 程 流 程 数 据 集 正 例 样 本 1 0 万 ， 数 据 集 负 例 样 本 5 万 ， 由 于 初 始 负 例 样 本 不 足 ， 可 以 在 特 征 工 程 阶 段 将 负 例 样 本 * 2 扩 大 负 例 样 本 的 数 据 集 数 量 ， 但 效 果 不 会 很 明 显 ， 一 般 在 深 度 学 习 的 时 候 特 征 样 本 不 足 我 会 这 样 做 数 据 扩 展 。 对 数 据 做 一 些 基 础 的 特 征 工 程 对 连 续 的 数 字 或 单 独 的 数 字 都 转 化 为 ’ 8 ’ ， 将 q u r i e s 里 的 h t t p s | h t t p 转 化 成 同 一 个 特 征 量 等 等 l a b e l   0   标 记 正 例 样 本 ， l a b e l   1   标 记 负 例 样 本 模 型 训 练 与 预 测 模 型 训 练 与 预 测 t r a i n _ t e s t _ s p l i t 函 数 用 于 将 矩 阵 随 机 划 分 为 训 练 子 集 和 测 试 子 集 ， 并 返 回 划 分 好 的 训 练 集 测 试 集 样 本 和 训 练 集 测 试 集 标 签 ， 其 中 t e s t _ s i z e 是 代 表 要 划 分 出 多 少 的 数 据 做 为 测 试 集 ， r a n d o m _ s t a t e 是 种 子 ， 也 就 是 说 当 r a n d o m _ s t a t e 不 为 0 时 ， 每 次 t r a i n _ t e s t _ s p l i t 生 成 的 数 据 集 是 一 致 的 ， 以 便 与 我 们 在 初 期 阶 段 保 持 数 据 集 一 致 进 行 调 试 。 模 型 使 用 K N N （ K - N e a r e s t   n e i g b o u r ， K N N ） C o v e r 和 H a r t 在 1 9 6 8 年 提 出 了 最 初 的 邻 近 算 法 。 所 谓 K N N ， 就 是 K 个 最 近 邻 居 的 意 思 。 说 的 是 每 个 样 本 都 可 以 用 它 最 接 近 的 k 个 邻 居 来 代 表 。 属 于 一 种 有 监 督 的 分 类 ( C l a s s i f i c a t i o n ) 算 法 ， 同 时 属 于 懒 惰 学 习 （ l a z y   l e a r n i n g ） 即 K N N 没 有 显 式 的 学 习 过 程 ， 也 就 是 没 有 训 练 数 据 的 阶 段 ， 所 以 也 代 表 了 该 阶 段 的 时 间 开 销 为 零 ， 数 据 集 事 先 已 有 了 分 类 和 特 征 值 ， 待 收 到 新 样 本 后 直 接 进 行 处 理 。 K N N 三 要 素 1 . K 值 的 选 择 ： 对 于 K 值 的 选 择 ， 如 果 K 值 较 小 表 示 使 用 较 小 邻 域 中 的 样 本 进 行 预 测 ， 训 练 误 差 会 减 少 ， 但 是 模 型 会 变 得 复 杂 ， 容 易 过 拟 合 。 2 . 距 离 的 度 量 ： 一 般 使 用 欧 几 里 得 距 离 3 . 决 策 规 则 ： 分 类 模 型 中 使 用 多 数 表 决 的 方 式 或 者 加 权 表 决 （ 距 离 与 权 重 成 反 比 ） ； 在 回 归 模 型 中 ， 使 用 平 均 值 法 K N N 的 优 化 的 优 化 当 如 果 有 大 量 的 数 据 输 入 的 时 候 为 了 加 快 检 索 ， 引 入 了 优 化 算 法 ， 相 当 于 是 使 用 了 特 殊 的 结 构 来 保 存 数 据 ， 以 减 少 数 据 的 检 索 次 数 。 K N N 的 使 用 的 使 用 在 做 模 型 训 练 的 时 候 ， 尤 其 是 在 训 练 集 上 做 交 叉 验 证 ， 通 常 想 要 将 模 型 保 存 下 来 ， 然 后 放 到 独 立 的 测 试 集 上 测 试 ， s c i k i t - l e a r n 已 经 有 了 模 型 持 久 化 的 操 作 ， 存 储 模 型 （ 持 久 化 ） 一 般 就 两 种 方 式 一 种 是 j o b l i b 和 p i c k l e c l a s s   L R ( o b j e c t ) :                 d e f   _ _ i n i t _ _ ( s e l f ) :                 s e l f . g o o d X   =   s e l f . D e c o d e Q u e r y ( " . / g o o d X . t x t " )                 s e l f . b a d X   =   s e l f . D e c o d e Q u e r y ( " . / b a d q X . t x t " )                 s e l f . g o o d Y   =   [ 0 ]   *   l e n ( s e l f . g o o d X )                 s e l f . b a d Y   =   [ 1 ]   *   l e n ( d e f   D e c o d e Q u e r y ( s e l f ,   f i l e N a m e ) :         d a t a   =   [ x . s t r i p ( )   f o r   x   i n   o p e n ( f i l e N a m e ,   " r " ) . r e a d l i n e s ( ) ]         q u e r y _ l i s t   =   [ ]         f o r   i t e m   i n   d a t a :                 i t e m   =   i t e m . l o w e r ( )                 i f   l e n ( i t e m )   >   5 0   o r   l e n ( i t e m )   <   5 :                         c o n t i n u e                                 h   =   H T M L P a r s e r ( )                 i t e m   =   h . u n e s c a p e ( i t e m )                 i t e m   =   p a r s e . u n q u o t e ( i t e m )                 i t e m ,   n u m b e r   =   r e . s u b n ( r ' d + ' ,   " 8 " ,   i t e m )                 i t e m ,   n u m b e r   =   r e . s u b n ( r ' ( h t t p | h t t p s ) : / / [ a - z A - Z 0 - 9 . @ & / # ! # ? : ] + ' ,   " h t t p : / / u " ,   i t e m )                 q u e r y _ l i s t . a p p e n d ( i t e m )         r e t u r n   l i s t ( s e t ( q u e r y _ l i s t ) )         d e f   T r a i n M o d e l ( s e l f ) :                 X _ t r a i n ,   X _ t e s t ,   y _ t r a i n ,   y _ t e s t   =   t r a i n _ t e s t _ s p l i t ( s e l f . X ,   s e l f . g o o d Y   +   s e l f . b a d Y ,   t e s t _ s i z e = 0 . 2 ,   r a n d o m _ s t a t e = 1 6 )                 k n n   =   n e i b o u r s . K N e i b o r s C l a s s i f i e r ( n _ n e i b o u r s = 5 )                 k n n . f i t ( X _ t r a i n ,   y _ t r a i n )                 j o b l i b . d u m p ( k n n ,   " k n n . p i c k l e " )
倒 入 模 块   f r o m   s k l e a r n . e x t e r n a l s   i m p o r t   j o b l i b 保 存 模 型   j o b l i b . d u m p ( m o d e l , ’ f i l e n a m e . p k l ’ ) 读 取 模 型   j o b l i b . l o a d ( m o d e l N a m e ) 最 终 预 测 结 果 最 终 预 测 结 果 这 里 算 法 笔 者 用 的 K N N ， 但 K N N 属 于 懒 惰 算 法 ， 最 大 但 缺 点 之 一 在 于 在 数 据 量 庞 大 的 时 候 运 算 会 非 常 的 慢 ， 另 外 一 个 会 受 离 群 点 的 影 响 ， 这 个 k n n 的 例 子 只 适 合 做 试 验 讲 解 ， 因 为 K N N 具 有 良 好 的 可 解 释 性 上 总 结 总 结 机 器 学 习 比 较 痛 苦 的 是 调 参 数 、 做 特 征 工 程 ， 本 文 没 有 特 意 去 做 特 征 工 程 使 用 了 n g r a m 分 词 实 现 的 特 征 ， 调 参 的 话 懒 人 可 以 通 过 G r i d S e a r c h 和 R a n d o m i z e d S e a r c h C V 进 行 搜 索 ， 下 篇 换 个 例 子 来 介 绍 。 写 此 文 的 目 的 地 是 笔 者 在 学 习 过 程 中 踩 了 很 多 坑 ， 也 是 逐 步 在 梳 理 自 己 认 知 的 过 程 ， 也 希 望 多 一 些 相 关 的 文 章 给 正 在 研 究 或 刚 入 门 同 学 多 一 些 参 考 ， 学 无 止 境 ， 不 喜 勿 喷 哈 。 * 本 文 原 创 作 者 ： 本 文 原 创 作 者 ： 邹 先 生 邹 先 生 0 0 7 ， 本 文 属 ， 本 文 属 F r e e B u f 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 原 创 奖 励 计 划 ， 未 经 许 可 禁 止 转 载 精 彩 推 荐 精 彩 推 荐         d e f   P r e d i c t s ( s e l f ,   m o d e l N a m e ,   f i l e N a m e ) :                 k n n   =   j o b l i b . l o a d ( m o d e l N a m e )                 i n p u t _ x   =   s e l f . D e c o d e Q u e r y ( f i l e N a m e )                 X _ p r e d i c t   =   s e l f . v e c t o r i z e r . t r a n s f o r m ( i n p u t _ x )                 r e s   =   k n n . p r e d i c t ( X _ p r e d i c t )                 r e s _ l i s t   =   [ ]                 f o r   u r l   ,   y   i n   z i p ( i n p u t _ x ,   r e s ) :                         l a b e l   =   ' 正 常 请 求 '   i f   y   = =   0   e l s e   ' 恶 意 请 求 '                         p r i n t ( l a b e l   ,   u r l   ) 恶 意 请 求   / c g i - h o m e / i o n - p ? p a g e = . . / . . / . . / . . / . . / e t c / p a s s w d 恶 意 请 求   < s v g > < s c r i p t   x l i n k : h r e f = d a t a : , a l e r t ( 8 )   / > 恶 意 请 求   / . / / . / . / / . / . / / . / . / / . / . / / . / . / / . / . / / . / { f i l e } 正 常 请 求   / s c r i p t s _ p h o t o s i t e p r i n t i n g / 正 常 请 求   / m a i n . p h p ? s t u f f = " & v e r & r e m x a 8
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理