搜索

[15778] 2020-08-27_DGA域名检测的数据分析与深度学习分类

文档创建者：s7ckTeam
浏览次数：3
最后更新：2025-01-18
2020-08-27_DGA域名检测的数据分析与深度学习分类 D G A 域 名 检 测 的 数 据 分 析 与 深 度 学 习 分 类 原 创   F r e e A C h a o   F r e e B u f   2 0 2 0 - 0 8 - 2 7 一 、 引 言 一 、 引 言 在 恶 意 软 件 发 展 的 初 期 ， 恶 意 软 件 编 写 者 会 直 接 将 控 制 服 务 器 的 域 名 或 I P 直 接 写 在 恶 意 软 件 中 （ 即 使 是 现 在 也 会 有 恶 意 软 件 遵 从 这 种 方 式 ， 笔 者 部 署 的 蜜 罐 捕 获 的 僵 尸 网 络 样 本 中 ， 很 多 经 过 逆 向 之 后 发 现 也 是 直 接 将 I P 写 在 软 件 中 ） 。 对 于 这 种 通 信 的 方 式 ， 安 全 人 员 可 以 明 确 知 道 恶 意 软 件 所 通 信 的 对 象 ， 可 以 通 过 黑 名 单 的 方 式 封 锁 域 名 及 I P 达 到 破 坏 恶 意 软 件 工 作 的 目 的 。 D G A （ D o m a i n g e n e r a t i o n   a l g o r i t h m s ） ， 中 文 名 ： 域 名 生 成 算 法 ， 其 可 以 生 成 大 量 随 机 的 域 名 来 供 恶 意 软 件 连 接 C & C 控 制 服 务 器 。 恶 意 软 件 编 写 者 将 采 用 同 样 的 种 子 和 算 法 生 成 与 恶 意 软 件 相 同 的 域 名 列 表 ， 从 中 选 取 几 个 来 作 为 控 制 服 务 器 ， 恶 意 软 件 会 持 续 解 析 这 些 域 名 ， 直 到 发 现 可 用 的 服 务 器 地 址 。 这 种 方 式 导 致 恶 意 软 件 的 封 堵 更 为 困 难 ， 因 此 D G A 域 名 的 检 测 对 网 络 安 全 来 说 非 常 重 要 。 本 文 将 针 对 D G A 域 名 的 检 测 ， 开 展 以 下 几 个 方 面 的 内 容 ： 1 ） 针 对 开 源 D G A 域 名 与 正 常 域 名 进 行 初 步 的 数 据 分 析 ， 查 看 正 常 域 名 与 D G A 域 名 的 不 同 及 其 各 自 的 数 据 分 布 ； 2 ） 尝 试 利 用 自 然 语 言 处 理 的 方 式 对 D G A 域 名 进 行 可 视 化 ； 3 ） 利 用 两 种 深 度 学 习 的 模 型 对 D G A 域 名 进 行 分 类 。 二 、 一 个 二 、 一 个 D G A 算 法 的 例 子 算 法 的 例 子 为 了 让 读 者 对 D G A 算 法 生 成 的 域 名 有 更 加 直 观 的 认 识 ， 列 举 一 种 D G A 算 法 m u r o f e t ( v 2 ) ， 该 算 法 以 时 间 与 一 个 密 钥 作 为 种 子 来 生 成 相 应 的 域 名 地 址 ， 代 码 如 下 ： 由 该 算 法 生 成 的 域 名 （ 以 时 间 2 0 2 0 - 8 - 1 1 和 密 钥 D 6 D 7 A 4 B 1 ） 如 下 观 察 上 述 域 名 ， 看 不 到 明 显 的 规 律 ， 也 没 有 可 读 的 单 词 ， 呈 现 出 来 一 种 随 机 性 。 该 D G A 算 法 的 完 整 源 码 ， 在 G i t H u b 上 [ 1 ] ， 该 G i t h u b 的 作 者 收 集 了 很 多 D G A 算 法 ， 并 用 p y t h o n 实 现 ， 可 以 作 为 一 种 数 据 源 。 三 、 域 名 数 据 分 析 三 、 域 名 数 据 分 析 为 了 更 直 观 的 认 识 D G A 域 名 与 正 常 域 名 的 不 同 ， 本 小 节 通 过 对 域 名 的 一 些 特 性 进 行 分 析 。 正 常 域 名 的 数 据 来 源 是 S 3 上 t o p 1 - m 的 正 常 域 名 [ 2 ] ， D G A 域 名 来 自 3 6 0   n e t l a b [ 3 ] ， 数 据 是 持 续 更 新 的 ， 本 次 分 析 的 数 据 下 载 于 2 0 2 0 年 8 月 7 号 ， 其 中 两 部 分 的 数 据 数 量 如 下 ： 表 3 . 1   域 名 数 量 分 布 类 别 类 别 数 目 数 目 D G A 域 名 1 3 0 8 5 8 5 正 常 域 名 7 0 6 5 4 6 d e f   d g a ( d a t e ,   k e y ) :         f o r   i n d e x   i n   r a n g e ( 1 0 2 0 ) :                 s e e d   =   8 * [ 0 ]                 s e e d [ 0 ]   =   ( ( d a t e . y e a r   &   0 x F F )   +   0 x 3 0 )   &   0 x F F                 s e e d [ 1 ]   =   d a t e . m o n t h   &   0 x F F                 s e e d [ 2 ]   =   d a t e . d a y   &   0 x F F                 s e e d [ 3 ]   =   0                 r   =   ( i n d e x )   &   0 x F F F F F F F E                 f o r   i   i n   r a n g e ( 4 ) :                         s e e d [ 4 + i ]   =   r   &   0 x F F                         r   > > =   8                 s e e d _ s t r   =   " "                 f o r   i   i n   r a n g e ( 8 ) :                         k   =   ( k e y   > >   ( 8 * ( i % 4 ) ) )   &   0 x F F   i f   k e y   e l s e   0                         s e e d _ s t r   + =   c h r ( ( s e e d [ i ]   ^   k ) )                 m   =   h a s h l i b . m d 5 ( )                 m . u p d a t e ( s e e d _ s t r )                 m d 5   =   m . d i g e s t ( )                 d o m a i n   =   " "                 f o r   m   i n   m d 5 :                         t m p   =   ( o r d ( m )   &   0 x F )   +   ( o r d ( m )   > >   4 )   +   o r d ( ' a ' )                         i f   t m p   < =   o r d ( ' z ' ) :                                 d o m a i n   + =   c h r ( t m p )                 t l d s   =   [ " . b i z " ,   " . i n f o " ,   " . o r g " ,   " . n e t " ,   " . c o m " ]                 f o r   i ,   t l d   i n   e n u m e r a t e ( t l d s ) :                         m   =   l e n ( t l d s )   -   i                         i f   n o t   i n d e x   %   m :                                 d o m a i n   + =   t l d                                 b r e a k                 p r i n t ( d o m a i n ) x q q j q f y t p q i y o l o . b i z x q q j q f y t p q i y o l o . c o m o a z n i t e y q k p h x t p y . n e t o a z n i t e y q k p h x t p y . o r g k i o n b q k w t t x t v u r . i n f o k i o n b q k w t t x t v u r . b i z d g h t u s w q q s r u g w . o r g d g h t u s w q q s r u g w . c o m x i w k i t t y t n l k s u s s . i n f o x i w k i t t y t n l k s u s s . o r g
3 . 1   不 同 不 同 D G A 家 族 数 据 量 分 布 家 族 数 据 量 分 布 在 3 6 0 的 D G A 数 据 中 ， 一 共 存 在 4 8 个 D G A 家 族 ， 但 是 每 个 家 族 的 数 量 分 布 也 是 非 常 不 同 的 ， 有 些 家 族 数 量 远 比 其 他 的 家 族 要 多 。 图 3 . 1   不 同 D G A 家 族 的 域 名 数 据 分 布 在 图 2 . 1 中 ， 选 取 了 按 照 数 据 排 名 的 前 2 0 个 D G A 域 名 ， 并 绘 制 他 们 的 数 量 分 布 ， 可 以 看 到 b a n j o r i 和 e m o t e t 的 数 量 非 常 多 ， 数 量 上 达 到 了 4 0 W + 。 3 . 2   域 名 长 度 分 布 域 名 长 度 分 布 注 ： 域 名 解 析 过 程 中 ， 采 用 p y t h o n 的 第 三 方 库 t l d e x t r a c t ， 该 库 解 析 解 析 域 名 是 ， 会 将 一 个 网 址 分 为 三 个 部 分 ， 分 别 是 s u b d o m a i n ， d o m a i n ， s u f f i x 。 后 续 内 容 如 果 不 做 特 殊 说 明 ， 将 只 针 对 d o m a i n 进 行 数 据 分 析 。 3 . 2 . 1   正 常 域 名 长 度 分 布 正 常 域 名 长 度 分 布 图 3 . 2   正 常 域 名 长 度 分 布 正 常 域 名 的 长 度 大 致 集 中 在 8 - 1 0 左 右 ， 整 体 分 布 非 常 像 瑞 利 分 布 。 3 . 2 . 2   D G A 域 名 长 度 分 布 域 名 长 度 分 布 图 3 . 3   D G A 域 名 长 度 分 布 从 图 2 . 2 的 长 度 分 布 中 可 以 看 出 ， 其 中 比 较 突 出 的 两 个 长 度 是 1 6 和 1 8 ， 再 其 次 长 的 是 1 2 ， 这 个 让 笔 者 想 起 了 另 外 一 个 家 族 ， t i n b a 算 法 就 是 按 照 1 2 为 数 量 限 制 循 环 生 成 字 符 组 成 域 名 。 对 于 D G A 与 正 常 域 名 ， 可 以 发 现 他 们 两 者 的 几 点 不 同 ： 1 ） D G A 的 长 度 分 布 区 间 要 比 正 常 域 名 小 ， D G A 长 度 分 布 区 间 为 2 - 4 4 ， 而 正 常 域 名 的 长 度 分 布 为 1 - 6 3 ； 2 ） D G A 与 正 常 域 名 的 长 度 分 布 明 显 不 同 ， D G A 域 名 长 度 分 布 没 有 明 显 的 分 布 规 律 ， 在 某 几 个 数 字 呈 现 出 极 高 的 数 据 量 ， 而 正 常 域 名 长 度 呈 现 出 一 些 递 增 递 减 的 规 律 ， 在 8 、 9 处 达 到 顶 峰 。 3 . 2 . 3   不 同 不 同 D G A 家 族 域 名 长 度 分 布 家 族 域 名 长 度 分 布
图 3 . 4   不 同 D G A 家 族 域 名 长 度 箱 型 图 分 布 从 上 图 2 . 4 中 可 以 看 出 ， 某 些 家 族 （ 选 取 域 名 数 量 大 于 等 于 1 0 0 0 的 家 族 ） 的 域 名 ， 长 度 稳 定 稳 定 分 布 在 某 个 程 度 ， 例 如 d y r e 家 族 的 域 名 长 度 为 3 4 ， q a d a r s 家 族 长 度 固 定 为 1 2 ， 而 其 他 一 些 家 族 的 域 名 长 度 分 布 的 区 间 较 大 ， 例 如 m u r o f e t ， 如 图 2 . 5 所 示 。 图 3 . 5   m u r o f e t 家 族 的 长 度 分 布 3 . 3   域 名 字 符 分 布 域 名 字 符 分 布 通 过 查 看 域 名 的 字 符 分 布 ， 可 以 看 出 某 些 D G A 家 族 使 用 的 字 符 范 围 。 本 部 分 的 字 符 范 围 为 ’ a ’ - ‘ z ’ 加 上 两 个 特 殊 字 符 ’ - ‘ 和 ‘ _ ’ 。 3 . 3 . 1   正 常 域 名 字 符 分 布 正 常 域 名 字 符 分 布 图 3 . 6   正 常 域 名 字 符 分 布 3 . 3 . 2   D G A 域 名 字 符 分 布 域 名 字 符 分 布
图 3 . 7   D G A 域 名 字 符 分 布 对 于 D G A 域 名 字 符 与 正 常 域 名 字 符 分 布 ， 两 者 有 一 定 的 差 别 ， 比 如 正 常 域 名 在 某 些 字 符 上 ， 取 值 的 概 率 比 较 小 ； D G A 域 名 使 用 数 字 的 概 率 比 正 常 域 名 更 高 。 下 面 来 看 一 下 ， 某 些 家 族 的 字 符 分 布 。 3 . 3 . 3   不 同 不 同 D G A 域 名 家 族 的 字 符 分 布 域 名 家 族 的 字 符 分 布 因 为 文 章 空 间 的 限 制 ， 这 里 举 出 几 个 域 名 数 量 多 ， 且 其 分 布 比 较 典 型 的 例 子 。 图 3 . 8   e m o t e t 家 族 域 名 字 符 分 布 图 2 . 8 展 示 了 e m o t e t 家 族 的 域 名 分 布 ， 一 共 统 计 了 4 0 W + 的 该 家 族 域 名 ， 其 在 ’ a ’ - ‘ y ’ 上 是 均 匀 分 布 ； 同 时 参 考 图 2 . 4 中 ， 域 名 长 度 分 布 ， 该 家 族 的 域 名 长 度 稳 定 在 1 6 的 位 置 。 而 下 面 的 g a m a o v e r 家 族 ， 展 现 出 更 不 一 样 的 风 格 。 图 3 . 9   g a m e o v e r 家 族 域 名 字 符 分 布 g a m e o v e r 家 族 的 字 符 分 布 覆 盖 了 除 了 特 殊 字 符 之 外 的 所 有 字 符 ， 同 时 只 在 ‘ 1 ’ 处 展 现 出 凸 起 ， 其 他 地 方 大 致 上 都 是 同 概 率 的 。 3 . 4   小 节 小 节 本 部 分 主 要 从 一 些 数 据 分 布 的 角 度 ， 介 绍 了 D G A 域 名 与 正 常 域 名 的 不 同 ， 仅 仅 考 虑 了 域 名 长 度 和 字 符 取 用 的 两 个 角 度 ， 同 时 简 单 展 示 了 不 同 的 家 族 在 长 度 和 字 符 上 的 习 惯 。 从 上 述 的 结 果 可 以 看 到 ， D G A 域 名 与 正 常 域 名 的 数 据 分 布 上 有 一 定 的 差 别 。 四 、 域 名 可 视 化 四 、 域 名 可 视 化 本 部 分 利 用 两 种 方 式 来 进 行 域 名 可 视 化 ， 通 过 自 然 语 言 处 理 的 方 式 获 取 域 名 的 向 量 ， 然 后 利 用 降 维 的 方 式 得 到 可 在 二 维 向 量 展 示 的 向 量 ， 最 后 利 用 前 面 得 到 的 二 维 向 量 来 绘 制 相 应 的 散 点 图 。 但 是 从 实 际 图 的 反 馈 结 果 上 来 看 ， 整 体 的 效 果 不 好 。 4 . 1   词 袋 模 型 词 袋 模 型 词 袋 模 型 通 过 计 算 某 些 字 符 出 现 的 次 数 来 进 行 向 量 化 表 示 ， 不 考 虑 词 出 现 的 次 数 以 及 位 置 。 机 器 学 习 库 s k l e a r n 中 C o u n t V e c t o r i z e r 方 法 就 是 完 成 这 部 分 工 作 。 在 C o u n t V e c t o r i z e r 的 参 数 中 ， 通 过 指 定 a n a l y z e r = ‘ c h a r ’ 使 其 分 析 字 符 级 别 的 g r a m ， 而 参 数 n g r a m _ r a n g e 是 控 制 g r a m 的 个 数 ， n g r a m 在 该 部 分 域 名 分 析 中 是 指 多 个 字 符 连 接 起 来 的 子 字 符 串 。 关 于 这 部 分 内 容 ， 有 兴 趣 的 读 者 可 以 搜 索 相 关 文 章 来 学 习 。 下 面 举 一 个 2 - g r a m 的 例 子 来 说 明 函 数 的 使 用 。 上 面 的 代 码 实 现 了 四 个 域 名 的 2 - g r a m 字 符 级 别 的 向 量 化 ， 向 量 的 数 据 内 容 就 是 某 个 2 - g r a m 的 字 符 串 出 现 的 次 数 。 例 如 上 面 的 第 三 个 域 名 ” a l i b a b a ” ， 其 中 带 有 两 个 ” b a ” ， 输 出 结 果 的 第 三 个 向 量 中 ， 可 以 看 到 对 于 2 - g r a m 的 ‘ b a ’ 的 索 引 处 是 2 。 一 般 经 过 词 袋 模 型 处 理 后 ， 还 需 要 利 用 T F - I D F 继 续 处 理 。 T F - I D F 与 一 个 词 在 文 档 中 的 出 现 次 数 成 正 比 ， 与 该 词 在 整 个 语 言 中 的 出 现 次 数 成 反 比 与 一 个 词 在 文 档 中 的 出 现 次 数 成 正 比 ， 与 该 词 在 整 个 语 言 中 的 出 现 次 数 成 反 比 [ 5 ] ， ， 利 用 这 种 方 法 来 找 到 相 对 重 要 的 词 。 那 么 这 部 分 域 名 向 量 化 整 体 处 理 的 代 码 整 合 起 来 如 下 ： 在 得 到 向 量 之 后 ， 还 需 要 降 维 进 行 可 视 化 ， 本 使 用 T S N E 进 行 降 维 ， 并 利 用 散 点 图 查 看 家 族 的 分 类 。 因 为 手 里 的 计 算 资 源 有 限 ， 所 以 每 个 恶 意 D G A 家 族 （ 数 量 在 1 0 0 0 以 上 ） 以 及 正 常 的 域 名 随 机 采 样 5 0 0 个 进 行 处 理 。 f r o m   s k l e a r n . f e a t u r e _ e x t r a c t i o n . t e x t   i m p o r t   C o u n t V e c t o r i z e r s a m p l e _ d o m a i n   =   [ ' g o o g l e ' , ' b a i d u ' , ' a l i b a b a ' , ' f r e e b u f ' ] c v   =   C o u n t V e c t o r i z e r ( a n a l y z e r   =   ' c h a r ' ,   n g r a m _ r a n g e   =   ( 2 , 2 ) ) p r i n t ( c v . f i t _ t r a n s f o r m ( s a m p l e _ d o m a i n ) . t o a r r a y ( ) ) # [ [ 0   0   0   0   0   0   0   0   0   1   1   0   0   1   0   1   1   0   0 ] #   [ 0   1   0   1   0   1   0   0   0   0   0   0   1   0   0   0   0   0   0 ] #   [ 1   0   1   2   0   0   0   0   0   0   0   1   0   0   1   0   0   0   0 ] #   [ p r i n t ( c v . g e t _ f e a t u r e _ n a m e s ( ) ) # [ ' a b ' ,   ' a i ' ,   ' a l ' ,   ' b a ' ,   ' b u ' ,   ' d u ' ,   ' e b ' ,   ' e e ' ,   ' f r ' ,   ' g l ' ,   ' g o ' ,   ' i b ' ,   ' i d ' ,   ' l e ' ,   ' l i ' ,   ' o g ' ,   ' o o ' ,   ' r e ' ,   ' u f ' ] #   s a m p l e _ x 是 域 名 的 数 组 c v   =   C o u n t V e c t o r i z e r ( a n a l y z e r = ' c h a r ' , n g r a m _ r a n g e   =   n g r a m _ r a n g e ) c v _ f i t   =   c v . f i t _ t r a n s f o r m ( s a m p l e _ x ) s a m p l e _ x _ t f i d f   =   T f i d f T r a n s f o r m e r ( ) . f i t _ t r a n s f o r m ( c v _ f i t . t o a r r a y ( ) )
图 4 . 1   域 名 可 视 化 （ 2 - g r a m 词 袋 模 型 与 T F - I D F 向 量 ） 在 图 4 . 1 中 ， 一 共 2 2 个 类 别 （ 包 括 正 常 域 名 ） ， 其 中 只 有 两 个 类 别 能 够 明 显 看 到 簇 的 概 念 。 虽 然 有 些 地 方 也 能 看 到 点 集 中 在 一 些 区 域 ， 但 整 体 的 聚 合 度 并 不 高 。 4 . 2   w o r d 2 v e c 模 型 模 型 w o r d 2 v e c 模 型 是 一 种 在 自 然 语 言 处 理 中 常 用 的 域 名 ， 可 以 将 单 词 转 化 为 向 量 ， 来 进 行 后 续 的 各 种 处 理 。 关 于 w o r d 2 v e c 的 模 型 原 理 这 里 不 再 赘 述 ， 有 兴 趣 的 读 者 可 以 看 文 章 [ 6 ] 。 在 本 篇 文 章 中 ， 处 理 的 对 象 是 域 名 ， 那 么 处 理 的 基 础 单 元 是 字 符 ， 该 部 分 中 处 理 的 对 象 分 别 是 1 - g r a m 和 2 - g r a m 。 在 经 过 向 量 化 处 理 之 后 ， 每 个 字 符 或 者 2 - g r a m 都 得 到 了 相 应 的 向 量 ， 但 对 于 整 个 域 名 来 说 ， 可 视 化 需 要 计 算 整 个 域 名 的 向 量 ， 本 文 中 采 用 比 较 简 单 的 方 法 ， 直 接 将 全 部 向 量 相 加 之 后 取 平 均 的 方 式 。 4 . 2 . 1   单 个 字 符 形 式 （ 单 个 字 符 形 式 （ 1 - g r a m ） ） 针 对 全 部 D G A 家 族 ， 选 取 其 中 域 名 数 量 大 于 1 0 0 0 的 域 名 家 族 ， 然 后 分 别 采 用 1 0 0 0 个 ， 进 行 可 视 化 分 析 。 图 4 . 2   w o r d 2 v e c 模 型 （ 1 - g r a m 形 式 ） 图 4 . 2 仅 绘 制 了 各 个 家 族 的 散 点 图 ， 没 有 包 含 正 常 的 域 名 ， 主 要 事 为 了 看 家 族 的 分 类 效 果 。 从 图 中 可 以 看 出 ， 只 有 最 右 边 能 看 出 来 某 个 家 族 集 中 在 一 个 簇 ， 其 他 的 部 分 依 然 是 比 较 分 散 。 4 . 2 . 2   2 - g r a m 形 式 形 式 图 4 . 3   w o r d 2 v e c 模 型 （ 2 - g r a m 形 式 ） 同 样 是 采 用 1 0 0 0 个 域 名 ， 图 4 . 3 针 对 2 - g r a m 进 行 了 降 维 可 视 化 ， 与 4 . 2 相 同 ， 也 只 有 一 个 类 能 够 聚 类 在 一 起 。 4 . 3   小 节 小 节 本 部 分 讲 述 了 如 何 利 用 自 然 处 理 的 方 式 来 进 行 可 视 化 ， 主 要 利 用 了 两 种 模 型 ： 词 袋 + T F - I D F 以 及 W O R D 2 V E C 模 型 。 从 前 面 的 几 个 可 视 化 的 图 来 看 ， 效 果 并 不 是 很 好 。 进 行 可 视 化 的 目 的 是 希 望 能 够 在 低 维 空 间 看 到 他 们 的 具 体 分 布 ， 但 图 中 的 效 果 较 差 ， 可 能 的 原 因 是 降 维 过 程 中 丢 失 了 信 息 。 五 、 深 度 学 习 分 类 五 、 深 度 学 习 分 类 在 D G A 域 名 检 测 过 程 中 ， 包 含 两 个 方 面 ： 1 ） 如 何 判 定 某 个 域 名 是 否 是 D G A 域 名 ； 2 ） 如 何 判 定 该 D G A 属 于 哪 个 家 族 。 本 节 将 分 别 从 这 两 个 方 面 对 实 验 内 容 进 行 阐 述 。 本 部 分 分 类 实 验 主 要 参 考 了 文 章 [ 4 ] ， 文 中 主 要 对 比 了 三 种 四 种 模 型 b i g r a m ， l s t m ， c n n ， l s t m + c n n 以 及 这 些 模 型 分 别 的 扩 展 在 D G A 检 测 中 的 效 果 。 本 文 中 将 使 用 其 中 的 两 种 模 型 来 进 行 分 类 实 验 ， 分 别 是 C N N 和 L S T M ； 文 章
[ 4 ] 中 没 有 进 行 家 族 分 类 ， 本 文 引 入 了 家 族 分 类 ， 使 用 的 模 型 依 然 是 前 面 的 模 型 。 两 个 任 务 对 于 数 据 集 的 划 分 ， 按 照 2 ： 1 的 比 例 来 划 分 ， 其 中 1 / 3 为 测 试 集 。 5 . 1   判 断 某 个 域 名 是 否 是 判 断 某 个 域 名 是 否 是 D G A 域 名 域 名 D G A 域 名 检 测 过 程 中 的 第 一 个 目 标 是 判 断 该 域 名 是 否 是 D G A 域 名 ； 在 该 部 分 实 验 中 ， 将 直 接 使 用 全 部 数 据 来 进 行 实 验 ： 正 常 域 名 、 D G A 域 名 ， 其 中 域 名 的 数 量 见 表 2 - 1 。 关 于 L S T M 及 C N N 的 具 体 原 理 这 里 也 不 详 细 展 开 ， 要 说 明 的 是 C N N 模 型 使 用 的 是 C o n v 1 D 层 来 应 对 域 名 这 种 序 列 数 据 。 本 文 中 使 用 模 型 代 码 对 原 文 [ 4 ] 的 代 码 稍 微 进 行 了 修 改 ， 大 致 功 能 是 一 样 的 ， 例 如 替 换 L S T M 为 C u D N N L S T M 使 训 练 更 快 。 同 时 使 用 的 数 据 也 不 一 样 ， 文 章 [ 4 ] 中 的 数 据 是 采 用 D G A 算 法 生 成 的 ， 各 个 类 别 的 数 据 相 当 ， 而 本 文 是 直 接 采 用 的 开 源 的 数 据 ， 每 个 D G A 家 族 之 间 的 数 据 分 布 很 不 均 衡 ，   且 家 族 数 据 也 不 一 致 。 下 面 看 一 下 具 体 的 分 类 效 果 。 图 5 . 1   C N N 与 L S T M 的 R O C 曲 线 表 5 - 1   两 个 模 型 的 性 能 比 较 分 类 器 分 类 器 性 能 性 能 精 确 率 精 确 率 召 回 率 召 回 率 F 1 分 数 分 数 准 确 率 准 确 率 A U C 分 数 分 数 L S T M 0 . 9 9 0 0 0 . 9 9 1 3 0 . 9 9 0 6 0 . 9 9 1 5 0 . 9 9 9 3 C N N 0 . 9 7 8 7 0 . 9 8 3 1 0 . 9 8 0 8 0 . 9 8 2 5 0 . 9 9 7 1 两 者 的 R O C 曲 线 差 别 不 是 很 明 显 ， 差 距 不 是 很 大 ； 同 时 其 他 性 能 的 差 距 也 不 是 很 大 ， 在 精 确 率 上 L S T M 达 到 了 9 9 . 0 % 。 5 . 2   对 域 名 进 行 家 族 分 类 对 域 名 进 行 家 族 分 类 在 对 域 名 的 家 族 分 类 时 ， 各 个 域 名 家 族 数 量 分 布 是 非 常 不 一 致 的 ， 在 前 面 3 . 1 图 中 也 可 以 看 出 ， 各 个 家 族 的 数 量 非 常 悬 殊 ， 同 时 家 族 的 数 量 甚 至 不 到 1 0 0 ， 这 对 后 期 的 分 类 过 程 影 响 非 常 大 。 本 部 分 实 验 选 用 域 名 数 量 在 2 0 0 0 以 上 的 家 族 进 行 分 类 ， 这 样 能 够 保 证 训 练 集 的 数 量 。 经 过 筛 选 之 后 剩 余 域 名 家 族 1 7 个 。 下 面 来 看 相 应 的 分 类 效 果 。 图 5 . 2   L S T M 家 族 分 类 效 果
图 5 . 3   C N N 家 族 分 类 效 果 本 部 分 家 族 分 类 过 程 ， 采 用 与 5 . 1 节 中 是 否 D G A 分 类 过 程 中 同 样 的 模 型 。 根 据 图 5 . 2 与 图 5 . 3 的 域 名 家 族 分 类 效 果 ， 两 者 都 存 在 某 些 家 族 全 部 被 误 分 类 的 现 象 ， 例 如 D G A 家 族 n e c u r s ， 在 L S T M 模 型 分 类 结 果 中 ， 大 部 分 被 误 分 类 为 r a m n i t ； C N N 误 分 类 的 情 况 更 多 。 从 整 体 效 果 来 看 ， L S T M 模 型 的 分 类 效 果 更 好 。 而 且 ， 在 训 练 过 程 中 就 可 以 发 现 ， C N N 模 型 的 损 失 函 数 最 小 值 要 比 L S T M 模 型 大 很 多 。 5 . 3   小 节 小 节 本 部 分 针 对 是 否 是 D G A 域 名 以 及 D G A 家 族 分 类 进 行 了 相 关 实 验 ， 采 用 了 C N N 与 L S T M 两 种 模 型 。 在 家 族 分 类 任 务 中 ， L S T M 模 型 要 比 C N N 的 效 果 更 好 。 在 是 否 是 D G A 域 名 的 分 类 过 程 中 ， L S T M 比 R N N 提 升 大 致 1 % 。 在 家 族 分 类 中 ， 即 使 是 L S T M 模 型 也 存 在 某 个 家 族 分 类 错 误 率 较 高 的 情 况 。 虽 然 L S T M 能 够 达 到 9 9 % 的 性 能 ， 但 是 在 数 据 量 如 此 大 的 情 况 下 ， 特 别 是 针 对 恶 意 软 件 的 监 控 中 ， 误 分 类 可 能 也 会 造 成 较 大 的 影 响 ， 还 是 需 要 对 性 能 进 行 更 进 一 步 的 提 升 。 六 、 总 结 六 、 总 结 本 文 围 绕 D G A 域 名 的 检 测 开 展 了 一 系 列 的 工 作 ， 包 括 以 下 几 点 ： 1 ）   对 正 常 域 名 和 D G A 域 名 进 行 了 数 据 分 析 ， 大 致 展 示 了 一 些 数 学 意 义 上 的 分 布 ， 例 如 长 度 、 字 符 。 通 过 该 部 分 内 容 可 以 对 D G A 域 名 和 正 常 域 名 的 区 别 有 简 单 的 了 解 ； 但 这 部 分 也 有 一 些 欠 缺 ， 还 有 很 多 工 作 可 以 分 析 ， 例 如 D G A 域 名 使 用 的 后 缀 ， 域 名 的 熵 值 分 析 等 。 2 ） 利 用 自 然 语 言 处 理 的 方 式 将 域 名 转 化 为 向 量 ， 并 使 用 降 维 算 法 进 行 降 维 后 在 二 维 空 间 进 行 可 视 化 。 但 这 部 分 的 效 果 不 是 很 好 ， 很 多 类 别 都 散 列 在 一 起 ， 只 有 极 少 数 的 家 族 能 够 形 成 簇 ， 这 一 点 比 较 失 败 。 导 致 这 种 现 象 的 原 因 应 该 是 多 方 面 的 ， 可 能 在 降 维 过 程 中 信 息 产 生 了 丢 失 。 3 ） 选 用 深 度 学 习 的 算 法 进 行 相 关 的 分 类 工 作 ， 包 括 是 否 是 D G A ， 以 及 D G A 域 名 的 家 族 分 类 ， 采 用 的 模 型 有 L S T M 和 C N N 。 从 本 次 实 验 中 的 设 置 来 看 ， L S T M 能 达 到 更 好 的 结 果 。 该 部 分 也 存 在 一 些 问 题 ， 例 如 家 族 分 类 中 ， 可 以 看 到 有 些 家 族 的 分 类 较 差 。 本 文 主 要 是 对 D G A 域 名 检 测 过 程 一 次 尝 试 ， 希 望 从 数 据 分 布 的 角 度 了 解 D G A 域 名 ， 利 用 深 度 学 习 的 方 法 实 现 分 类 过 程 ， 同 时 尝 试 使 用 自 然 语 言 处 理 的 方 式 实 现 可 视 化 。 从 上 述 内 容 看 出 ， 本 文 的 实 验 分 析 还 是 由 很 多 欠 缺 ， 例 如 可 视 化 过 程 中 ， 可 以 尝 试 利 用 特 征 工 程 的 方 式 自 己 构 造 特 征 后 降 维 实 现 ； 在 家 族 分 类 中 ， 没 有 使 用 后 缀 信 息 ， 有 些 域 名 家 族 会 固 定 使 用 某 些 后 缀 ， 在 后 续 的 研 究 过 程 中 可 以 添 加 这 部 分 信 息 来 提 高 性 能 。 本 文 中 使 用 的 所 有 代 码 以 J u p y t e r   n o t e b o o k 的 形 式 全 部 上 传 至 G i t h u b ， 有 兴 趣 的 读 者 可 以 自 行 下 载 ， 在 自 己 机 器 上 进 行 实 验 。 参 考 参 考 [ 1 ] m u r o f e t / v 2 / d g a . p y [ 2 ] 正 常 域 名 [ 3 ] 3 6 0 D G A 数 据 [ 4 ] a u x i l i a r y - l o s s - o p t i m i z a t i o n - f o r - h y p o t h e s i s - a u g m e n t a t i o n - f o r - d g a - d o m a i n - d e t e c t i o n [ 5 ] T F - I D F 与 余 弦 相 似 性 的 应 用 （ 一 ） ： 自 动 提 取 关 键 词 [ 6 ] [ N L P ]   秒 懂 词 向 量 W o r d 2 v e c 的 本 质 精 彩 推 荐 精 彩 推 荐
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理