搜索

[15489] 2020-06-13_日志标准化解析的关键内容

文档创建者：s7ckTeam
浏览次数：4
最后更新：2025-01-18
2020-06-13_日志标准化解析的关键内容 日 志 标 准 化 解 析 的 关 键 内 容 s e c i s l a n d   F r e e B u f   2 0 2 0 - 0 6 - 1 3 在 很 多 安 全 分 析 类 产 品 建 设 的 过 程 中 都 会 涉 及 到 关 联 分 析 ， 比 如 日 志 分 析 、 在 很 多 安 全 分 析 类 产 品 建 设 的 过 程 中 都 会 涉 及 到 关 联 分 析 ， 比 如 日 志 分 析 、 s o c 、 态 势 感 知 、 风 控 等 产 品 。 之 前 、 态 势 感 知 、 风 控 等 产 品 。 之 前 的 文 章 中 阐 述 过 五 种 最 常 见 的 关 联 分 析 模 型 ， 在 文 中 也 介 绍 了 ： 要 想 达 到 很 好 的 关 联 分 析 效 果 ， 前 提 是 对 采 集 的 文 章 中 阐 述 过 五 种 最 常 见 的 关 联 分 析 模 型 ， 在 文 中 也 介 绍 了 ： 要 想 达 到 很 好 的 关 联 分 析 效 果 ， 前 提 是 对 采 集 过 来 的 日 志 进 行 标 准 化 解 析 。 解 析 的 维 度 越 多 、 内 容 越 准 确 ， 对 关 联 分 析 的 支 撑 性 就 越 强 。 下 面 就 来 介 绍 一 下 过 来 的 日 志 进 行 标 准 化 解 析 。 解 析 的 维 度 越 多 、 内 容 越 准 确 ， 对 关 联 分 析 的 支 撑 性 就 越 强 。 下 面 就 来 介 绍 一 下 日 志 解 析 的 一 些 常 用 内 容 。 日 志 解 析 的 一 些 常 用 内 容 。 概 述 概 述 很 多 公 司 在 自 己 的 产 品 介 绍 中   描 述 产 品 有 多 少 种 日 志 解 析 规 则 等 等 ， 当 然 ，         这 种 内 置 的 解 析 规 则 对 这 类 产 品   发 挥 了 很 重 要 的 作 用 。 但 这 种 方 式 也 存 在 一 些 问 题 ： 首 先 ， 经 过 时 间         的 推 移 就 会 发 现 ， 每 年 市 场 上 都 会 产 生 不 少 的 新 的 安 全 设 备 和 型 号 ， 导 致 厂 家 很 难 实 现 全 部 预 制 好 的 解 析 规 则 ； 其 次 ， 很 多 设 备 会 经 常 升 级 ， 升 级 后 会 导 致 日 志 种 类 的 增 加 和 调 整 ； 最 后 ， 很 多 设 备 的 日 志 种 类 非 常 之 多 ， 如 果 全 部 内 置 到 系 统 中 , 几 乎 是 不 可 能 完 成 的 任 务 。 所 以 大 多 数 的 产 品 ， 只 内 置 了 部 分 的 日 志 解 析 规 则 。 比 如 思 科 A S A 防 火 墙 ， 从 官 网 看   就 有 好 几 百 种 日 志 格 式 ， 如 果 全 都 内 置 解 , 是 很 大 的 工 作 量 , 何 况 有 时 候 也 没 有 必 要 全 部 解 析 。 根 据 以 上 分 析 可 以 得 出 ， 只 在 产 品 中 内 置 默 认 的 解 析 规 则 是 不 够 的 ， 在 很 多 时 候 需 要 根 据 客 户 的 实 际 环 境 进 行 调 整 。 这 种 情 况 下 ， 日 志 解 析 的 灵 活 性 、 准 确 性 、 扩 展 性 就 显 得 非 常 重 要 了 。 下 面 介 绍         一 下 日 志 解 析 中 常 用 的 内 容 ： 日 志 解 析 关 键 点 日 志 解 析 关 键 点
标 准 化 解 析 ， 也 叫 范 式 化 解 析 ， 解 析 的 目 标 是 把 日 志 中 的 直 接 信 息 和 间 接 信 息 解 析 出 来 ， 作 为 单 独 的 字 段 进 行 存 储 。 对 应 数 据 库 中 就 是 “ 列 ” 的 概 念 。 传 统 上 来 说 ， 存 储 大 多 用 关 系 数 据 库 ， 比 如 ： o r a c l e 、 m y s q l 。 随 着 大 数 据 平 台 的 发 展 ， 最 近 几 年 ， 存 储 都 是 放 在 大 数 据 平 台 上 的 ， 比 如 ： h i v e 、 ， e l a s t i c s e a r c h 等 。 下 面 举 个 l i n u x 下 一 条 常 用 的 登 录 日 志 作 为 例 子 ： 从 这 个 日 志 中 就 可 以 看 到 很 多 的 信 息 ， 比 如 直 接 信 息 包 括 ： 登 录 时 间 ： M a y   2 2   1 7 : 1 3 : 0 1 ； 主 机 名 ： 1 0 - 9 - 8 3 - 1 5 1 ； 进 程 名 ： s s h d ； 进 程 I D ： 1 7 4 2 2 ； 事 件 类 型 ： 登 录 （ 这 个 是 根 据 内 容 分 析 出 来 的 ） ； 登 录 用 户 ： s e c i s l a n d ； 源 i p ： 1 2 9 . 7 4 . 2 2 6 . 1 2 2 ； 端 口 ： 6 4 4 8 5 ； 协 议 ： s s h 2 。 间 接 信 息 主 要 包 括 ： 直 接 信 息 中 体 现 不 出 来 ， 但 通 过 客 户 环 境 的 其 他 信 息 可 以 得 到 的 信 息 ， 比 如 ： 资 产 信 息 ： 通 过 设 备 I P 地 址 可 以 得 到 设 备 的 网 络 域 环 境 、 所 属 业 务 系 统 、 部 署 的 机 房 位 置 、 设 备 管 理 人 员 等 信 息 ； 账 号 信 息 ： 通 过 登 录 账 号 信 息 可 以 得 到 这 个 账 号 授 权 给 哪 个 人 、 账 号 是 否 有 效 、 账 号 创 建 时 间 等 信 息 。 源 i p 相 关 信 息 ： 如 果 是 公 网 ， 可 以 得 到 I P 的 地 理 信 息 ， 包 括 国 家 省 市 、 I P 的 经 纬 度 、 从 情 报 中 可 以 得 到 这 个 I P 是 否 是 高 危 I P 等 ； 如 果 这 个 I P 是 内 网 ， 可 以 得 到 这 个 I P 的 部 署 位 置 、 分 配 给 哪 个 人 、 网 络 域 信 息 、 业 务 信 息 等 。 通 过 上 面 的 分 析 后 ， 把 每 个 字 段 存 储 到 数 据 库 中 ， 这 样 日 志 的 信 息 就 很 丰 富 了 ， 为 后 面 的 关 联 分 析 、 统 计 报 表 等 打 下 了 坚 实 的 基 础 。 解 析 的 关 键 点 如 上 所 述 ， 但 在 日 志 解 析 的 实 际 操 作 阶 段 有 几 个 不 可 回 避 的 问 题 ： 1 、   预 解 析 和 后 解 析 ； 2 、   自 定 义 解 析 的 灵 活 性 ； 3 、   自 定 义 解 析 支 持 的 灵 活 性 ； 4 、   自 定 义 解 析 的 效 率 。
预 解 析 和 后 解 析 预 解 析 和 后 解 析 预 解 析 的 主 要 含 义 是 ， 在 入 库 之 前 把 所 有 维 度 的 信 息 预 先 解 析 出 来 ， 然 后 进 行 入 库 ； 后 解 析 的 主 要 含 义 是 反 过 来 的 ， 就 是 刚 开 始 只 入 库 原 始 日 志 等 基 本 信 息 ， 后 面 需 要 进 行 搜 索 、 告 警 、 报 表 等 操 作 的 时 候 ， 再 把 需 要 的 维 度 放 在 内 存 中 进 行 解 析 。 预 解 析 的 优 势 是 预 先 把 维 度 存 储 到 数 据 库 中 ， 使 后 面 的 操 作 更 加 便 捷 ， 劣 势 是 需 要 额 外 占 用 存 储 空 间 ， 并 且 当 预 先 解 析 内 容 不 准 确 或 者 内 容 有 变 化 的 时 候 ， 无 法 进 行 下 一 步 的 分 析 （ 比 如 账 号 信 息 发 生 了 变 化 ） ； 后 解 析 的 优 缺 点 正 好 和 预 解 析 相 反 。 目 前 市 场 上 绝 大 多 数 的 产 品 都 是 预 解 析 ， 纯 后 解 析 的 产 品 几 乎 没 有 。 比 较 理 想 的 解 析 方 式 是 预 解 析 和 后 解 析 相 结 合 ， 目 前 市 场 上 只 有 少 量 产 品 支 持 这 种 特 性 。 这 种 特 性 结 合 了 两 者 的 优 点 ， 缺 点 又 相 对 能 接 受 ， 可 以 达 到 一 个 比 较 好 的 平 衡 。 但 这 种 方 式 为 什 么 市 场 上 用 的 少 呢 ？ 据 我 分 析 ， 主 要 的 原 因 是 这 种 模 式 过 于 复 杂 。 首 先 是 操 作 复 杂 ， 这 种 模 式 要 求 使 用 者 掌 握 一 些 相 关 技 能 ； 其 次 是 技 术 复 杂 ， 目 前 应 用 较 广 的 大 数 据 平 台 技 术 ， 对 关 联 查 询 的 支 持 不 是 特 别 理 想 ， 比 如 E l a s t i c s e a r c h 目 前 对 关 联 查 询 就 非 常 繁 琐 。 但 是 这 种 预 解 析 和 后 解 析 相 结 合 的 方 式 在 应 用 上 优 势 明 显 ， 是 日 志 解 析 未 来 的 发 展 趋 势 。 其 他 问 题 可 以 通 过 特 殊 手 段 来 解 决 ， 比 如 ： 可 以 把 繁 琐 的 操 作 封 装 在 产 品 中 ， 隐 藏 在 操 作 的 后 台 ； 如 果 用 关 系 数 据 库 ， 倒 是 容 易 解 决 后 处 理 的 问 题 ， 但 是 多 数 关 系 数 据 库 的 处 理 能 力 和 目 前 的 大 数 据 平 台 还 是 有 较 大 差 距 ， 可 以 在 日 志 数 量 不 大 的 时 候 使 用 。
自 定 义 解 析 的 灵 活 性 自 定 义 解 析 的 灵 活 性 通 过 前 面 的 分 析 得 知 ， 日 志 标 准 化 解 析 在 这 类 产 品 中 的 地 位 举 足 轻 重 。 如 何 把 日 志 解 析 的 能 力 提 供 出 来 ， 就 显 得 尤 为 重 要 ， 目 前 自 定 义 解 析 的 方 式 主 要 有 几 种 方 式 ： 通 过 编 码 实 现 。 直 接 在 代 码 中 处 理 ， 编 译 发 布 ， 这 种 方 式 对 厂 家 来 说 最 灵 活 ， 但 对 使 用 者 来 说 最 麻 烦 ， 因 为 几 乎 没 有 办 法 进 行 调 整 ； 通 过 配 置 文 件 实 现 。 比 如 l o g s t a s h 中 配 置 i n p u t ， f i l t e r ， o u t p u t 等 ， 这 种 方 式 解 决 了 用 户 不 能 直 接 调 整 的 问 题 ， 非 常 方 便 。 但 这 种 情 况 只 能 登 录 后 台 查 看 配 置 文 件 ， 如 果 安 装 的 比 较 多 ， 调 整 修 改 起 来 会 稍 显 繁 琐 ； 通 过 工 具 生 成 。 比 如 之 前 版 本 的 s y m a n t e c 的 s s i m 平 台 ， 通 过 他 们 提 供 的 工 具 实 现 进 行 配 置 ， 继 而 导 出 他 们 产 品 能 识 别 的 安 装 包 ， 最 后 安 装 到 平 台 中 。 这 种 方 式 本 质 上 是 前 面 两 种 解 析 方 式 的 结 合 ， 比 较 灵 活 。 唯 一 的 缺 点 ， 是 解 析 查 看 的 时 候 需 要 借 助 工 具 ， 如 果 有 修 改 或 者 添 加 的 操 作 ， 需 要 重 新 部 署 一 遍 ； 通 过 脚 本 实 现 。 脚 本 实 现 其 实 可 以 归 于 编 码 实 现 的 一 个 特 例 ， 只 是 大 多 数 脚 本 不 用 编 译 ， 可 以 直 接 运 行 。 这 种 解 析 方 式 的 优 点 是 比 较 灵 活 ， 缺 点 是 对 使 用 者 要 求 较 高 ， 同 样 调 整 修 改 起 来 较 为 麻 烦 ； 通 过 界 面 配 置 的 方 式 实 现 。 就 是 在 平 台 上 直 接 进 行 配 置 ， 比 如 s p l u n k 、 s e c i l o g 等 ， 这 种 方 式 的 优 点 是 比 较 灵 活 ， 从 界 面 上 配 置 非 常 方 便 。   根 据 上 面 的 分 析 可 以 得 知 ， 通 过 界 面 配 置 的 方 式 最 优 ， 其 次 是 通 过 配 置 文 件 ， 最 劣 的 是 通 过 代 码 实 现 。 自 定 义 解 析 支 持 的 灵 活 性 自 定 义 解 析 支 持 的 灵 活 性 下 面 介 绍 自 定 义 解 析 的 具 体 关 键 点 ， 主 要 包 括 存 储 结 构 、 语 法 支 持 、 函 数 支 持 、 上 下 文 关 联 、 外 接 知 识 库 等 内 容 。 存 储 结 构 ： 常 用 的 解 析 语 法 主 要 包 括 X M L 、 配 置 文 件 、 数 据 库 存 储 ， 这 几 种 存 储 结 构 可 以 满 足 大 多 数 的 场 景 需 求 ， 提 供 X M L 的 存 储 结 构 的 大 多 是 通 过 工 具 进 行 生 成 。 语 法 支 持 ： 目 前 解 析 语 法 大 多 用 的 是 g r o k 或 者 类 似 g r o k 语 法 的 结 构 ， 大 多 都 支 持 正 则 表 达 式 、 函 数 等 方 式 ， 从 大 的 方 面 都 支 持 ， 要 对 比 解 析 的 优 劣 主 要 依 靠 细 节 。 常 用 能 力 支 持 ： 字 符 串 ： 字 符 串 提 取 ， 比 如 想 在 字 符 串 1 2 3 - 4 4 5 - 7 8 9 - 0 1 2 中 提 取 4 4 5 - 7 8 9 是 否 方 便 ； 字 符 串 拼 接 ， 比 如 两 个 字 段 拼 接 成 一 个 字 段 ， a d d ( s o u r c e I p , e v e n t I d ) ； 字 符 串 替 换 ， 比 如 把 字 符 串 中 的 - 替 换 成 空 格 ， r e p l a c e A l l   ( “ - ” , ” ” ) ； I F 函 数 ： 比 如 很 多 日 志 中 可 能 是 0 表 示 成 功 ， i f ( “ 0 ” , ” s u c c e s s ” , ” f a i l ” ) ； 多 维 度 支 持 ： 比 如 日 志 源 I P 信 息 ， 在 解 析 的 时 候 需 要 添 加 到 目 标 I P 和 日 志 源 I P 中 ； 内 置 分 析 ： 比 如 h t t p 请 求 中 的 u s e r a g e n t ， 这 里 面 含 有 大 量 的 信 息 ， 是 否 能 把 里 面 的 浏 览 器 、 操 作 系 统 、 版 本 等 分 析 出 来 ；
字 典 支 持 ： 在 日 志 中 有 很 多 数 据 是 有 含 义 的 ， 尤 其 是 业 务 日 志 ， 但 在 日 志 保 存 的 时 候 很 多 日 志 存 储 的 是 编 码 ， 这 个 时 候 需 要 通 过 字 典 把 编 码 对 应 的 名 称 添 加 进 来 ； 数 据 补 全 ： 在 日 志 中 有 直 接 含 义 也 有 间 接 含 义 的 数 据 ， 比 如 日 志 源 I P ， 需 要 知 道 这 个 I P 是 哪 个 人 在 用 ， 属 于 哪 个 部 门 的 ； 比 如 日 志 中 有 账 号 信 息 ， 需 要 了 解 这 个 账 号 的 部 门 ， 姓 名 等 信 息 ； 上 下 文 关 联 ： 有 很 多 日 志 会 存 在 不 一 致 的 地 方 ， 比 如 s f t p 登 录 日 志 中 有 账 号 信 息 ， 但 操 作 日 志 中 没 有 账 号 信 息 ， 这 个 时 候 需 要 在 操 作 日 志 中 把 登 录 的 账 号 补 全 进 来 ， 这 样 才 有 利 于 进 一 步 的 分 析 ； I P 库 支 持 ： 很 多 公 网 I P 通 过 I P 知 识 库 是 可 以 知 道 国 家 、 省 、 市 、 地 理 信 息 的 ， 这 个 在 做 分 析 的 时 候 比 较 有 用 ； 如 果 是 内 网 ， 可 以 通 过 配 置 国 家 、 省 、 市 、 地 理 信 息 达 到 同 样 的 效 果 ； 非 上 班 时 间 的 支 持 ： 国 内 有 法 定 假 ， 法 定 假 可 能 存 在 调 休 等 ， 而 且 每 年 的 法 定 假 都 不 一 样 ， 所 以 还 要 等 到 年 底 国 家 才 能 颁 布 下 一 年 的 法 定 休 假 的 方 案 ； 很 多 客 户 也 有 会 调 班 的 情 况 ， 这 种 情 况 的 工 作 日 和 非 工 作 日 就 比 较 特 殊 。 在 很 多 告 警 规 则 中 都 有 非 上 班 时 间 的 诉 求 ， 比 如 非 上 班 时 间 登 录 服 务 器 ， 非 上 班 时 间 进 行 了 敏 感 文 件 操 作 等 ， 这 个 时 候 对 非 上 班 能 力 的 支 持 就 很 重 要 。 自 定 义 解 析 的 效 率 自 定 义 解 析 的 效 率 日 志 解 析 使 用 不 同 的 技 术 对 效 率 的 影 响 是 不 一 样 的 ， 目 前 主 流 的 几 种 方 式 主 要 有 模 板 方 式 、 正 则 表 达 式 方 式 等 。 这 几 种 方 式 的 效 率 有 比 较 大 的 区 别 ， 模 板 方 式 的 灵 活 性 比 正 则 表 达 式 方 式 稍 微 低 一 些 ， 但 从 效 率 上 来 看 ， 模 板 方 式 比 正 则 表 达 方 式 高 很 多 。 比 较 理 想 的 方 式 是 大 部 分 解 析 用 模 板 的 方 式 去 实 现 ， 少 量 复 杂 的 解 析 用 正 则 表 达 式 的 方 式 去 实 现 。 这 样 就 达 到 了 灵 活 性 和 效 率 之 间 的 平 衡 。 上 面 列 出 了 日 志 解 析 的 常 用 关 键 内 容 ， 这 些 内 容 支 持 的 灵 活 性 越 高 越 好 。 在 实 施 S O C 、 态 势 感 知 等 产 品 的 时 候 ， 经 常 会 花 费 大 量 的 时 间 在 解 析 上 面 ， 如 果 能 灵 活 支 持 ， 可 以 大 幅 度 提 高 效 率 和 效 果 。 小 结 小 结 前 面 介 绍 的 是 目 前 日 志 标 准 化 解 析 的 一 些 关 键 内 容 ， 可 以 作 为 安 全 分 析 产 品 中 日 志 解 析 灵 活 性 评 判 的 一 个 参 考 。 提 高 日 志 解 析 的 准 确 性 、   灵 活 性 也 是 一 个 非 常 复 杂 的 过 程 ， 这 部 分 的 处 理 对 后 续 的 关 联 分 析 等 起 到 非 常 重 要 的 作 用 。 日 志 解 析 存 储 后 ， 如 何 在 海 量 数 据 中 进 行 搜 索   ， 也 是 个 非 常 重 要 的 问 题 。 存 储 只 是 解 决 了   “ 有 ” 的 问 题 ， 但 如 何 更 高 效 便 捷 地   从 中 找 到 想 要 的 数 据 ， 支 持 什 么 样 的 接 口 可 以 让 客 户 快 速 准 确 地 找 到 想 要 的 内 容 也 是 非 常 重 要 的 ， 后 面 有 时 间 再 详 细 介 绍 这 方 面 的 内 容 。 日 志 解 析 本 身 是 一 个 比 较 复 杂 的 话 题 ， 我 尽 量 保 证 内 容 观 点 正 确 ， 但 本 人 才 学 疏 浅 ， 文 中 若 有 不 足 之 处 欢 迎 大 家 批 评 指 正 。
思 科 A S A 日 志 参 考 地 址 ： h t t p s : / / w w w . c i s c o . c o m / c / e n / u s / t d / d o c s / s e c u r i t y / a s a / s y s l o g / b _ s y s l o g . h t m l * 本 文 作 者 ： 本 文 作 者 ： s e c i s l a n d ， 转 载 请 注 明 来 自 ， 转 载 请 注 明 来 自 F r e e B u f . C O M 精 彩 推 荐 精 彩 推 荐 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理