搜索

[13683] 2019-01-22_攻防系统之攻防环境介绍&搭建

文档创建者：s7ckTeam
浏览次数：4
最后更新：2025-01-18
2019-01-22_攻防系统之攻防环境介绍&搭建 攻 防 系 统 之 攻 防 环 境 介 绍 & 搭 建 原 创   g n c a o   F r e e B u f   2 0 1 9 - 0 1 - 2 2 一 、 前 言 一 、 前 言 为 什 么 要 搞 这 个 东 西 呢 ， 因 为 自 己 希 望 能 够 通 过 这 个 为 什 么 要 搞 这 个 东 西 呢 ， 因 为 自 己 希 望 能 够 通 过 这 个 “ 课 题 课 题 ” 提 高 自 己 的 渗 透 技 术 、 提 高 自 己 的 应 急 响 应 能 力 ， 提 高 自 己 的 渗 透 技 术 、 提 高 自 己 的 应 急 响 应 能 力 ， 同 时 提 升 监 测 平 台 的 有 效 检 测 率 。 听 起 来 感 觉 不 错 的 样 子 ， 但 是 目 前 没 有 在 互 联 网 上 发 现 类 似 的 环 境 ， 所 以 就 同 时 提 升 监 测 平 台 的 有 效 检 测 率 。 听 起 来 感 觉 不 错 的 样 子 ， 但 是 目 前 没 有 在 互 联 网 上 发 现 类 似 的 环 境 ， 所 以 就 只 能 自 己 动 手 来 搭 建 这 套 系 统 ， 希 望 这 篇 文 章 能 够 给 让 大 家 多 一 点 想 法 ， 多 一 点 思 路 。 当 然 本 文 肯 定 会 有 不 足 只 能 自 己 动 手 来 搭 建 这 套 系 统 ， 希 望 这 篇 文 章 能 够 给 让 大 家 多 一 点 想 法 ， 多 一 点 思 路 。 当 然 本 文 肯 定 会 有 不 足 之 处 ， 也 希 望 大 家 多 多 提 出 意 见 ， 有 则 改 进 、 无 则 勉 之 。 之 处 ， 也 希 望 大 家 多 多 提 出 意 见 ， 有 则 改 进 、 无 则 勉 之 。 二 、 连 载 介 绍 二 、 连 载 介 绍 既 然 是 一 个 课 题 ， 是 一 个 连 载 系 列 ， 所 以 后 面 还 会 有 其 他 文 章 输 出 ， 那 作 为 第 一 个 开 篇 的 文 章 ， 我 要 在 这 里 给 大 家 简 单 介 绍 下 这 个 课 程 大 纲   。 目 前 规 划 主 要 有 四 个 大 章 节 。 第 一 章 ： 攻 防 环 境 介 绍 第 一 章 ： 攻 防 环 境 介 绍 & 搭 建 （ 也 就 是 本 篇 文 章 ） 搭 建 （ 也 就 是 本 篇 文 章 ） 第 二 章 ： 主 机 入 侵 第 二 章 ： 主 机 入 侵 & 响 应 响 应 2 . 1   s s h 端 口 爆 破 2 . 2   f t p 端 口 爆 破 2 . 3   m y s q l 服 务 爆 破 2 . 4   t e l n e t 服 务 爆 破 . . . 第 三 章 ： 第 三 章 ： W e b 应 用 入 侵 应 用 入 侵 & 响 应 响 应 3 . 1   s q l 注 入 3 . 2   x s s 攻 击 3 . 3   文 件 上 传 3 . 4   命 令 执 行 . . . 第 四 章 ： 后 门 第 四 章 ： 后 门 / 木 马 入 侵 木 马 入 侵 & 响 应 响 应 3 . 1   后 门 入 侵 & 检 测 3 . 2   挖 矿 病 毒 入 侵 & 检 测 . . .
三 、 环 境 介 绍 三 、 环 境 介 绍 因 为 资 源 的 限 制 ， 所 以 目 前 整 套 系 统 都 在 虚 拟 机 环 境 中 搭 建 。 整 个 环 境 包 含 三 台 虚 拟 机 （ 未 来 应 该 会 扩 展 到 四 台 虚 拟 机 ） ， 一 台 攻 击 主 机 、 两 台 受 害 主 机 、 一 台 监 测 主 机 。 拓 扑 图 如 下 （ 没 有 v i s i o 工 具 ， 画 的 很 丑 ， 大 家 将 就 着 看 吧 ） ： 看 图 可 能 有 些 同 学 看 不 出 来 是 个 啥 玩 意 ， 我 来 解 释 下 。 a t t a c k e r 作 为 一 个 攻 击 者 会 对 受 害 者 1 和 受 害 者 2 分 别 发 起 攻 击 （ 两 种 操 作 系 统 ） ， 然 后 事 先 我 们 在 两 个 受 害 者 主 机 上 分 别 安 装 了 f l u m e 客 户 端 ， f l u m e 会 采 集 操 作 系 统 、 应 用 软 件 的 日 志 信 息 实 时 传 送 给 o b s e r v e r 监 控 主 机 ， 监 控 主 机 上 运 行 着 监 控 平 台 ， 通 过 加 载 检 测 规 则 分 析 日 志 ， 发 现 攻 击 行 为 并 发 出 告 警 信 息 ， 当 然 最 后 在 o b s e r v e r 主 机 上 会 有 展 示 页 面 ， 展 示 攻 击 行 为 。 通 过 这 样 一 套 环 境 ， 我 们 需 要 掌 握 攻 击 技 能 、 响 应 能 力 和 检 测 能 力 ， 所 以 对 于 个 人 的 技 术 提 升 有 很 大 的 帮 助 。 各 个 虚 拟 机 的 详 细 信 息 如 下 表 所 示 ： 主 机 名 称 主 机 名 称 角 色 角 色 I P 地 址 地 址 操 作 系 统 操 作 系 统 A t t a c k e r 攻 击 机 1 9 2 . 1 6 8 . 1 7 1 . 1 W i n 1 0 V i c t i m 1 受 害 主 机 1 1 9 2 . 1 6 8 . 1 7 1 . 1 2 1 C e n t o s 7 _ 6 4 V i c t i m 2 受 害 主 机 2 1 9 2 . 1 6 8 . 1 7 1 . 1 2 2 W i n S e r v e r 2 0 1 2 _ 6 4 O b s e r v e r 监 测 主 机 1 9 2 . 1 6 8 . 1 7 1 . 1 2 0 C e n t o s 7 _ 6 4 四 、 环 境 搭 建 四 、 环 境 搭 建 目 前 第 一 阶 段 先 不 启 用 v i c t i m 2 虚 拟 机 ， 第 一 阶 段 力 求 搞 懂 L i n u x 环 境 下 的 攻 防 ， 所 以 整 个 环 境 就 需 要 从 三 个 虚 拟 机 开 始 搭 建 。 4 . 1   A t t a c k e r
为 了 保 证 资 源 的 合 理 运 用 ， 攻 击 机 就 使 用 物 理 主 机 ， I P 地 址 和 操 作 系 统 均 符 合 上 述 要 求 。 4 . 2   V i c t i m 1 受 害 主 机 在 未 来 需 要 安 装 许 多 程 序 软 件 ， 用 来 作 为 一 个 攻 击 靶 机 ， 包 含 s s h 、 m y s q l 、 a p a c h e 、 f t p 等 等 ； 同 时 也 需 要 安 装 f l u m e 客 户 端 采 集 服 务 器 日 志 信 息 ； 4 . 2 . 1   安 装 系 统 安 装 系 统 安 装 系 统 比 较 简 单 ， 只 是 在 选 择 镜 像 文 件 的 时 候 没 有 直 接 选 择 c e n t o s 7 镜 像 文 件 ， 而 是 选 择 稍 后 安 装 ， 同 时 在 启 动 虚 拟 机 后 选 择 安 装 的 类 型 是 m i n i m a l 模 式 ， 即 没 有 图 形 化 的 最 简 约 模 式 。 4 . 2 . 2   给 用 户 授 予 给 用 户 授 予 s u d o 权 限 权 限 在 c e n t o s 7 安 装 的 时 候 会 创 建 一 个 账 户 ( 可 选 ) ， 但 是 创 建 完 的 账 户 是 没 有 s u d o 权 限 的 ， 安 装 一 些 程 序 的 时 候 就 比 较 麻 烦 ， 所 以 先 给 这 个 账 户 授 予 s u d o 权 限 。 1 ） 首 先 找 到 s u d o e r s 文 件 ， 一 般 都 在 / e t c / s u d o e r s 这 个 位 置 ： 2 ） 修 改 该 文 件 权 限 为 可 写 状 态 ： 3 ） 编 辑 文 件 内 容 ： 在 r o o t     A L L = ( A L L ) A L L 这 一 行 下 面 增 加 新 的 一 行 这 里 表 示 v i c t i m 用 户 将 会 具 备 s u d o e r s 权 限 。 4 ） 还 原 s u d o e r s 文 件 权 限 ： 4 . 2 . 3   更 新 更 新 y u m 源 并 安 装 源 并 安 装 s s h 服 务 服 务 这 时 候 就 切 到 普 通 用 户 v i c t i m 下 执 行 下 面 的 命 令 ： 一 般 安 装 目 录 都 是 / e t c / s s h d / 。 启 动 s s h ： s e r v i c e   s s h d   s t a r t 。 4 . 2 . 4   安 装 安 装 j a v a 并 配 置 环 境 变 量 并 配 置 环 境 变 量 安 装 f l u m e 前 必 须 要 先 安 装 j a v a 环 境 ， 且 对 J a v a 的 版 本 要 求 有 限 制 ， 这 里 我 使 用 的 j d k 是 1 . 8 的 ， f l u m e 是 1 . 6 . 0 - c d h 5 . 7 . 0 的 。 1 ） 分 别 在 h o m e 目 录 下 创 建 a p p 和 s o f t w a r e 文 件 夹 ， a p p 是 程 序 安 装 目 录 ， s o f t w a r e 是 程 序 安 装 包 目 录 ： 2 ） 解 压 s o f t w a r e 目 录 下 的 j d k 文 件 到 a p p 目 录 下 ： w h e r e i s   s u d o e r s c h m o d   - v   u + w   / e t c / s u d o e r s v i c t i m   A L L = ( A L L ) A L L c h m o d   - v   u - w   / e t c / s u d o e r s s u d o   y u m   - y   u p d a t e s u d o   y u m   - y   i n s t a l l   o p e n s s h - s e r v e r m k d i r   a p p m k d i r   s o f t w a r e t a r   z x v f   j d k - 8 u 1 3 1 - l i n u x - x 6 4 . t a r . g z   - C   . . / a p p /
3 ） 配 置 环 境 变 量 V i m   ~ / . b a h s r c   增 加 如 下 信 息 ： 保 存 退 出 后 激 活 环 境 变 量 ： 在 命 令 行 下 输 入 j a v a 命 令 能 够 查 看 到 配 置 选 项 信 息 则 表 示 j a v a 环 境 安 装 成 功 。 4 . 2 . 5   安 装 安 装 f l u m e 并 配 置 环 境 变 量 并 配 置 环 境 变 量 f l u m e 的 作 用 就 是 从 服 务 器 这 里 采 集 日 志 数 据 传 送 给 l o g g e r 或 者 其 他 服 务 器 。 类 似 的 客 户 端 还 有 f i l e b e a t 等 。 1 ） 解 压 f l u m e 文 件 到 a p p 目 录 下 ： 2 ） 配 置 环 境 变 量 V i m   ~ / . b a h s r c   增 加 如 下 信 息 ： 保 存 退 出 后 激 活 环 境 变 量 ： 在 命 令 行 下 输 入 e c h o   $ F L U M E _ H O M E 命 令 能 够 查 看 到 f l u m e 的 安 装 目 录 则 表 示 成 功 安 装 。 4 . 2 . 6   配 置 配 置 f l u m e - e n v . s h 这 个 文 件 在 启 动 f l u m e 的 时 候 有 用 到 ， 需 要 配 置 该 文 件 中 j a v a 环 境 变 量 ： 1 ） 切 换 到 f l u m e 的 c o n f 目 录 下 ， 拷 贝 f l u m e - e n v . s h . t e m p l a t e 文 件 并 重 名 为 f l u m e - e n v . s h ； 2 ） 编 辑 f l u m e - e n v . s h 文 件 。 取 消 e x p o r t   J A V A H O M E 前 面 的 注 释 ， 并 修 改 J A V A H O M E 变 量 指 向 J A V A 目 录 ： 4 . 2 . 7   检 查 检 查 f l u m e 是 否 能 够 正 常 启 动 是 否 能 够 正 常 启 动 1 ） 在 f l u m e 的 c o n f 目 录 下 ， 新 建 e x a m p l e . c o n f 文 件 ， 这 个 文 件 是 f l u m e 的 配 置 文 件 ， 配 置 监 听 的 数 据 源 和 指 定 数 据 输 出 ， 内 容 如 下 ： 这 里 的 配 置 文 件 表 示 监 听 v i c t i m 主 机 的 4 4 4 4 4 端 口 并 输 出 到 l o g g e r 窗 口 ， 保 存 文 件 并 退 出 。 2 ） 启 动 a g e n t 切 换 到 f l u m e 的 b i n 目 录 下 ， 执 行 如 下 命 令 ： # j d k e x p o r t   J A V A _ H O M E = / h o m e / v i c t i m / a p p / j d k 1 . 8 . 0 _ 1 3 1 e x p o r t   J R E _ H O M E = $ { J A V A _ H O M E } / j r e e x p o r t   C L A S S P A T H = . : $ { J A V A _ H O M E } / l i b : $ { J R E _ H O M E } / l i b e x p o r t   P A T H = $ { J A V A _ H O M E } / b i n : $ P A T H S o u r c e   ~ / . b a s h r c t a r   z x v f   f l u m e - n g - 1 . 6 . 0 - c d h 5 . 7 . 0 . t a r . g z   - C . . / a p p / # f l u m e e x p o r t F L U M E _ H O M E = / h o m e / h a d o o p / a p p / a p a c h e - f l u m e - 1 . 6 . 0 - c d h 5 . 7 . 0 - b i n e x p o r t   P A T H = $ { J A V A _ H O M E } / b i n : $ P A T H S o u r c e   ~ / . b a s h r c e x p o r t   J A V A _ H O M E = / h o m e / v i c t i m / a p p / j d k 1 . 8 . 0 _ 1 3 1 # a 1 ： a g e n t 名 称 # r 1 ： 数 据 源 名 称 # k 1 ： s i n k 的 名 称 # c 1 ： c h a n n e l 的 名 称   #   e x a m p l e . c o n f :   A   s i n g l e - n o d e   F l u m e   c o n f i g u r a t i o n #   N a m e   t h e   c o m p o n e n t s   o n   t h i s   a g e n t a 1 . s o u r c e s   =   r 1 a 1 . s i n k s   =   k 1 a 1 . c h a n n e l s   =   c 1   #   D e s c r i b e / c o n f i g u r e   t h e   s o u r c e a 1 . s o u r c e s . r 1 . t y p e   =   n e t c a t a 1 . s o u r c e s . r 1 . b i n d   =   v i c t i m a 1 . s o u r c e s . r 1 . p o r t   =   4 4 4 4 4   #   D e s c r i b e   t h e   s i n k a 1 . s i n k s . k 1 . t y p e   =   l o g g e r   #   U s e   a   c h a n n e l   w h i c h   b u f f e r s   e v e n t s   i n   m e m o r y a 1 . c h a n n e l s . c 1 . t y p e   =   m e m o r y   #   B i n d   t h e   s o u r c e   a n d   s i n k   t o   t h e   c h a n n e l # 一 个 s o u r c e 可 以 输 出 到 多 个 c h a n n e l ， 所 以 是 c h a n n e l s a 1 . s o u r c e s . r 1 . c h a n n e l s   =   c 1 a 1 . s i n k s . k 1 . c h a n n e l   =   c 1 . / f l u m e - n g   a g e n t   - - n a m e   a 1   - - c o n f   $ F L U M E _ H O M E / c o n f - - c o n f - f i l e   $ F L U M E _ H O M E / c o n f / e x a m p l e . c o n f   - D f l u m e . r o o t . l o g g e r = I N F O , c o n s o l e
a 1 表 示 的 是 a g e n t 名 称 ， 若 出 现 如 下 信 息 ， 表 示 a g e n t 启 动 成 功 。 其 中 c o n s o l e 表 示 接 收 到 的 数 据 显 示 在 命 令 行 窗 口 。 3 ） 模 拟 数 据 来 源 新 开 命 令 行 窗 口 ， 输 入 命 令 ： 并 在 命 令 行 中 随 意 输 入 信 息 ， 这 些 信 息 将 成 为 数 据 源 传 送 到 l o g g e r 窗 口 ： 4 ） 检 查 是 否 成 功 若 在 l o g g e r 窗 口 下 看 到 t e l n e t 窗 口 的 输 入 数 据 则 表 示 f l u m e 安 装 成 功 ： 至 此 ， v i c t i m 的 安 装 工 作 基 本 完 成 ， 后 续 再 陆 续 安 装 其 他 程 序 。 在 跟 o b s e r v e r 联 动 的 时 候 f l u m e 配 置 文 件 需 要 更 改 ， 更 改 内 容 后 续 会 有 介 绍 。 4 . 3   O b s e r v e r o b s e r v e r 作 为 一 台 监 控 主 机 上 面 运 行 着 监 控 程 序 ， 用 来 监 控 日 志 中 是 否 存 在 攻 击 行 为 并 发 出 告 警 信 息 。 在 这 台 主 机 上 需 要 安 装 f l u m e 接 收 v i c t i m 的 日 志 （ 其 实 可 以 直 接 用 k a f k a 接 收 v i c t i m 的 日 志 ） ， k a f k a 做 数 据 传 输 ， s p a r k s t r e a m i n g 做 数 据 实 时 分 析 ， M y S Q L 存 储 处 理 后 的 数 据 ， d j a n g o 做 数 据 展 示 。 其 中 核 心 的 是 s p a r k   s t r e a m i n g 其 中 的 规 则 处 置 ， 规 则 的 好 坏 决 定 着 系 统 的 误 报 和 漏 报 情 况 。 4 . 3 . 1   安 装 系 统 安 装 系 统 4 . 3 . 2   给 用 户 授 予 给 用 户 授 予 s u d o 权 限 权 限 4 . 3 . 3   更 新 更 新 y u m 源 并 安 装 源 并 安 装 s s h t e l n e t   v i c t i m     4 4 4 4 4
4 . 3 . 4   安 装 安 装 j a v a 环 境 环 境 4 . 3 . 5   安 装 安 装 f l u m e 这 五 个 步 骤 的 安 装 方 法 同 v i c t i m 服 务 器 一 致 ， 下 面 是 o b s e r v e r 的 安 装 重 点 。 4 . 3 . 6   安 装 安 装 z o o k e e p e r 在 安 装 k a f k a 之 前 要 先 安 装 z o o k e e p e r ， 因 为 k a f k a 的 集 群 管 理 都 是 通 过 z o o k e e p e r 来 实 现 的 。 1 ） 下 载 z o o k e e p e r 并 解 压 到 a p p 目 录 下 ： 2 ） 配 置 z o o k e e p e r 的 环 境 变 量 v i m   ~ / . b a s h r c ， 增 加 如 下 内 容 ： 保 存 推 出 后 ， 激 活 当 前 环 境 变 量 ： 然 后 命 令 行 下 输 入   e c h o   $ Z K _ H O M E 如 果 能 够 正 常 输 出 z o o k e e p e r 目 录 则 表 示 环 境 变 量 配 置 成 功 。 3 ） 配 置 z o o k e e p e r 切 换 到 z o o k e e p e r 的 c o n f 目 录 下 ， 拷 贝 z o o _ s a m p l e . c f g 文 件 为 z o o . c f g 文 件 ， 并 编 辑 z o o . c f g 文 件 。 修 改 d a t a d i r 为 自 定 义 的 文 件 目 录 ， 如 果 不 修 改 该 选 项 则 有 可 能 存 在 默 认 的 文 件 目 录 被 删 除 的 情 况 。 因 为 资 源 有 限 所 以 只 能 单 机 模 式 运 行 z o o k e e p e r 和 k a f k a 。 4 ） 启 动 z o o k e e p e r 切 换 到 z o o k e e p e r 的 b i n 目 录 下 ， 输 入 如 下 命 令 启 动 z o o k e e p e r ： 如 果 出 现 如 下 所 示 信 息 则 表 示 z o o k e e p e r 启 动 成 功 ： 4 . 3 . 7   安 装 安 装 k a f k a 安 装 完 z o o k e e p e r 之 后 就 可 以 安 装 k a f k a 了 ， 配 置 过 程 也 不 麻 烦 。 1 ） 下 载 k a f k a 并 解 压 到 a p p 目 录 下 ： 2 ） 配 置 k a f k a 环 境 变 量 v i m   ~ / . b a s h r c ， 增 加 如 下 内 容 ： t a r   z x v f   z o o k e e p e r - 3 . 4 . 5 - c d h 5 . 7 . 0 . t a r . g z   - C   . . / a p p / # z k e x p o r t   Z K _ H O M E = / h o m e / h a d o o p / a p p / z o o k e e p e r - 3 . 4 . 5 - c d h 5 . 7 . 0 e x p o r t   P A T H = $ { Z K _ H O M E } / b i n : $ P A T H s o u r c e   ~ / . b a s h r c d a t a D i r = / h o m e / h a d o o p / a p p / t m p / z k         . / z k S e r v e r . s h   s t a r t         t a r   z x v f   k a f k a _ 2 . 1 1 - 0 . 9 . 0 . 0 . t g z   - C   . . / a p p / # k a f k a e x p o r t   K A F K A _ H O M E = / h o m e / h a d o o p / a p p / k a f k a _ 2 . 1 1 - 0 . 9 . 0 . 0 e x p o r t   P A T H = $ { K A F K A _ H O M E } / b i n : $ P A T H
保 存 退 出 后 ， 激 活 当 前 环 境 变 量 ： 然 后 命 令 行 下 输 入   e c h o   $ K A F K A _ H O M E 如 果 能 够 正 常 输 出 k a f k a 目 录 则 表 示 环 境 变 量 配 置 成 功 。 3 ） 配 置 s e r v e r . p r o p e r t i e s 文 件 切 换 到 k a f k a 的 c o n f i g 目 录 下 ， 编 辑 s e r v e r . p r o p e r t i e s 文 件 ， 编 辑 配 置 如 下 选 项 ： 配 置 完 成 后 保 存 退 出 4 ） 启 动 k a f k a 运 行 b i n 目 录 下 的 k a f k a - s e r v e r - s t a r t . s h 文 件 ： 输 入 完 命 令 后 会 显 示 如 下 信 息 ： 新 开 一 个 窗 口 输 入 j p s   - m 命 令 ， 查 看 如 果 存 在 如 下 进 程 则 表 示 程 序 已 经 正 常 启 动 。 5 ） 创 建 t o p i c 一 个 业 务 一 个 t o p i c ， 在 正 式 使 用 k a f k a 之 前 我 们 必 须 要 配 置 t o p i c ， 我 们 先 创 建 一 个 t o p i c 来 测 试 程 序 能 否 正 常 工 作 ： 这 里 表 示 创 建 一 个 名 为 t e s t t o p i c 的 话 题 。 查 看 是 否 创 建 成 功 ， 新 开 窗 口 输 入 如 下 命 令 ： 如 果 出 现 t e s t t o p i c 即 表 明 话 题 创 建 成 功 ： 6 ） t o p i c 消 息 测 试 k a f k a 整 体 架 构 分 为 c o n s u m e r 和 p r o d u c e r ， c o n s u m e r 表 示 消 费 消 息 端 ， p r o d u c e r 表 示 生 产 消 息 端 。 在 测 试 之 前 我 们 要 先 生 产 消 息 才 能 消 费 消 息 。 首 先 我 们 输 入 如 下 命 令 生 产 消 息 ： 然 后 我 们 输 入 如 下 命 令 消 费 消 息 ： s o u r c e   ~ / . b a s h r c b r o k e r . i d = 0     # 唯 一 标 识 b r o k e r 身 份 的 i d 信 息         l i s t e n e r s = P L A I N T E X T : / / : 9 0 9 2     # 表 示 监 听 端 口 是 9 0 9 2         h o s t . n a m e = o b s e r v e r     # h o s t n a m e 表 示 当 前 主 机 名 称         l o g . d i r s = / h o m e / h a d o o p / a p p / t m p / k a f k a - l o g s       # 指 定 k a f k a 的 l o g 日 志 目 录         n u m . p a r t i t i o n s = 1       # 指 定 分 区 数 量         z o o k e e p e r . c o n n e c t = o b s e r v e r : 2 1 8 1     # 配 置 z o o k e e p e r 的 地 址 和 端 口   b i n / k a f k a - s e r v e r - s t a r t . s h   $ K A F K A _ H O M E / c o n f i g / s e r v e r . p r o p e r t i e s         b i n / k a f k a - t o p i c s . s h   - - c r e a t e   - - z o o k e e p e r   o b s e r v e r : 2 1 8 1   - - r e p l i c a t i o n - f a c t o r   1   - - p a r t i t i o n s   1   - - t o p i c   t e s t t o p i c         b i n / k a f k a - t o p i c s . s h   - - l i s t   - - z o o k e e p e r   o b s e r v e r : 2 1 8 1         b i n / k a f k a - c o n s o l e - p r o d u c e r . s h   - - b r o k e r - l i s t   o b s e r v e r : 9 0 9 2   - - t o p i c   t e s t t o p i c        
f r o m - b e g i n n i n g 表 示 从 头 开 始 接 收 消 息 。 表 示 从 头 开 始 接 收 消 息 。 两 个 窗 口 的 程 序 在 运 行 以 后 就 会 停 在 窗 口 不 动 ， 当 我 们 在 生 产 端 输 入 任 意 字 符 都 会 在 消 费 端 显 示 的 时 候 ， 表 示 我 们 的 k a f k a 可 以 正 常 运 行 了 。 生 产 端 ： 消 费 端 ： 从 上 面 可 以 看 出 我 们 的 k a f k a 已 经 正 常 运 行 了 。 因 为 资 源 有 限 只 能 搞 单 机 部 署 ， 如 果 各 位 老 板 有 钱 可 以 多 搞 几 台 主 机 做 冗 余 ， 但 是 一 定 要 注 意 k a f k a 部 署 的 主 机 数 量 一 定 是 2 n + 1 台 主 机 。 7 ） k a f k a 和 f l u m e 联 动 f l u m e 采 集 到 的 数 据 是 需 要 通 过 k a f k a 传 输 的 ， 所 以 它 们 之 间 的 联 动 必 须 要 有 效 才 可 以 。 这 里 我 们 还 是 以 上 面 那 个 t e s t t o p i c 话 题 为 测 试 对 象 。 7 . 1 ） 首 先 启 动 k a f k a ， 开 启 c o n s u m e r 消 费 指 定 的 t o p i c 消 息 7 . 2 ） 然 后 修 改 v i c t i m 主 机 上 的 f l u m e 配 置 文 件 ， 修 改 s o u r c e 监 听 源 为 d a t a . l o g 文 件 ， s i n k 输 出 类 型 为 a v r o   s i n k （ 这 个 类 型 能 跟 其 他 f l u m e 客 户 端 联 动 ） 。 具 体 配 置 如 下 ： 上 面 表 示 数 据 来 源 于 d a t a . l o g 文 件 ， 输 出 到 o b s e r v e r 的 4 4 4 4 5 端 口 。 7 . 3 ） 修 改 o b s e r v e r 主 机 的 f l u m e 配 置 文 件 ， 配 置 文 件 内 容 如 下 ： s i n k   t y p e 类 型 为 K a f k a S i n k 。 t o p i c 为 我 们 之 前 创 建 的 t o p i c 名 称 ， b a t c h S i z e 表 示 当 记 录 数 到 达 5 个 后 再 发 送 。 7 . 4 ） 先 启 动 o b s e r v e r 的 f l u m e 程 序 ， 然 后 再 启 动 v i c t i m 的 f l u m e 程 序 ， 即 先 监 听 再 发 送 数 据 。 7 . 4 . 1 ） 先 启 动 o b s e r v e r 的 f l u m e 程 序 7 . 4 . 2 ） 再 启 动 v i c t i m 的 f l u m e 程 序 7 . 4 . 3 ） 然 后 我 们 再 向 文 件 / h o m e / h a d o o p / d a t a / d a t a . l o g 输 入 测 试 文 件 时 ， 如 果 在 k a f k a 的 监 听 窗 口 看 到 我 们 输 入 的 信 息 时 b i n / k a f k a - c o n s o l e - c o n s u m e r . s h   - - z o o k e e p e r   o b s e r v e r : 2 1 8 1   - - t o p i c   t e s t t o p i c   - - f r o m - b e g i n n i n g   b i n / k a f k a - c o n s o l e - c o n s u m e r . s h   - - z o o k e e p e r   o b s e r v e r : 2 1 8 1   - - t o p i c   t e s t t o p i c   - - f r o m - b e g i n n i n g         #   e x a m p l e . c o n f :   A   s i n g l e - n o d e   F l u m e   c o n f i g u r a t i o n #   N a m e   t h e   c o m p o n e n t s   o n   t h i s   a g e n t a 1 . s o u r c e s   =   r 1 a 1 . s i n k s   =   k 1 a 1 . c h a n n e l s   =   c 1 #   D e s c r i b e / c o n f i g u r e   t h e   s o u r c e # 监 听 某 文 件 a 1 . s o u r c e s . r 1 . t y p e   =   e x e c a 1 . s o u r c e s . r 1 . c o m m a n d   =   t a i l   - F   / h o m e / h a d o o p / d a t a / d a t a . l o g a 1 . s o u r c e s . r 1 . s h e l l = / b i n / s h   - c #   D e s c r i b e   t h e   s i n k a 1 . s i n k s . k 1 . t y p e   =   a v r o a 1 . s i n k s . k 1 . h o s t n a m e   =   o b s e r v e r a 1 . s i n k s . k 1 . p o r t   =   4 4 4 4 5 #   U s e   a   c h a n n e l   w h i c h   b u f f e r s   e v e n t s   i n   m e m o r y a 1 . c h a n n e l s . c 1 . t y p e   =   m e m o r y #   B i n d   t h e   s o u r c e   a n d   s i n k   t o   t h e   c h a n n e l # 一 个 s o u r c e 可 以 输 出 到 多 个 c h a n n e l ， 所 以 是 c h a n n e l s a 1 . s o u r c e s . r 1 . c h a n n e l s   =   c 1 a 1 . s i n k s . k 1 . c h a n n e l   =   c 1 #   e x a m p l e . c o n f :   A   s i n g l e - n o d e   F l u m e   c o n f i g u r a t i o n #   N a m e   t h e   c o m p o n e n t s   o n   t h i s   a g e n t a 2 . s o u r c e s   =   r 2 a 2 . s i n k s   =   k 2 a 2 . c h a n n e l s   =   c 2 #   D e s c r i b e / c o n f i g u r e   t h e   s o u r c e # 监 听 某 文 件 a 2 . s o u r c e s . r 2 . t y p e   =   a v r o a 2 . s o u r c e s . r 2 . b i n d   =   o b s e r v e r a 2 . s o u r c e s . r 2 . p o r t = 4 4 4 4 5 #   e x p o r t   t o   k a f k a a 2 . s i n k s . k 2 . t y p e   =   o r g . a p a c h e . f l u m e . s i n k . k a f k a . K a f k a S i n k a 2 . s i n k s . k 2 . b r o k e r L i s t   =   o b s e r v e r : 9 0 9 2 a 2 . s i n k s . k 2 . t o p i c   =   t e s t t o p i c a 2 . s i n k s . k 2 . r e q u i r e d A c k s   =   1 a 2 . s i n k s . k 2 . b a t c h S i z e   =   5 #   U s e   a   c h a n n e l   w h i c h   b u f f e r s   e v e n t s   i n   m e m o r y a 2 . c h a n n e l s . c 2 . t y p e   =   m e m o r y #   B i n d   t h e   s o u r c e   a n d   s i n k   t o   t h e   c h a n n e l # 一 个 s o u r c e 可 以 输 出 到 多 个 c h a n n e l ， 所 以 是 c h a n n e l s a 2 . s o u r c e s . r 2 . c h a n n e l s   =   c 2 a 2 . s i n k s . k 2 . c h a n n e l   =   c 2 . . / b i n / f l u m e - n g   a g e n t   - - n a m e   a 2   - - c o n f   $ F L U M E _ H O M E / c o n f   - - c o n f - f i l e   $ F L U M E _ H O M E / c o n f / e x a m p l e - k a f k a . c o n f   - D f l u m e . r o o t . l o g g e r = I N F O , c o n s o l e         . . / b i n / f l u m e - n g   a g e n t   - - n a m e   a 1   - - c o n f   $ F L U M E _ H O M E / c o n f   - - c o n f - f i l e   $ F L U M E _ H O M E / c o n f / e x a m p l e - s e n d . c o n f   - D f l u m e . r o o t . l o g g e r = I N F O , c o n s o l e
则 表 示 双 击 联 动 成 功 。 切 换 到 k a f k a 窗 口 看 到 我 们 在 d a t a . l o g 文 件 中 新 增 的 内 容 ： 至 此 我 们 的 k a f k a 已 经 安 装 成 功 且 已 经 能 够 跟 f l u m e 进 行 联 动 。 下 面 就 是 重 要 数 据 处 理 和 规 则 匹 配 环 节 了 。 4 . 3 . 8   安 装 安 装 s p a r k s p a r k 环 境 安 装 也 是 比 较 麻 烦 的 ， 需 要 有 耐 心 才 可 以 ， 但 是 跟 着 步 骤 走 一 定 会 搞 定 的 。 1 ） s c a l a 安 装 安 装 s p a r k 之 前 必 须 要 安 装 s c a l a 和 h a d o o p 等 环 境 。 首 先 我 们 先 安 装 s c a l a 语 言 。 1 . 1 ） 下 载 s c a l a 安 装 包 并 解 压 到 a p p 目 录 下 ： 1 . 2 ） 配 置 环 境 变 量 v i m   ~ / . b a s h r c 并 加 入 如 下 内 容 ： 保 存 文 件 后 退 出 ， s o u r c e   ~ / . b a s h r c   激 活 环 境 变 量 后 在 命 令 行 输 入 s c a l a 出 现 s c a l a 交 互 窗 口 则 表 示 安 装 配 置 成 功 。 2 ） h a d o o p 环 境 搭 建 2 . 1 ） 下 载 解 压 h a d o o p 安 装 包 到 a p p 目 录 下 。 2 . 2 ） 配 置 环 境 变 量 v i m   ~ / . b a s h r c 并 加 入 如 下 内 容 ： t a r   z x v f   s c a l a - 2 . 1 1 . 8 . t g z   - C   . . / a p p / # s c a l a e x p o r t   S C A L A _ H O M E = / h o m e / h a d o o p / a p p / s c a l a - 2 . 1 1 . 8 e x p o r t   P A T H = $ { S C A L A _ H O M E } / b i n : $ P A T H t a r   z x v f   h a d o o p - 2 . 6 . 0 - c d h 5 . 7 . 0 . t a r . g z   - C   . . / a p p /        
保 存 文 件 后 退 出 ， s o u r c e   ~ / . b a s h r c   激 活 环 境 变 量 。 2 . 3 ） 修 改 h a d o o p 配 置 文 件 切 换 到 H a d o o p 的 e t c / h a d o o p / 目 录 下 ， 编 辑 h a d o o p - e n v . s h 文 件 ， 配 置 j a v a 环 境 变 量 ： 保 存 退 出 后 编 辑 同 级 目 录 下 的 c o r e - s i t e . x m l 文 件 ， 增 加 如 下 配 置 信 息 ： 配 置 文 件 指 定 f s 服 务 器 地 址 和 临 时 目 录 。 保 存 退 出 后 编 辑 统 计 目 录 下 的 h d f - s i t e . x m l 文 件 ， 增 加 如 下 配 置 信 息 ： 保 存 退 出 编 辑 s l a v e s 文 件 ， 增 加 主 机 名 后 保 存 退 出 。 2 . 4 ） 格 式 化 切 换 到 b i n 目 录 下 ， 执 行 如 下 命 令 ： 执 行 完 成 后 会 在 上 面 指 定 的 t m p 目 录 下 生 成 d f s 文 件 夹 。 2 . 5 ） 启 动 h a d o o p 服 务 切 换 到 s b i n 目 录 下 ， 执 行 如 下 命 令 启 动 h a d o o p 服 务 ： 然 后 输 入 三 次 当 前 账 户 密 码 后 即 可 启 动 服 务 ， 在 浏 览 器 输 入 i p : 5 0 0 7 0 后 如 果 在 浏 览 器 中 出 现 如 下 信 息 则 表 示 h a d o o p 安 装 成 功 ： # h a d o o p e x p o r t   H A D O O P _ H O M E = / h o m e / h a d o o p / a p p / h a d o o p - 2 . 6 . 0 - c d h 5 . 7 . 0 e x p o r t   P A T H = $ { H A D O O P _ H O M E } / b i n : $ P A T H e x p o r t   J A V A _ H O M E = / h o m e / h a d o o p / a p p / j d k 1 . 8 . 0 _ 1 3 1         < c o n f i g u r a t i o n > < p r o p e r t y >                 < n a m e > f s . d e f a u l t F S < / n a m e >                                 < v a l u e > h d f s : / / o b s e r v e r : 8 0 2 0 < / v a l u e > < / p r o p e r t y > < p r o p e r t y >                 < n a m e > h a d o o p . t m p . d i r < / n a m e >                                 < v a l u e > / h o m e / h a d o o p / a p p / t m p < / v a l u e > < / p r o p e r t y > < / c o n f i g u r a t i o n > < c o n f i g u r a t i o n > < p r o p e r t y >                 < n a m e > d f s . r e p l i c a t i o n < / n a m e >                                 < v a l u e > 1 < / v a l u e > < / p r o p e r t y > < / c o n f i g u r a t i o n > . / h d f s   n a m e n o d e   - f o r m a t         . / s t a r t - d f s . s h  
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理