搜索

[14514] 2019-08-26_大型互联网组织安全产品研发与落地的一些方法与思考

文档创建者：s7ckTeam
浏览次数：21
最后更新：2025-01-18
2019-08-26_大型互联网组织安全产品研发与落地的一些方法与思考 大 型 互 联 网 组 织 安 全 产 品 研 发 与 落 地 的 一 些 方 法 与 思 考 l e g w i n d y   F r e e B u f   2 0 1 9 - 0 8 - 2 6 一 、 读 前 必 看 一 、 读 前 必 看 1 、 写 这 篇 文 章 的 心 理 动 机 、 写 这 篇 文 章 的 心 理 动 机 工 作 几 年 的 时 间 里 一 直 在 从 事 技 术 相 关 的 工 作 ， 自 己 闲 暇 之 余 和 工 作 经 历 经 常 会 有 脉 脉 上 所 说 的 工 作 如 同 拧 螺 工 作 几 年 的 时 间 里 一 直 在 从 事 技 术 相 关 的 工 作 ， 自 己 闲 暇 之 余 和 工 作 经 历 经 常 会 有 脉 脉 上 所 说 的 工 作 如 同 拧 螺 丝 一 样 的 工 作 。 从 个 人 角 度 的 很 长 时 间 的 确 给 我 造 成 了 很 大 的 困 扰 ， 毕 竟 在 国 内 鼓 吹 丝 一 样 的 工 作 。 从 个 人 角 度 的 很 长 时 间 的 确 给 我 造 成 了 很 大 的 困 扰 ， 毕 竟 在 国 内 鼓 吹 3 5 岁 技 术 人 员 就 被 淘 汰 的 岁 技 术 人 员 就 被 淘 汰 的 大 氛 围 下 ， 我 也 经 常 感 受 到 危 机 感 。 我 经 过 工 作 的 几 年 时 间 对 这 个 问 题 形 成 了 一 些 思 考 。 希 望 借 此 文 分 享 给 大 大 氛 围 下 ， 我 也 经 常 感 受 到 危 机 感 。 我 经 过 工 作 的 几 年 时 间 对 这 个 问 题 形 成 了 一 些 思 考 。 希 望 借 此 文 分 享 给 大 家 。 家 。 2 、 文 章 讨 论 的 适 用 范 围 、 文 章 讨 论 的 适 用 范 围 技 术 人 员 成 长 从 大 体 方 法 论 而 言 分 两 类 : 一 种 是 向 上 走 , 贴 近 业 务 或 者 架 构 、 一 种 是 往 下 走 深 入 行 业 技 术 极 限 ， 开 发 一 个 更 好 的 零 部 件 或 者 工 具 。 本 文 更 多 是 论 述 比 较 高 风 险 安 全 产 品 从 产 生 到 落 地 的 过 程 。 3 、 适 合 阅 读 对 象 、 适 合 阅 读 对 象 安 全 产 品 经 理 安 全 研 发 工 程 师 对 产 品 感 兴 趣 的 安 全 工 程 师 二 、 组 织 开 展 项 目 研 发 前 的 准 备 工 作 二 、 组 织 开 展 项 目 研 发 前 的 准 备 工 作 确 定 项 目 产 出 程 度 ， 即 投 入 产 出 是 否 简 单 明 了 ， 我 一 般 把 项 目 分 为 复 杂 项 目 和 简 单 项 目 ， 以 下 为 个 人 经 验 作 为 确 定 项 目 产 出 程 度 ， 即 投 入 产 出 是 否 简 单 明 了 ， 我 一 般 把 项 目 分 为 复 杂 项 目 和 简 单 项 目 ， 以 下 为 个 人 经 验 作 为 界 定 ， 可 能 有 误 界 定 ， 可 能 有 误 复 杂 项 目 的 特 征 : 1 . 安 全 产 品 需 要 公 司 多 维 度 人 员 参 与 开 发 ， 如 风 控 系 统 可 能 需 要 S D K ， 逻 辑 引 擎 ， 消 息 中 间 件 平 台 ， 前 后 端 多 方 面 支 持 ， 可 以 拆 分 成 多 个 微 服 务 。 2 . 接 入 面 积 较 广 ， 可 能 成 为 不 同 业 务 线 的 接 入 。 尤 其 大 厂 可 能 有 不 同 的 业 务 场 景 ， 都 需 要 接 入 此 系 统 ， 如 比 如 直 播 搜 索 都 需 要 接 入 此 系 统 。 3 . 在 生 产 流 程 上 存 在 高 危 风 险 点 ， 如 分 布 式 H I D S , W A F 等 在 生 产 会 侵 入 生 产 服 务 器 进 程 或 者 流 量 转 发 流 程 ， 需 要 多 维 度 配 合 。 4 . 项 目 的 核 心 功 能 会 超 过 2 0 个 接 口 以 上 的 前 后 端 耦 合 。 相 对 简 单 项 目 的 特 征 : 1 . 管 理 流 程 类 项 目 : 项 目 仅 侵 入 管 理 流 程 节 点 ， 并 不 会 耦 合 业 务 与 生 产 风 险 。 2 . 生 产 无 侵 入 类 项 目 : 如 日 志 分 析 类 ， 蜜 罐 类 相 关 的 项 目 。 个 人 经 验 ： 简 单 项 目 可 以 采 用 全 栈 式 开 发 的 模 式 ， 即 1 - 2 个 具 有 安 全 背 景 的 研 发 工 程 师 完 成 相 关 的 工 作 即 可 。 一 旦 出 现 复 杂 项 目 的 特 征 ， 需 要 慎 重 考 虑 是 自 研 还 是 购 买 第 三 方 产 品 ， 下 文 的 人 员 配 比 会 详 细 的 解 释 原 因 。
三 、 复 杂 安 全 项 目 的 全 流 程 闭 环 三 、 复 杂 安 全 项 目 的 全 流 程 闭 环 越 来 越 感 觉 到 人 的 精 力 十 分 有 限 ， 精 细 化 分 工 是 社 会 提 高 生 产 效 率 演 进 的 产 物 ， 具 备 科 学 性 ， 但 不 是 个 人 视 野 狭 隘 或 抱 怨 自 己 拧 螺 丝 的 借 口 3 . 1   复 杂 项 目 的 全 流 程 闭 环 复 杂 项 目 的 全 流 程 闭 环 主 要 针 对 大 型 甲 方 的 内 部 安 全 产 品 ， 乙 方 同 学 可 以 补 充 ， 主 要 区 别 在 后 方 ， 不 详 细 赘 述 1 . 需 求 收 集 与 运 营 流 程 闭 环 思 考 需 求 收 集 与 运 营 流 程 闭 环 思 考 : 我 们 以 大 家 熟 悉 的 W A F 来 进 行 举 例 ， 在 此 阶 段 我 们 要 考 虑 ， 我 们 研 发 的 W A F 有 多 少 个 业 务 部 门 要 接 入 ， 他 们 有 没 有 什 么 特 殊 的 需 求 和 顾 虑 要 访 谈 收 集 。 运 营 流 程 上 我 们 的 W A F 有 多 少 种 视 角 ( 使 用 角 色 ) ， 如 一 线 R D 想 要   看 什 么 ， 规 则 运 营 者 关 注 什 么 ， 安 全 部 门 的 L e a d e r 想 要 看 什 么 ， 公 司 的 C T O 想 要 看 什 么 ， 他 们 各 自 需 要 什 么 样 的 功 能 。 2 . 原 型 图 制 定 与 敏 捷 开 发 规 划 原 型 图 制 定 与 敏 捷 开 发 规 划 : 还 以 我 们 的 W A F 为 例 ， W A F 最 重 要 的 是 F i r e w a l l 意 思 即 防 火 墙 ， 所 以 W e b   A p p l i c a t i o n   F i r e w a l l 这 个 名 词 的 字 面 意 思 是 首 要 需 要 进 行 开 发 的 ， 即 规 则 配 置 ， 规 则 运 转 ， 规 则 下 发 ， 拦 截 模 块 。 结 合 上 面 需 求 调 研 的 结 果 是 首 要 优 先 出 具 原 型 图 和 p r d 文 档 。 所 以 排 期 会 比 较 明 确 。 3 . 架 构 模 型 的 闭 环 架 构 模 型 的 闭 环 : 基 于 一 个 W A F ， 我 们 做 完 原 型 图 与 规 划 后 。 需 要 才 真 正 要 站 在 研 发 的 架 构 视 角 看 问 题 。 基 于 运 营 闭 环 与 原 型 图 的 模 板 ， 我 们 技 术 怎 么 选 型 ， 拆 成 多 少 个 大 模 块 。 消 息 队 列 用 什 么 ， 怎 么 设 计 架 构 能 让 产 品 经 理 比 较 轻 易 的 改 需 求 （ 注 意 合 理 的 改 需 求 ） 。 4 . 多 模 块 模 块 耦 合 的 通 信 结 构 制 定 多 模 块 模 块 耦 合 的 通 信 结 构 制 定 : 基 于 一 个 W A F 可 能 ， w e b 配 置 平 台 后 端 逻 辑 通 过 H T T P 接 口 沟 通 。 命 中 日 志 与 w a f 数 据 仓 库 通 过 k a f k a 沟 通 。 配 置 中 心 与 w a f 核 心 模 块 可 能 通 过 e t c d 的 k v 与 z k 的 树 形 结 构 进 行 同 步 。 那 么 彼 此 的 接 口 定 义 ， j s o n 字 段 请 务 必 先 约 定 好 。 请 用 文 档 说 话 ， 不 要 嘴 上 说 ! ! ! 5 . 模 块 内 部 的 设 计 模 式 分 析 与 微 服 务 拆 分 模 块 内 部 的 设 计 模 式 分 析 与 微 服 务 拆 分 : 比 如 一 个 数 据 库 读 写 的 模 块 ， 以 O O 的 思 想 。 我 们 可 以 拆 分 为 业 务 逻 辑 层 与 数 据 库 原 子 层 。 那 么 数 据 库 原 子 层 与 业 务 逻 辑 层 是 拆 分 成 微 服 务 还 是 写 成 一 个 模 块 ， 需 要 调 研 与 分 析 。 不 怕 大 家 笑 话 ， 我 原 来 写 代 码 S Q L 和 业 务 逻 辑 写 在 一 起 的 ， 结 果 改 个 需 求 ， 呵 呵 大 家 都 懂 得 ， 真 的 有 一 种 S Q L b o y 的 无 力 感 。 后 来 我 才 知 道 原 来 错 的 不 是 公 司 螺 丝 钉 分 工 模 式 ， 错 的 是 我 不 会 写 代 码 。 6 . 运 营 流 程 的 闭 环 并 运 营 流 程 的 闭 环 并 l o o p   1 - 5 : 平 台 做 出 来 是 要 有 人 用 的 ， 那 么 势 必 会 被 吐 槽 。 那 么 需 要 有 人 接 受 吐 槽 的 p o i n t ， 并 整 理 需 求 ， 反 复 l o o p 1 - 5 ， 当 架 构 设 计 的 越 合 理 ， 当 需 求 到 来 时 改 动 的 面 积 会 越 小 。 3 . 2   自 研 人 员 到 岗 顺 序 ： 自 研 人 员 到 岗 顺 序 ： 1 . 产 品 与 产 品 与 P M O 第 一 到 位 ： 第 一 到 位 ： 负 责 产 品 需 求 的 调 研 ， 业 务 线 访 谈 ， 需 求 整 理 收 集 。 一 般 安 全 产 品 的 孵 化 有 两 个 动 机 ： 企 业 出 了 一 些 安 全 c a s e 想 解 决 : 这 种 相 对 简 单 ， 毕 竟 公 司 内 部 会 支 持 。 分 辨 好 项 目 简 单 与 复 杂 程 度 ， 上 述 3 . 1 中 的 流 程 进 行 实 施 即 可 。 如 果 项 目 符 合 简 单 项 目 的 条 件 ， 可 以 适 当 的 压 缩 岗 位 人 员 角 色 ， 即 一 人 多 岗 。 但 必 要 的 流 程 还 是 需 要 。 复 杂 项 目 请 严 格 按 照 3 . 1 的 流 程 进 行 。
安 全 技 术 人 员 未 雨 绸 缪 看 到 风 险 觉 得 企 业 需 要 研 发 这 个 安 全 产 品 : 这 种 首 先 要 做 的 是 产 品 经 理 务 必 最 先 到 位 ， 去 各 个 业 务 线 进 行 需 求 调 研 。 在 一 个 人 的 安 全 部 时 经 常 我 作 为 技 术 人 员 觉 得 很 必 要 的 事 情 ， 业 务 并 不 觉 得 ， 千 方 百 计 觉 得 自 己 造 出 了 一 个 超 级 棒 的 " 轮 子 " ， 结 果 业 务 不 买 账 。 自 己 成 就 感 很 受 挫 ， 当 然 受 挫 的 不 只 有 成 就 感 ， 大 家 懂 得 。 2 . 架 构 师 或 资 深 研 发 工 程 师 的 到 位 架 构 师 或 资 深 研 发 工 程 师 的 到 位 : 他 们 主 要 的 是 针 对 于 产 品 的 需 求 进 行 技 术 选 型 和 性 能 评 估 。 这 里 会 存 在 产 品 与 技 术 最 经 典 的 冲 突 问 题 ， 我 也 经 历 过 ， 后 来 考 虑 清 楚 后 与 产 品 经 理 的 合 作 无 比 愉 快 ， 主 要 问 题 如 下 : 产 品 主 要 从 业 务 逻 辑 ， 流 程 闭 环 ， 功 能 原 型 图 角 度 去 思 考 问 题 。 技 术 更 多 是 从 可 拓 展 性 ， 业 务 稳 定 性 ， 架 构 解 耦 ， 功 能 实 现 来 思 考 问 题 。 这 注 定 是 两 种 视 角 如 果 不 让 步 和 不 能 切 换 视 角 注 定 是 不 可 调 和 矛 盾 。 解 决 方 法 一 ： 产 品 经 理 切 换 视 角 下 沉 到 技 术 视 角 ， 从 技 术 设 计 拓 展 性 而 言 与 技 术 沟 通 ， 如 话 术 ： 目 前 我 们 先 做 H T T P 接 入 ， 未 来 可 能 考 虑 3 种 消 息 队 列 的 接 入 方 式 ， k a f k a ， n s q ， c s v 格 式 ， 所 以 请 在 设 计 这 个 模 块 的 候 做 好 接 入 冗 余 设 计 。 并 辅 以 流 程 图 ， 原 型 图 进 行 讲 解 。 解 决 方 法 二 ： 架 构 师 或 者 资 深 研 发 工 程 师 上 升 到 产 品 经 理 视 角 。 反 问 产 品 经 理 ， 进 行 业 务 合 理 性 质 疑 ， 如 ： 只 做 H T T P 就 够 了 么 ， 公 司 有 很 多 的 消 息 中 间 件 吧 ， 需 要 兼 容 么 ？ 3 . 研 发 工 程 师 的 到 位 研 发 工 程 师 的 到 位 : 这 块 比 较 简 单 ， 但 也 复 杂 。 请 用 百 分 之 4 0 的 时 间 写 文 档 ， 对 清 楚 上 下 游 模 块 的 格 式 与 约 定 。 百 分 之 2 0 的 时 间 思 考 模 块 的 设 计 模 式 怎 样 进 行 解 耦 ， 需 求 可 能 有 怎 样 ， 百 分 之 3 0 的 时 间 写 代 码 ， 百 分 之 1 0 的 时 间 思 考 边 界 处 理 是 否 清 晰 ， 单 元 测 试 是 否 完 整 。 在 分 布 式 系 统 中 ， 边 界 问 题 处 理 不 好 会 出 非 常 大 的 问 题 ， 这 就 是 为 啥 研 发 要 专 人 专 岗 最 合 理 的 原 因 ， 比 如 分 布 式 事 务 ， 分 布 式 锁 的 场 景 ， 以 及 合 理 的 监 控 报 警 ， 上 下 游 的 熔 断 机 制 与 过 载 保 护 等 等 等 等 ， 身 为 一 个 一 线 的 研 发 工 程 师 ， 我 们 最 要 保 证 的 是 自 己 写 出 来 的 代 码 是 设 计 模 式 优 质 切 可 靠 的 ， 并 且 出 现 问 题 后 风 险 是 可 控 的 。 四 、 写 在 最 后 四 、 写 在 最 后 这 是 我 从 安 全 转 型 研 发 后 两 年 工 作 经 验 中 踩 到 的 一 些 坑 ， 以 及 逐 渐 认 知 到 自 己 的 不 足 的 一 些 过 程 ， 文 笔 仓 促 ， 如 有 不 当 之 处 请 各 位 见 谅 。 也 欢 迎 感 兴 趣 的 朋 友 们 相 互 交 流 ， 达 到 彼 此 的 共 同 成 长 。 因 为 工 作 较 忙 ， 为 保 证 产 品 落 地 的 信 息 严 禁 性 ， 并 未 在 文 中 写 过 多 的 技 术 干 货 ， 欢 迎 私 下 交 流 。 * 本 文 作 者 ： 本 文 作 者 ： l e g w i n d y ， 转 载 请 注 明 来 自 ， 转 载 请 注 明 来 自 F r e e B u f . C O M 精 彩 推 荐 精 彩 推 荐

阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理