搜索

[20731] 2017-05-01_Web管理员注意：Robots.txt可透露有价值的信息给黑客

文档创建者：s7ckTeam
浏览次数：0
最后更新：2025-01-18
2017-05-01_Web管理员注意：Robots.txt可透露有价值的信息给黑客 W e b 管 理 员 注 意 ： R o b o t s . t x t 可 透 露 有 价 值 的 信 息 给 黑 客 L e m o n S e c   2 0 1 7 - 0 5 - 0 1 W e b 系 统 管 理 员 需 要 注 意 了 ， r o b o t s . t x t 文 件 可 以 告 诉 攻 击 者 目 标 的 有 价 值 信 息 ， 因 为 这 些 t x t 文 件 指 向 拥 有 者 试 图 保 护 的 目 录 。 R o b o t s . t x t 文 件 会 告 诉 搜 索 引 擎 ， W e b 服 务 器 上 的 哪 些 目 录 可 以 读 ， 哪 些 不 能 读 。 这 些 文 件 会 透 露 管 理 员 存 储 敏 感 信 息 的 位 置 ， 因 为 在 r o b o t s . t x t 中 提 到 的 目 录 很 明 显 就 是 文 件 所 有 者 想 要 隐 藏 的 目 录 。 不 仅 是 那 些 限 制 访 问 的 路 径 ， 还 有 服 务 器 上 部 署 的 技 术 。 有 点 像 捂 着 口 袋 走 路 的 行 人 ， 无 疑 是 在 告 诉 小 偷 钱 放 在 哪 里 。 从 防 御 者 的 角 度 来 看 ， 有 两 种 常 见 的 错 误 认 识 。 一 是 r o b o t s . t x t 只 是 一 种 访 问 控 制 机 制 ； 二 是 该 文 件 的 内 容 不 能 被 人 工 读 取 ， 只 能 被 搜 索 引 擎 读 取 。 许 多 网 站 往 往 把 一 些 有 用 的 信 息 放 在 r o b o t 文 本 文 档 里 的 d i s a l l o w 列 表 中 ， 本 意 是 为 了 掩 盖 这 些 资 产 。 但 对 于 渗 透 测 试 人 员 或 黑 客 而 言 ， 则 可 通 过 r o b o t s . t x t 文 件 更 快 地 发 现 敏 感 信 息 。 加 拿 大 的 渗 透 测 试 人 员 T h i e b a u l d   W e k s t e e n 认 为 ， “ 在 渗 透 测 试 的 调 查 阶 段 ， 测 试 者 通 常 会 使 用 一 系 列 已 知 的 子 目 录 暴 力 破 解 服 务 器 ， 搜 索 隐 藏 的 资 源 。 根 据 特 定 网 页 技 术 的 情 况 ， 这 一 过 程 需 要 基 于 固 定 间 隔 进 行 刷 新 。 ” 而 目 录 的 禁 止 访 问 机 制 会 告 诉 攻 击 者 有 哪 些 高 价 值 的 信 息 是 应 当 寻 找 的 。 此 外 ， 如 果 这 一 点 对 于 一 家 网 站 可 行 ， 那 么 很 有 可 能 也 适 用 于 另 一 家 网 站 。 W e k s t e e n 对 安 全 从 业 人 员 提 供 了 他 个 人 的 建 议 ， 告 诉 人 们 如 何 收 集 子 目 录 列 表 ， 并 介 绍 了 清 理 、 验 证 最 初 很 大 的 数 据 集 的 方 法 。 只 需 要 1 0 0 行 脚 本 代 码 就 可 以 做 到 这 种 探 测 功 能 ， 但 通 过 优 化 算 法 ， 可 以 进 一 步 增 进 效 率 。 比 如 ， 以 色 列 议 会 网 站 上 的 r o b o t s 文 件 中 就 直 接 包 括 了 1 万 个 左 右 的 未 分 类 文 件 ， 通 过 它 们 可 以 直 接 发 现 敏 感 数 据 。 另 一 个 例 子 是 美 国 国 务 院 ， 虽 然 它 将 搜 索 关 键 词 生 成 的 未 分 类 资 产 的 字 符 串 进 行 了 屏 蔽 ， 但 还 是 能 够 通 过 时 光 倒 流 网 站 ， T h e I n t e r n e t   A r c h i v e 进 行 访 问 。 有 人 利 用 W e k s t e e n 所 说 的 方 法 ， 发 现 了 一 个 可 能 被 跟 踪 的 女 学 生 的 身 份 。 r o b o t 文 本 文 件 中 的 不 允 许 访 问 索 引 指 出 了 一 个 图 像 文 件 ， 文 件 的 描 述 暴 露 了 她 的 名 字 。 两 个 防 护 措 施 ： 管 理 员 最 好 通 过 一 般 条 件 来 引 用 文 件 ， 而 不 是 通 过 绝 对 路 径 ； 更 具 创 新 性 的 作 法 是 在 r o b o t 不 允 许 访 问 索 引 中 设 置 一 些 假 文 件 ， 部 署   蜜 罐   … … 查 看 更 多 文 章 ， 关 注 下 方 二 维 码
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理