搜索

[20730] 2017-05-01_robots.txt防止向黑客泄露网站的后台和隐私

文档创建者：s7ckTeam
浏览次数：56
最后更新：2025-01-18
2017-05-01_robots.txt防止向黑客泄露网站的后台和隐私 r o b o t s . t x t 防 止 向 黑 客 泄 露 网 站 的 后 台 和 隐 私 L e m o n S e c   2 0 1 7 - 0 5 - 0 1 为 了 不 让 搜 索 引 擎 索 引 网 站 的 后 台 页 面 或 其 它 隐 私 页 面 ， 我 们 将 这 些 路 径 在 r o b o t s . t x t 文 件 中 禁 用 了 。 但 矛 盾 的 是 ， r o b o t s . t x t 文 件 任 何 人 都 可 以 访 问 ， 包 括 黑 客 。 为 了 禁 止 搜 索 引 擎 ， 我 们 把 隐 私 泄 露 给 了 黑 客 。   r o b o t s . t x t 干 什 么 的 ？ r o b o t s . t x t 基 本 上 每 个 网 站 都 用 ， 而 且 放 到 了 网 站 的 根 目 录 下 ， 任 何 人 都 可 以 直 接 输 入 路 径 打 开 并 查 看 里 面 的 内 容 ， 如 h t t p : / / w w w . c n b l o g s . c o m / r o b o t s . t x t 。 该 文 件 用 于 告 诉 搜 索 引 擎 ， 哪 些 页 面 可 以 去 抓 取 ， 哪 些 页 面 不 要 抓 取 。 r o b o t s . t x t 如 何 使 用 在 网 站 根 目 录 下 创 建 一 个 文 件 ， 取 名 r o b o t s . t x t ， 文 件 名 必 须 是 这 个 ！ 然 后 设 置 里 面 的 规 则 。 比 如 我 有 一 个 博 客 ， 我 要 设 置 不 允 许 任 何 搜 索 引 擎 收 录 本 站 ， r o b o t s . t x t 中 就 设 置 如 下 两 行 即 可 。 U s e r - a g e n t :   * D i s a l l o w :   / 如 果 要 限 制 不 让 搜 索 引 擎 访 问 我 们 网 站 后 台 a d m i n 目 录 ， 则 规 则 改 为 ： U s e r - a g e n t :   * D i s a l l o w :   / a d m i n / r o b o t s . t x t 更 多 的 使 用 规 则 ， 不 在 本 文 的 讨 论 范 围 之 内 。 r o b o t s . t x t 防 黑 客 像 上 面 的 例 子 中 ， 我 们 为 了 让 搜 索 引 擎 不 要 收 录 a d m i n 页 面 而 在 r o b o t s . t x t 里 面 做 了 限 制 规 则 。 但 是 这 个 r o b o t s . t x t 页 面 ， 谁 都 可 以 看 ， 于 是 黑 客 就 可 以 比 较 清 楚 的 了 解 网 站 的 结 构 ， 比 如 a d m i n 目 录 、 i n c l u d e 目 录 等 等 。 有 没 有 办 法 既 可 以 使 用 r o b o t s . t x t 的 屏 蔽 搜 索 引 擎 访 问 的 功 能 ， 又 不 泄 露 后 台 地 址 和 隐 私 目 录 的 办 法 呢 ？ 有 ， 那 就 是 使 用 星 号 （ * ） 作 为 通 配 符 。 举 例 如 下 ： U s e r - a g e n t : * D i s a l l o w :   / a * /
这 个 设 置 ， 禁 止 所 有 的 搜 索 引 擎 索 引 根 目 录 下 a 开 头 的 目 录 。 当 然 如 果 你 后 台 的 目 录 是 a d m i n ， 还 是 有 可 以 被 人 猜 到 ， 但 如 果 你 再 把 a d m i n 改 为 a d o i t 呢 ？ 还 有 会 谁 能 知 道 ？ 总 结 下 ， 为 了 不 让 搜 索 引 擎 索 引 网 站 的 后 台 目 录 或 其 它 隐 私 目 录 ， 我 们 将 这 些 路 径 在 r o b o t s . t x t 文 件 中 禁 用 了 。 又 为 了 让 r o b o t s . t x t 中 的 内 容 不 泄 露 网 站 的 后 台 和 隐 私 ， 我 们 使 用 星 号 ( * ) 来 修 改 设 置 项 。 最 后 为 了 不 让 黑 客 猜 到 真 实 的 路 径 ， 我 们 可 以 把 这 些 敏 感 的 目 录 进 行 非 常 规 的 重 命 名 。 好 了 ， 关 于 r o b o t s . t x t 与 网 站 隐 私 ， 就 介 绍 这 么 多 ， 希 望 对 大 家 有 帮 助 ， 谢 谢 ！ 转 载 自 、 小 鱼 阁 工 作 室 查 看 更 多 文 章 ， 关 注 下 方 二 维 码
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理