搜索

[20729] 2017-05-01_robots.txt找后台-漏洞预警-

文档创建者：s7ckTeam
浏览次数：31
最后更新：2025-01-18
2017-05-01_robots.txt找后台-漏洞预警- r o b o t s . t x t 找 后 台 - 漏 洞 预 警 - L e m o n S e c   2 0 1 7 - 0 5 - 0 1 什 么 是 r o b o t s . t x t 文 件 ?         搜 索 引 擎 通 过 一 种 程 序 r o b o t （ 又 称 s p i d e r ） ， 自 动 访 问 互 联 网 上 的 网 页 并 获 取 网 页 信 息 。         您 可 以 在 您 的 网 站 中 创 建 一 个 纯 文 本 文 件 r o b o t s . t x t ， 在 这 个 文 件 中 声 明 该 网 站 中 不 想 被 r o b o t 访 问 的 部 分 ， 这 样 ， 该 网 站 的 部 分 或 全 部 内 容 就 可 以 不 被 搜 索 引 擎 收 录 了 ， 或 者 指 定 搜 索 引 擎 只 收 录 指 定 的 内 容 。         #       r o b o t s . t x t 文 件 放 在 哪 里 ?         r o b o t s . t x t   文 件 应 该 放 在 网 站 根 目 录 下 。 举 例 来 说 ， 当 r o b o t s 访 问 一 个 网 站 （ 比 如 h t t p : / / w w w . a b c . c o m ） 时 ， 首 先 会 检 查 该   网 站 中 是 否 存 在   h t t p : / / w w w . a b c . c o m / r o b o t s . t x t 这 个 文 件 ， 如 果 机 器 人 找 到 这 个 文 件 ， 它 就 会 根 据 这 个 文 件 的 内 容 ， 来 确   定 它 访 问 权 限 的 范 围 。         #   r o b o t s . t x t 文 件 的 格 式         " r o b o t s . t x t " 文 件 包 含 一 条 或 更 多 的 记 录 ， 这 些 记 录 通 过 空 行 分 开 （ 以 C R , C R / N L ,   o r   N L 作 为 结 束 符 ） ， 每 一 条 记 录 的 格 式 如 下 所 示 ：         " : " 。         在 该 文 件 中 可 以 使 用 # 进 行 注 解 ， 具 体 使 用 方 法 和 U N I X 中 的 惯 例 一 样 。 该 文 件 中 的 记 录 通 常 以 一 行 或 多 行 U s e r - a g e n t 开 始 ， 后 面 加 上 若 干 D i s a l l o w 行 , 详 细 情 况 如 下 ：         U s e r - a g e n t :         该 项 的 值 用 于 描 述 搜 索 引 擎 r o b o t 的 名 字 ， 在 " r o b o t s . t x t " 文 件 中 ， 如 果 有 多 条 U s e r - a g e n t 记 录 说 明 有 多 个 r o b o t 会 受 到 该 协   议 的 限 制 ， 对 该 文 件 来 说 ， 至 少 要 有 一 条 U s e r - a g e n t 记 录 。 如 果 该 项 的 值 设 为 * ， 则 该 协 议 对 任 何 机 器 人 均 有 效 ， 在 " r o b o t s . t x t " 文 件 中 ，   " U s e r - a g e n t : * " 这 样 的 记 录 只 能 有 一 条 。         D i s a l l o w :         该 项 的 值 用 于 描 述 不 希 望 被 访 问 到 的 一 个 U R L ， 这 个 U R L 可 以 是 一 条 完 整 的 路 径 ， 也 可 以 是 部 分 的 ， 任 何 以 D i s a l l o w 开 头 的 U R L 均 不 会 被   r o b o t 访 问 到 。 例 如 " D i s a l l o w : / h e l p " 对 / h e l p . h t m l   和 / h e l p / i n d e x . h t m l 都 不 允 许 搜 索 引 擎 访 问 ， 而 " D i s a l l o w : / h e l p / " 则 允 许 r o b o t 访 问 / h e l p . h t m l ， 而 不 能 访 问   / h e l p / i n d e x . h t m l 。 任 何 一 条 D i s a l l o w 记 录 为 空 ， 说 明 该 网 站 的 所 有 部 分 都 允 许 被 访 问 ， 在 " / r o b o t s . t x t " 文 件 中 ， 至 少 要   有 一 条 D i s a l l o w 记 录 。 如 果 " / r o b o t s . t x t " 是 一 个 空 文 件 ， 则 对 于 所 有 的 搜 索 引 擎 r o b o t ， 该 网 站 都 是 开 放 的 。         例 如 h t t p : / / w w w . s l e n k . n e t / r o b o t s . t x t 就 可 以 拉         如 果 存 在 就 会 出 来 一 个 这 个 目 录 ：         U s e r - a g e n t :   *         D i s a l l o w :   / a d m i n i /         D i s a l l o w 语 句 后 面 就 是 管 理 员 不 想 让 我 们 知 道 的 目 录         得 到 目 录 后 ， 我 们 再 使 用 方 法 一 用 工 具 再 给 他 扫 一 遍 基 本 就 能 出 现 后 台 了 。         要 是 管 理 员 把 后 台 文 件 名 改 成 @ # $ D $ # $ 类 似 的 ， 那 就 得 算 卦 了 。 查 看 更 多 文 章 ， 关 注 下 方 二 维 码
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理