搜索

[20912] 2017-09-28_Httrack工具与使用指南

文档创建者：s7ckTeam
浏览次数：1
最后更新：2025-01-18
2017-09-28_Httrack工具与使用指南 H t t r a c k 工 具 与 使 用 指 南 L e m o n S e c   2 0 1 7 - 0 9 - 2 8 1 .   H T T r a c k 工 具 介 绍           H T T r a c k 是 一 个 网 站 镜 像 工 具 ， 本 来 是 用 来 抓 取 网 站 做 离 线 浏 览 用 的 。 但 是 H T T r a c k 的 爬 虫 特 性 和 搜 索 引 擎 蜘 蛛 爬 虫 非 常 的 像 ， 这 也 逐 渐 应 用 到   S E O （ 搜 索 引 擎 优 化 ） 工 作 中 。 其 实 这 两 种 看 似 不 同 的 爬 虫 做 的 都 是 同 样 的 工 作 ， 就 是 复 制 网 站 并 存 储 下 来 （ 网 站 在 搜 索 引 擎 中 的 网 页 快 照 就 是 被 存 储 下 来 的 内 容 ） 。 一 ， 命 令 行 执 行 方 式 可 以 在 k a l i   L i n u x   里 输 入   h t t r a c k n a m e   :     输 入 你 的 项 目 名 b a s e   p a t h ：   输 入 存 储 网 站 路 径     我 存 储 的 路 径   是 t m p   里 扫 描 方 式   我 选 择 2 接 下 来 回 车 就 可 以 了   二 。 图 形 界 面 执 行 方 式 H T T r a c k   W e b s i t e   C o p i e r 界 面 如 下 图 所 示 ：  
我 们 一 般 用   H T T r a c k   W e b s i t e   C o p i e r   来 对 网 站 进 行 检 测 或 测 试 ， 模 拟 爬 虫 对 受 保 护 服 务 的 爬 行 、 抓 取 、 收 录 ， 以 来 测 试 我 们 的 防 护 设 备 对 爬 虫 的 防 护 。 2 .   H T T r a c k 工 具 使 用   第 一 步 ： 创 立 项 目 的 名 称 （ 工 程 名 ）   第 二 步 ： 选 择 操 作 方 式 ， 再 点 击 “ 添 加 U R L ” , 将 我 们 的 网 站 地 址 添 加 进 去 。 第 三 步 ： 进 入 “ 选 项 ” ， 设 定 爬 行 和 抓 取 规 则 等 选 项
在 选 项 中 ， 取 消 使 用 代 理 进 行 F T P 传 输 ；   进 入 “ 扫 描 规 则 ” ， 为 H T T r a c k 程 序 设 定 爬 行 和 抓 取 规 则 ， H T T r a c k 里 面 自 带 了 一 些 ， 可 以 自 己 设 置 ， 也 可 以 默 认 。
这 样 的 扫 描 规 则 搜 索 引 擎 也 一 定 会 有 的 ， 比 如 不 收 录 . e x e 文 件 , z i p 文 件 等 等 。 然 后 不 收 录 一 些 特 定 的 跟 踪 链 接 ，   如   a d . d o u b l e c l i c k . n e t   。 你 需 要 把 一 些 搜 索 引 擎 爬 虫 不 收 录 的 特 征 加 进 去 。   然 后 在 “ 搜 寻 ” 里 面 ， 很 多 的 特 征 都 是 现 在 搜 索 引 擎 爬 虫 的 特 征 ：
一 般 的 搜 索 引 擎 不 会 接 收 c o o k i e s ， 因 此 测 试 时 我 们 也 将 此 项 去 掉 。   第 四 步 ： 一 般 按 照 以 上 设 置 就 可 以 ， 其 他 的 默 认 就 行 。 点 击 下 一 步 ： 在 此 页 面 ， 我 们 不 用 选 择 任 何 项 ， 直 接 点 击 完 成 就 可 以 进 行 测 试 了 ， 如 下 图
  此 时 ， H T T r a c k 开 始 对 网 页 进 行 爬 行 ， 抓 取 。
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理