搜索

[12504] 2018-03-24_爬虫代理搭建与批量安装

文档创建者：s7ckTeam
浏览次数：6
最后更新：2025-01-18
2018-03-24_爬虫代理搭建与批量安装 爬 虫 代 理 搭 建 与 批 量 安 装 m a n w u 9 1   F r e e B u f   2 0 1 8 - 0 3 - 2 4 代 理 对 于 搞 爬 虫 的 都 不 会 陌 生 。 公 司 有 一 批 阿 里 云 服 务 器 用 于 分 布 式 增 量 抓 取 ， 但 对 于 一 些 封 代 理 对 于 搞 爬 虫 的 都 不 会 陌 生 。 公 司 有 一 批 阿 里 云 服 务 器 用 于 分 布 式 增 量 抓 取 ， 但 对 于 一 些 封 i p 且 只 需 进 行 一 次 全 且 只 需 进 行 一 次 全 量 抓 取 的 数 据 源 ， 或 数 据 量 级 较 小 时 ， 如 果 部 署 到 爬 虫 集 群 上 又 太 费 事 不 值 得 。 在 网 上 找 的 免 费 代 理 可 用 性 又 太 量 抓 取 的 数 据 源 ， 或 数 据 量 级 较 小 时 ， 如 果 部 署 到 爬 虫 集 群 上 又 太 费 事 不 值 得 。 在 网 上 找 的 免 费 代 理 可 用 性 又 太 低 ， 于 是 决 定 充 分 利 用 爬 虫 服 务 器 的 网 络 资 源 ， 在 上 面 搭 建 自 己 的 代 理 服 务 。 低 ， 于 是 决 定 充 分 利 用 爬 虫 服 务 器 的 网 络 资 源 ， 在 上 面 搭 建 自 己 的 代 理 服 务 。 s q u i d 搭 建 与 配 置 过 程 搭 建 与 配 置 过 程 文 中 使 用 的 服 务 器 是 c e n t o s 系 统 。 安 装 安 装 s q u i d 使 用 y u m 直 接 安 装 即 可 ， 安 装 完 成 后 配 置 文 件 在 目 录 下 。 配 置 配 置 b a s i c 认 证 认 证 不 得 不 说 现 在 网 络 上 扫 描 器 实 在 太 多 了 。 笔 者 在 一 台 机 器 上 使 用 默 认 端 口 3 1 2 8 开 启 了 s q u i d 服 务 ， 没 有 配 置 访 问 认 证 ， 测 试 结 束 后 忘 记 关 闭 s q u i d 服 务 ， 过 了 几 个 小 时 就 发 现 服 务 器 负 载 太 高 ， 查 看 日 志 ( / v a r / l o g / s q u i d / ) 发 现 是 已 经 被 人 扫 到 并 用 上 了 。 看 来 必 需 要 配 置 访 问 认 证 了 1 . 生 成 p a s s w o r d s 文 件   在 本 机 上 执 行 2 . 输 入 两 次 密 码 后 生 成 p a s s w o r d s 文 件 配 置 s q u i d 认 证   将 p a s s w o r d s 文 件 上 传 到 爬 虫 服 务 器 / e t c / s q u i d / 目 录 下 ， 编 辑 / e t c / s q u i d / s q u i d . c o n f 文 件 ， 添 加 高 匿 配 置 高 匿 配 置 s q u i d 默 认 配 置 为 透 明 代 理 ， 通 过 s q u i d 发 送 请 求 时 s q u i d 会 添 加 x - f o r w a r d e d - f o r 与 v i a 请 求 头 ， 对 方 会 发 现 你 在 使 用 代 理 ， 并 根 据 这 个 得 知 你 的 真 实 i p ， 对 于 爬 取 数 据 必 需 要 使 用 高 匿 代 理 ， 在 配 置 文 件 中 添 加 如 下 内 容 y u m   i n s t a l l   s q u i d   - y / e t c / s q u i d / #   安 装 h t p a s s w d 工 具   y u m   i n s t a l l   h t t p d - t o o l s   - y   #   生 成 p a s s w o r d s 文 件   h t p a s s w d   - c   p a s s w o r d s   a u t h o r i z e d _ u s e r   #   t e s t   m y p a s s   a u t h _ p a r a m   b a s i c   p r o g r a m   / u s r / l i b 6 4 / s q u i d / b a s i c _ n c s a _ a u t h   / e t c / s q u i d / p a s s w o r d s   a u t h _ p a r a m   b a s i c   r e a l m   p r o x y   a c l   a u t h e n t i c a t e d   p r o x y _ a u t h   R E Q U I R E D   h t t p _ a c c e s s   a l l o w   a u t h e n t i c a t e d #   H i g h   A n o n y m i t y   C o n f i g u r a t i o n v i a   o f f f o r w a r d e d _ f o r   d e l e t e r e q u e s t _ h e a d e r _ a c c e s s   F r o m   d e n y   a l l
批 量 安 装 批 量 安 装 上 面 已 经 介 绍 了 搭 建 与 配 置 s q u i d 的 步 骤 ， 下 面 介 绍 如 何 通 过 p y t h o n 批 量 安 装 。 首 先 需 要 通 过 s s h 连 接 到 服 务 器 ， 使 用 p a r a m i k o 库 可 以 通 过 s s h 连 接 到 远 程 服 务 器 ， 建 立 连 接 后 执 行 上 面 的 命 令 就 可 以 了 ， 没 什 么 可 说 的 就 直 接 贴 代 码 了 完 整 代 码 与 s q u i d . c o n f 文 件 已 上 传 到 g i t h u b ， 有 需 要 的 可 以 看 看 。 * 本 文 作 者 ： 本 文 作 者 ： m a n w u 9 1 ， 转 载 请 注 明 来 自 ， 转 载 请 注 明 来 自 F r e e B u f . C O M 阅 读 原 文 s s h   =   S S H C l i e n t ( ) s s h . s e t _ m i s s i n g _ h o s t _ k e y _ p o l i c y ( p a r a m i k o . A u t o A d d P o l i c y ( ) ) t r y :         #   1 .   建 立 s s h 连 接         s s h . c o n n e c t ( * * s e r v e r )         l o g g e r . d e b u g ( " > > >   1 .   建 立 s s h 连 接 " )         #   2 .   安 装 s q u i d         s t d i n ,   s t d o u t ,   s t d e r r   =   s s h . e x e c _ c o m m a n d ( ' y u m   i n s t a l l   s q u i d   - y ' )         i f   s t d o u t . c h a n n e l . r e c v _ e x i t _ s t a t u s ( )   = =   0 :                 l o g g e r . d e b u g ( " > > >   2 .   安 装 s q u i d 完 成 " )                 w i t h   s s h . o p e n _ s f t p ( )   a s   s e s s :                         #   3 .   添 加 认 证 账 号                         s e s s . p u t ( A U T H _ F I L E ,   ' / e t c / s q u i d / p a s s w o r d s ' )                         l o g g e r . d e b u g ( " > > >   3 .   上 传 a u t h 文 件 完 成 " )                         #   4 .   更 新 s q u i d . c o n f 配 置 文 件                         s e s s . p u t ( S Q U I D _ C O N F ,   ' / e t c / s q u i d / s q u i d . c o n f ' )                         l o g g e r . d e b u g ( " > > >   4 .   上 传 s q u i d . c o n f 完 成 " )                 #   5 .   s y s t e m c t l   s t a r t   s q u i d 启 动 服 务                 s t d o u t   =   s s h . e x e c _ c o m m a n d ( ' s y s t e m c t l   s t a r t   s q u i d ' ) [ 1 ]                 i f   s t d o u t . c h a n n e l . r e c v _ e x i t _ s t a t u s ( )   = =   0 :                         l o g g e r . d e b u g ( ' > > >   5 .   s q u i d 服 务 已 启 动 ' )                 e l s e :                         l o g g e r . e r r o r ( " s q u i d 服 务 启 动 失 败 :   "   +   ' ' . j o i n ( s t d o u t . r e a d l i n e s ( ) ) )         e l s e :                 l o g g e r . e r r o r ( " 安 装 s q u i d 失 败 ,   i p :   % s "   %   s e r v e r [ ' h o s t n a m e ' ] ) e x c e p t   E x c e p t i o n   a s   e r r :         l o g g e r . e r r o r ( ' 处 理 % s 失 败 ' ,   s e r v e r [ ' h o s t n a m e ' ] ) s s h . c l o s e ( )
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理