搜索

[25350] 2016-08-09_Python学习：urllib简介

文档创建者：s7ckTeam
浏览次数：2
最后更新：2025-01-19
2016-08-09_Python学习：urllib简介 P y t h o n   学 习 ： u r l l i b   简 介 原 创   译 者 ： o s k a 8 7 4   L i n u x 中 国   2 0 1 6 - 0 8 - 0 9 P y t h o n   3   的   u r l l i b   模 块 是 一 堆 可 以 处 理   U R L   的 组 件 集 合 。 如 果 你 有   P y t h o n   2   的 知 识 ， 那 么 你 就 会 注 意 到   P y t h o n   2   中 有   u r l l i b   和   u r l l i b 2   两 个 版 本 的 模 块 。 这 些 现 在 都 是   P y t h o n   3   的   u r l l i b   包 的 一 部 分 。 当 前 版 本 的 u r l l i b   包 括 下 面 几 部 分 ： u r l l i b . r e q u e s t u r l l i b . e r r o r u r l l i b . p a r s e u r l l i b . r e b o t p a r s e r 接 下 来 我 们 会 分 开 讨 论 除 了   u r l l i b . e r r o r   以 外 的 几 部 分 。 官 方 文 档 实 际 推 荐 你 尝 试 第 三 方 库 ，   r e q u e s t s ， 一 个 高 级 的   H T T P   客 户 端 接 口 。 然 而 我 依 然 认 为 知 道 如 何 不 依 赖 第 三 方 库 打 开   U R L   并 与 之 进 行 交 互 是 很 有 用 的 ， 而 且 这 也 可 以 帮 助 你 理 解 为 什 么   r e q u e s t s   包 是 如 此 的 流 行 。 u r l l i b . r e q u e s t u r l l i b . r e q u e s t   模 块 期 初 是 用 来 打 开 和 获 取   U R L   的 。 让 我 们 看 看 你 可 以 用 函 数   u r l o p e n   可 以 做 的 事 ： 在 这 里 我 们 包 含 了 需 要 的 模 块 ， 然 后 告 诉 它 打 开   G o o g l e   的   U R L 。 现 在 我 们 就 有 了 一 个 可 以 交 互 的   H T T P R e s p o n s e   对 象 。 我 们 要 做 的 第 一 件 事 是 调 用 方 法   g e t u r l   ， 它 会 返 回 根 据   U R L   获 取 的 资 源 。 这 可 以 让 我 们 发 现   U R L   是 否 进 行 了 重 定 向 。 1 .   > > >   i m p o r t   u r l l i b . r e q u e s t 2 .   > > >   u r l   =   u r l l i b . r e q u e s t . u r l o p e n ( ' h t t p s : / / w w w . g o o g l e . c o m / ' ) 3 .   > > >   u r l . g e t u r l ( ) 4 .   ' h t t p s : / / w w w . g o o g l e . c o m / ' 5 .   > > >   u r l . i n f o ( ) 6 .   < h t t p . c l i e n t . H T T P M e s s a g e   o b j e c t   a t   0 x 7 f d d c 2 d e 0 4 e 0 > 7 .   > > >   h e a d e r   =   u r l . i n f o ( ) 8 .   > > >   h e a d e r . a s _ s t r i n g ( ) 9 .   ( ' D a t e :   F r i ,   2 4   J u n   2 0 1 6   1 8 : 2 1 : 1 9   G M T n ' 1 0 .     ' E x p i r e s :   - 1 n ' 1 1 .     ' C a c h e - C o n t r o l :   p r i v a t e ,   m a x - a g e = 0 n ' 1 2 .     ' C o n t e n t - T y p e :   t e x t / h t m l ;   c h a r s e t = I S O - 8 8 5 9 - 1 n ' 1 3 .     ' P 3 P :   C P = " T h i s   i s   n o t   a   P 3 P   p o l i c y !   S e e   ' 1 4 .     ' h t t p s : / / w w w . g o o g l e . c o m / s u p p o r t / a c c o u n t s / a n s w e r / 1 5 1 6 5 7 ? h l = e n   f o r   m o r e   i n f o . " n ' 1 5 .     ' S e r v e r :   g w s n ' 1 6 .     ' X - X S S - P r o t e c t i o n :   1 ;   m o d e = b l o c k n ' 1 7 .     ' X - F r a m e - O p t i o n s :   S A M E O R I G I N n ' 1 8 .     ' S e t - C o o k i e :   ' 1 9 .     ' N I D = 8 0 = t Y j m y 0 J Y 6 f l s S V j 7 D P S S Z N O u q d v q K f K H D c H s P I G u 3 x F v 4 1 L v H _ J g 6 L r U s D g k P r t M 2 h m Z 3 j 9 V 7 6 p S 4 K _ c B g 7 p d w u e M Q f r 0 D F z w 3 3 S w p G e x 5 q z L k X U v U V P f e 9 g 6 9 9 Q z 4 c x 9 i p c b U 3 H K w r R Y A ;   ' 2 0 .     ' e x p i r e s = S a t ,   2 4 - D e c - 2 0 1 6   1 8 : 2 1 : 1 9   G M T ;   p a t h = / ;   d o m a i n = . g o o g l e . c o m ;   H t t p O n l y n ' 2 1 .     ' A l t e r n a t e - P r o t o c o l :   4 4 3 : q u i c n ' 2 2 .     ' A l t - S v c :   q u i c = " : 4 4 3 " ;   m a = 2 5 9 2 0 0 0 ;   v = " 3 4 , 3 3 , 3 2 , 3 1 , 3 0 , 2 9 , 2 8 , 2 7 , 2 6 , 2 5 " n ' 2 3 .     ' A c c e p t - R a n g e s :   n o n e n ' 2 4 .     ' V a r y :   A c c e p t - E n c o d i n g n ' 2 5 .     ' C o n n e c t i o n :   c l o s e n ' 2 6 .     ' n ' ) 2 7 .   > > >   u r l . g e t c o d e ( ) 2 8 .   2 0 0
接 下 来 调 用   i n f o   ， 它 会 返 回 网 页 的 元 数 据 ， 比 如 请 求 头 信 息 。 因 此 ， 我 们 可 以 将 结 果 赋 给 我 们 的   h e a d e r s   变 量 ， 然 后 调 用 它 的 方 法   a s _ s t r i n g   。 就 可 以 打 印 出 我 们 从   G o o g l e   收 到 的 头 信 息 。 你 也 可 以 通 过   g e t c o d e 得 到 网 页 的   H T T P   响 应 码 ， 当 前 情 况 下 就 是   2 0 0 ， 意 思 是 正 常 工 作 。 如 果 你 想 看 看 网 页 的   H T M L   代 码 ， 你 可 以 调 用 变 量   u r l   的 方 法   r e a d 。 我 不 准 备 再 现 这 个 过 程 ， 因 为 输 出 结 果 太 长 了 。 请 注 意   r e q u e s t   对 象 默 认 发 起   G E T   请 求 ， 除 非 你 指 定 了 它 的   d a t a   参 数 。 如 果 你 给 它 传 递 了   d a t a   参 数 ， 这 样   r e q u e s t   对 象 将 会 变 成   P O S T   请 求 。 下 载 文 件 下 载 文 件 u r l l i b   一 个 典 型 的 应 用 场 景 是 下 载 文 件 。 让 我 们 看 看 几 种 可 以 完 成 这 个 任 务 的 方 法 ： 这 个 例 子 中 我 们 打 开 一 个 保 存 在 我 的 博 客 上 的   z i p   压 缩 文 件 的   U R L 。 然 后 我 们 读 出 数 据 并 将 数 据 写 到 磁 盘 。 一 个 替 代 此 操 作 的 方 案 是 使 用   u r l r e t r i e v e   ： 方 法   u r l r e t r i e v e   会 把 网 络 对 象 拷 贝 到 本 地 文 件 。 除 非 你 在 使 用   u r l r e t r i e v e   的 第 二 个 参 数 指 定 你 要 保 存 文 件 的 路 径 ， 否 则 这 个 文 件 将 被 拷 贝 到 临 时 文 件 夹 的 随 机 命 名 的 一 个 文 件 中 。 这 个 可 以 为 你 节 省 一 步 操 作 ， 并 且 使 代 码 看 起 来 更 简 单 ： 如 你 所 见 ， 它 返 回 了 文 件 保 存 的 路 径 ， 以 及 从 请 求 得 来 的 头 信 息 。 设 置 你 的 用 户 代 理 设 置 你 的 用 户 代 理 当 你 使 用 浏 览 器 访 问 网 页 时 ， 浏 览 器 会 告 诉 网 站 它 是 谁 。 这 就 是 所 谓 的   u s e r - a g e n t   （ 用 户 代 理 ） 字 段 。 P y t h o n   的   u r l l i b   会 表 示 它 自 己 为   P y t h o n - u r l l i b / x . y   ，   其 中   x   和   y   是 你 使 用 的   P y t h o n   的 主 、 次 版 本 号 。 有 一 些 网 站 不 认 识 这 个 用 户 代 理 字 段 ， 然 后 网 站 可 能 会 有 奇 怪 的 表 现 或 者 根 本 不 能 正 常 工 作 。 辛 运 的 是 你 可 以 很 轻 松 的 设 置 你 自 己 的   u s e r - a g e n t   字 段 。 1 .   > > >   i m p o r t   u r l l i b . r e q u e s t 2 .   > > >   u r l   =   ' h t t p : / / w w w . b l o g . p y t h o n l i b r a r y . o r g / w p - c o n t e n t / u p l o a d s / 2 0 1 2 / 0 6 / w x D b V i e w e r . z i p ' 3 .   > > >   r e s p o n s e   =   u r l l i b . r e q u e s t . u r l o p e n ( u r l ) 4 .   > > >   d a t a   =   r e s p o n s e . r e a d ( ) 5 .   > > >   w i t h   o p e n ( ' / h o m e / m i k e / D e s k t o p / t e s t . z i p ' ,   ' w b ' )   a s   f o b j : 6 .   . . .           f o b j . w r i t e ( d a t a ) 7 .   . . . 1 .   > > >   i m p o r t   u r l l i b . r e q u e s t 2 .   > > >   u r l   =   ' h t t p : / / w w w . b l o g . p y t h o n l i b r a r y . o r g / w p - c o n t e n t / u p l o a d s / 2 0 1 2 / 0 6 / w x D b V i e w e r . z i p ' 3 .   > > >   t m p _ f i l e ,   h e a d e r   =   u r l l i b . r e q u e s t . u r l r e t r i e v e ( u r l ) 4 .   > > >   w i t h   o p e n ( ' / h o m e / m i k e / D e s k t o p / t e s t . z i p ' ,   ' w b ' )   a s   f o b j : 5 .   . . .           w i t h   o p e n ( t m p _ f i l e ,   ' r b ' )   a s   t m p : 6 .   . . .                   f o b j . w r i t e ( t m p . r e a d ( ) ) 1 .   > > >   i m p o r t   u r l l i b . r e q u e s t 2 .   > > >   u r l   =   ' h t t p : / / w w w . b l o g . p y t h o n l i b r a r y . o r g / w p - c o n t e n t / u p l o a d s / 2 0 1 2 / 0 6 / w x D b V i e w e r . z i p ' 3 .   > > >   u r l l i b . r e q u e s t . u r l r e t r i e v e ( u r l ,   ' / h o m e / m i k e / D e s k t o p / b l o g . z i p ' ) 4 .   ( ' / h o m e / m i k e / D e s k t o p / b l o g . z i p ' , 5 .     < h t t p . c l i e n t . H T T P M e s s a g e   o b j e c t   a t   0 x 7 f d d c 2 1 c 2 4 7 0 > ) 1 .   > > >   i m p o r t   u r l l i b . r e q u e s t 2 .   > > >   u s e r _ a g e n t   =   '   M o z i l l a / 5 . 0   ( X 1 1 ;   U b u n t u ;   L i n u x   x 8 6 _ 6 4 ;   r v : 4 7 . 0 )   G e c k o / 2 0 1 0 0 1 0 1   F i r e f o x / 4 7 . 0 ' 3 .   > > >   u r l   =   ' h t t p : / / w w w . w h a t s m y u a . c o m / ' 4 .   > > >   h e a d e r s   =   { ' U s e r - A g e n t ' :   u s e r _ a g e n t } 5 .   > > >   r e q u e s t   =   u r l l i b . r e q u e s t . R e q u e s t ( u r l ,   h e a d e r s = h e a d e r s ) 6 .   > > >   w i t h   u r l l i b . r e q u e s t . u r l o p e n ( r e q u e s t )   a s   r e s p o n s e : 7 .   . . .           w i t h   o p e n ( ' / h o m e / m d r i s c o l l / D e s k t o p / u s e r _ a g e n t . h t m l ' ,   ' w b ' )   a s   o u t : . . .                   o u t . w r i t e ( r e s p o n s e . r e a d ( ) )
这 里 设 置 我 们 的 用 户 代 理 为   M o z i l l a   F i r e F o x   ， 然 后 我 们 访 问   h t t p : / / w w w . w h a t s m y u a . c o m /   ，   它 会 告 诉 我 们 它 识 别 出 的 我 们 的   u s e r - a g e n t   字 段 。 之 后 我 们 将   u r l   和 我 们 的 头 信 息 传 给   u r l o p e n   创 建 一 个   R e q u e s t   实 例 。 最 后 我 们 保 存 这 个 结 果 。 如 果 你 打 开 这 个 结 果 ， 你 会 看 到 我 们 成 功 的 修 改 了 自 己 的   u s e r - a g e n t   字 段 。 使 用 这 段 代 码 尽 情 的 尝 试 不 同 的 值 来 看 看 它 是 如 何 改 变 的 。 u r l l i b . p a r s e u r l l i b . p a r s e   库 是 用 来 拆 分 和 组 合   U R L   字 符 串 的 标 准 接 口 。 比 如 ， 你 可 以 使 用 它 来 转 换 一 个 相 对 的   U R L   为 绝 对 的   U R L 。 让 我 们 试 试 用 它 来 转 换 一 个 包 含 查 询 的   U R L   ： 这 里 我 们 导 入 了 函 数   u r l p a r s e   ，   并 且 把 一 个 包 含 搜 索 查 询 字 串 的   d u c k d u c k g o   的   U R L   作 为 参 数 传 给 它 。 我 的 查 询 字 串 是 搜 索 关 于   “ p y t h o n   s t u b b i n g ”   的 文 章 。 如 你 所 见 ， 它 返 回 了 一 个   P a r s e R e s u l t   对 象 ， 你 可 以 用 这 个 对 象 了 解 更 多 关 于   U R L   的 信 息 。 举 个 例 子 ， 你 可 以 获 取 到 端 口 信 息 （ 本 例 中 没 有 端 口 信 息 ） 、 网 络 位 置 、 路 径 和 很 多 其 它 东 西 。 提 交 一 个 提 交 一 个   W e b   表 单 表 单 这 个 模 块 还 有 一 个 方 法   u r l e n c o d e   可 以 向   U R L   传 输 数 据 。   u r l l i b . p a r s e   的 一 个 典 型 使 用 场 景 是 提 交   W e b   表 单 。 让 我 们 通 过 搜 索 引 擎   d u c k d u c k g o   搜 索   P y t h o n   来 看 看 这 个 功 能 是 怎 么 工 作 的 。 这 个 例 子 很 直 接 。 基 本 上 我 们 是 使 用   P y t h o n   而 不 是 浏 览 器 向   d u c k d u c k g o   提 交 了 一 个 查 询 。 要 完 成 这 个 我 们 需 要 使 用   u r l e n c o d e   构 建 我 们 的 查 询 字 符 串 。 然 后 我 们 把 这 个 字 符 串 和 网 址 拼 接 成 一 个 完 整 的 正 确 U R L   ， 然 后 使 用   u r l l i b . r e q u e s t   提 交 这 个 表 单 。 最 后 我 们 就 获 取 到 了 结 果 然 后 保 存 到 磁 盘 上 。 u r l l i b . r o b o t p a r s e r r o b o t p a r s e r   模 块 是 由 一 个 单 独 的 类   R o b o t F i l e P a r s e r   构 成 的 。 这 个 类 会 回 答 诸 如 一 个 特 定 的 用 户 代 理 是 否 获 取 已 经 设 置 了   r o b o t . t x t   的 网 站 的   U R L 。   r o b o t . t x t   文 件 会 告 诉 网 络 爬 虫 或 者 机 器 人 当 前 网 站 的 那 些 部 分 是 不 允 许 被 访 问 的 。 让 我 们 看 一 个 简 单 的 例 子 ： 8 .   . . .                   o u t . w r i t e ( r e s p o n s e . r e a d ( ) ) 1 .   > > >   f r o m   u r l l i b . p a r s e   i m p o r t   u r l p a r s e 2 .   > > >   r e s u l t   =   u r l p a r s e ( ' h t t p s : / / d u c k d u c k g o . c o m / ? q = p y t h o n + s t u b b i n g & t = c a n o n i c a l & i a = q a ' ) 3 .   > > >   r e s u l t 4 .   P a r s e R e s u l t ( s c h e m e = ' h t t p s ' ,   n e t l o c = ' d u c k d u c k g o . c o m ' ,   p a t h = ' / ' ,   p a r a m s = ' ' ,   q u e r y = ' q = p y t h o n + s t u b b i n g & t = c a n o n i c a l & i a = q a ' ,   f r a g m e n t = ' ' ) 5 .   > > >   r e s u l t . n e t l o c 6 .   ' d u c k d u c k g o . c o m ' 7 .   > > >   r e s u l t . g e t u r l ( ) 8 .   ' h t t p s : / / d u c k d u c k g o . c o m / ? q = p y t h o n + s t u b b i n g & t = c a n o n i c a l & i a = q a ' 9 .   > > >   r e s u l t . p o r t 1 0 .   N o n e 1 .   > > >   i m p o r t   u r l l i b . r e q u e s t 2 .   > > >   i m p o r t   u r l l i b . p a r s e 3 .   > > >   d a t a   =   u r l l i b . p a r s e . u r l e n c o d e ( { ' q ' :   ' P y t h o n ' } ) 4 .   > > >   d a t a 5 .   ' q = P y t h o n ' 6 .   > > >   u r l   =   ' h t t p : / / d u c k d u c k g o . c o m / h t m l / ' 7 .   > > >   f u l l _ u r l   =   u r l   +   ' ? '   +   d a t a 8 .   > > >   r e s p o n s e   =   u r l l i b . r e q u e s t . u r l o p e n ( f u l l _ u r l ) 9 .   > > >   w i t h   o p e n ( ' / h o m e / m i k e / D e s k t o p / r e s u l t s . h t m l ' ,   ' w b ' )   a s   f : 1 0 .   . . .           f . w r i t e ( r e s p o n s e . r e a d ( ) ) 1 .   > > >   i m p o r t   u r l l i b . r o b o t p a r s e r 2 .   > > >   r o b o t   =   u r l l i b . r o b o t p a r s e r . R o b o t F i l e P a r s e r ( ) 3 .   > > >   r o b o t . s e t _ u r l ( ' h t t p : / / a r s t e c h n i c a . c o m / r o b o t s . t x t ' ) 4 .   N o n e 5 .   > > >   r o b o t . r e a d ( )
这 里 我 们 导 入 了   r o b o t   分 析 器 类 ， 然 后 创 建 一 个 实 例 。 然 后 我 们 给 它 传 递 一 个 表 明 网 站   r o b o t s . t x t   位 置 的   U R L   。 接 下 来 我 们 告 诉 分 析 器 来 读 取 这 个 文 件 。 完 成 后 ， 我 们 给 它 了 一 组 不 同 的   U R L   让 它 找 出 那 些 我 们 可 以 爬 取 而 那 些 不 能 爬 取 。 我 们 很 快 就 看 到 我 们 可 以 访 问 主 站 但 是 不 能 访 问   c g i - b i n   路 径 。 总 结 一 下 总 结 一 下 现 在 你 就 有 能 力 使 用   P y t h o n   的   u r l l i b   包 了 。 在 这 一 节 里 ， 我 们 学 习 了 如 何 下 载 文 件 、 提 交   W e b   表 单 、 修 改 自 己 的 用 户 代 理 以 及 访 问   r o b o t s . t x t 。   u r l l i b   还 有 一 大 堆 附 加 功 能 没 有 在 这 里 提 及 ， 比 如 网 站 身 份 认 证 。 你 可 能 会 考 虑 在 使 用   u r l l i b   进 行 身 份 认 证 之 前 切 换 到   r e q u e s t s   库 ， 因 为   r e q u e s t s   已 经 以 更 易 用 和 易 调 试 的 方 式 实 现 了 这 些 功 能 。 我 同 时 也 希 望 提 醒 你   P y t h o n   已 经 通 过   h t t p . c o o k i e s   模 块 支 持   C o o k i e s   了 ， 虽 然 在   r e q u e s t   包 里 也 很 好 的 封 装 了 这 个 功 能 。 你 应 该 可 能 考 虑 同 时 试 试 两 个 来 决 定 那 个 最 适 合 你 。 v i a :   h t t p : / / w w w . b l o g . p y t h o n l i b r a r y . o r g / 2 0 1 6 / 0 6 / 2 8 / p y t h o n - 1 0 1 - a n - i n t r o - t o - u r l l i b / 作 者 ： M i k e [ 1 ]   译 者 ： E z i o [ 2 ]   校 对 ： w x y [ 3 ] 本 文 由   L C T T [ 4 ]   原 创 翻 译 ， L i n u x 中 国 [ 5 ]   荣 誉 推 出 [ 1 ] :   h t t p : / / w w w . b l o g . p y t h o n l i b r a r y . o r g / a u t h o r / m l d / [ 2 ] :   h t t p s : / / g i t h u b . c o m / o s k a 8 7 4 [ 3 ] :   h t t p s : / / g i t h u b . c o m / w x y [ 4 ] :   h t t p s : / / g i t h u b . c o m / L C T T / T r a n s l a t e P r o j e c t [ 5 ] :   h t t p s : / / l i n u x . c n / 推 荐 文 章 推 荐 文 章 点 击 标 题 或 输 入 文 章   I D   直 达 该 文 章 6 .   N o n e 7 .   > > >   r o b o t . c a n _ f e t c h ( ' * ' ,   ' h t t p : / / a r s t e c h n i c a . c o m / ' ) 8 .   T r u e 9 .   > > >   r o b o t . c a n _ f e t c h ( ' * ' ,   ' h t t p : / / a r s t e c h n i c a . c o m / c g i - b i n / ' ) 1 0 .   F a l s e
将 文 章 分 享 给 朋 友 是 对 我 们 最 好 的 赞 赏 ！ 阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

使用Markdown编辑器编辑 使用富文本编辑器编辑

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理