搜索

[18494] 2019-10-25_Python实战抓取京东SRC安全技术文章自动化生成Word文档

文档创建者：s7ckTeam
浏览次数：22
最后更新：2025-01-18
2019-10-25_Python实战抓取京东SRC安全技术文章自动化生成Word文档 P y t h o n 实 战   |   抓 取 京 东 S R C 安 全 技 术 文 章 自 动 化 生 成 W o r d 文 档 原 创   z g a o   H A C K 学 习 呀   2 0 1 9 - 1 0 - 2 5 平 时 关 注 的 S R C 公 众 号 挺 多 的 ， 不 过 发 现 经 常 发 安 全 技 术 文 章 的 S R C 也 就 那 么 几 家 ， 像 A S R C 和 J S R C 这 些 大 厂 的 S R C 确 实 对 安 全 足 够 重 视 而 且 经 常 发 一 些 原 创 的 技 术 文 章 供 白 帽 子 们 学 习 ， 真 的 很 赞 。 我 特 别 喜 欢 J S R C ， 因 为 他 们 还 会 定 期 采 访 J S R C 的 白 帽 们 ， 分 享 他 们 的 技 术 成 长 之 路 。 每 次 看 完 我 觉 得 都 能 从 各 位 表 哥 和 师 傅 身 上 学 到 很 多 东 西 ， 这 也 逐 渐 成 为 了 我 成 长 的 一 部 分 。 因 为 经 常 看 公 众 号 上 的 文 章 ， 而 且 公 众 号 上 的 很 多 历 史 文 章 都 写 的 非 常 棒 。 但 是 每 次 都 要 翻 很 久 ， 觉 得 很 麻 烦 。 所 以 就 萌 发 了 把 J S R C 公 众 号 上 的 文 章 全 部 抓 取 下 来 的 想 法 ， 并 把 一 些 优 秀 的 文 章 打 印 出 来 慢 慢 品 味 。 而 且 最 棒 的 是 J S R C 的 文 章 有 单 独 的 运 营 平 台 ， 而 不 是 全 在 微 信 上 的 ， 这 样 抓 取 也 变 得 更 容 易 了 。 在 公 众 号 上 找 文 章 合 辑 的 入 口 ， 打 开 是 J S R C 所 有 的 历 史 文 章 分 类 ， 但 这 个 不 是 微 信 里 的 历 史 文 章 。 好 像 这 是 一 个 微 信 公 众 号 历 史 消 息 智 能 管 理 工 具 的 平 台 ， 反 正 能 看 到 所 有 文 章 就 是 了 。
所 以 我 的 想 法 就 是 直 接 抓 取 这 个 平 台 上 的 文 章 ， 这 上 面 的 文 章 链 接 还 是 微 信 的 ， 不 过 这 不 影 响 我 们 抓 取 。 同 样 打 开 开 发 者 工 具 查 看 请 求 信 息 ， 因 为 往 下 拉 的 时 候 会 继 续 加 载 后 面 的 文 章 但 页 面 并 没 有 刷 新 ， 所 以 我 猜 多 半 都 是 a j a x 请 求 拿 数 据 ， 然 后 再 用 J S 渲 染 生 成 的 页 面 。
看 到 是 返 回 的 j s o n 格 式 的 数 据 ， 感 觉 就 相 当 容 易 了 。 我 直 接 p o s t 页 数 过 去 就 能 拿 到 所 有 链 接 。 而 且 这 个 平 台 也 没 做 什 么 反 爬 ， s o e a s y 。 同 样 脚 本 实 现 也 很 简 单 。 代 码 如 下 ： 这 里 我 的 想 法 是 先 把 所 有 的 文 章 标 题 和 链 接 写 入 到 一 个 文 本 文 件 中 ， 之 后 再 统 一 请 求 文 章 内 容 。 那 么 接 下 来 要 做 的 就 是 遍 历 所 有 文 章 链 接 抓 取 内 容 了 。 我 们 先 分 析 微 信 文 章 的 大 致 结 构 。 这 里 我 们 以 c h 1 s t 表 哥 分 享 的 成 长 经 历 文 章 为 例 。 d e f   g e t _ x v l i n k ( ) :         f   =   o p e n ( ' v x l i n k . t x t ' , ' a ' )         f o r   i   i n   r a n g e ( 1 , 2 3 ) :                 r   =   r e q u e s t s . g e t ( ' h t t p s : / / w w w . m p x i a o m i . n e t / m e n u / a r t i c l e s / ? p a g e = { } & a m p ; m e n u I d = 4 1 7 5 & a m p ; s o r t I d = - 1 ' . f o r m a t ( s t r ( i ) ) )                 i n f o   =   j s o n . l o a d s ( r . t e x t ) [ ' a r t i c l e s ' ]                 p r i n t ( ' 正 在 抓 取 第 { } 页 的 链 接 ' . f o r m a t ( s t r ( i ) ) )                 f o r   i   i n   i n f o :                         f . w r i t e ( i [ ' t i t l e ' ] +   ' & a m p ; & a m p ; & a m p ; & a m p ; & a m p ; ' + i [ ' l i n k ' ] + ' n ' )         f . c l o s e ( )
在 E l e m e n t s 面 板 中 ， 找 到 该 标 签 复 制 他 的 x p a t h 。 这 样 思 路 就 大 概 确 定 了 ， 只 抓 取 文 章 中 文 字 内 容 。 以 往 我 都 是 用 r e q u e s t s + B e a u t i f u l s o u p 来 抓 取 内 容 。 不 过 这 次 打 算 换 个 办 法 ， 采 用 r e q u e s t s 作 者 的 一 款 新 的 开 源 库 r e q u e s t s - h t m l 。 算 是 r e q u e s t s 升 级 版 了 ， 极 力 推 荐 大 家 。 这 是 r e q u e s t s - h t m l 官 方 的 介 绍 全 面 支 持 解 析 J a v a S c r i p t ! C S S   选 择 器   ( j Q u e r y 风 格 ,   感 谢 P y Q u e r y ) . X P a t h   选 择 器 ,   f o r   t h e   f a i n t   a t   h e a r t . 自 定 义 u s e r - a g e n t   ( 就 像 一 个 真 正 的 w e b 浏 览 器 ) . 自 动 追 踪 重 定 向 . 连 接 池 与 c o o k i e 持 久 化 . 令 人 欣 喜 的 请 求 体 验 ， 魔 法 般 的 解 析 页 面 . 又 减 少 了 我 很 多 的 代 码 量 。 d e f   g e t _ c o n t e n t ( u r l ) :         t e x t   =   ' '         r   =   s e s s i o n . g e t ( u r l , h e a d e r s = h e a d e r s )         p   =   r . h t m l . x p a t h ( ' / / * [ @ i d = " j s _ c o n t e n t " ] ' , f i r s t = T r u e ) . t e x t . s p l i t ( ' n ' )         p   =   [ i   f o r   i   i n   p   i f   i   ! = ' ' ]         f o r   i   i n   p :                 i f   l e n ( i )   & l t ;   2 0 :                         t e x t   + =   i                 e l s e :                         t e x t   + =   i + ' n '         r e t u r n   t e x t
由 于 我 只 要 文 本 内 容 ， 那 么 问 题 就 得 极 为 简 单 ， 直 接 调 用 . t e x t 方 法 即 可 得 到 该 标 签 中 的 所 有 文 本 内 容 ， 简 直 不 要 太 方 便 。 但 是 这 有 个 问 题 ， 空 行 实 在 太 多 ！ 因 为 我 是 想 用 代 码 将 他 们 自 动 生 成 w o r d 文 档 用 于 打 印 。 所 以 要 去 掉 空 行 以 及 把 一 些 字 数 很 短 的 合 为 一 行 ， 节 省 空 间 。 分 享 一 下 我 的 思 路 ， 我 上 面 是 用 了 s p l i t 方 法 ， 以 n 作 为 分 隔 符 ， 将 其 变 为 一 个 列 表 ， 再 用 一 个 列 表 推 导 式 去 除 空 串 即 可 。 至 于 怎 么 合 并 短 的 字 符 串 呢 ？ 用 f o r 循 环 遍 历 整 个 列 表 ， 凡 是 字 数 小 于 2 0 的 一 行 就 与 下 一 行 合 并 ， 以 此 类 推 。 现 在 文 章 的 内 容 已 经 处 理 完 了 。 接 下 来 就 是 如 何 自 动 生 成 W o r d 文 档 了 。 这 里 我 是 用 的 P y t h o n - d o c x 这 个 处 理 w o r d 文 档 的 库 来 解 决 的 。 这 里 我 就 直 接 展 示 代 码 了 。
先 定 义 一 个 文 档 对 象 ， 因 为 没 有 那 么 多 花 里 胡 哨 的 要 求 ， 我 只 需 要 把 页 边 距 调 小 些 ， 这 样 一 页 就 可 以 容 纳 更 多 的 文 字 内 容 ， 打 印 的 时 候 也 能 省 些 钱 。 接 下 来 就 可 以 开 始 批 量 抓 取 了 。 当 然 这 里 为 了 避 免 一 些 不 清 楚 的 异 常 发 生 ， 我 还 是 定 义 了 一 个 捕 获 异 常 的 装 饰 器 函 数 。 类 似 于 这 种 ， 文 章 中 只 有 一 张 图 片 的 ， 没 有 文 字 内 容 就 会 引 发 报 错 ， 反 正 这 种 也 不 用 管 ， 完 整 代 码 如 下 ， 感 兴 趣 的 小 伙 伴 也 可 以 把 脚 本 跑 来 玩 一 玩 。 d e f   g e n e r a t e _ w o r d ( t i t l e , t e x t ) :         d o c u m e n t   =   D o c u m e n t ( )   # 定 义 一 个 文 档 对 象         s e c t i o n s   =   d o c u m e n t . s e c t i o n s         f o r   s e c t i o n   i n   s e c t i o n s :   # 调 整 页 边 距                 s e c t i o n . t o p _ m a r g i n   =   C m ( 0 )                 s e c t i o n . b o t t o m _ m a r g i n   =   C m ( 0 )                 s e c t i o n . l e f t _ m a r g i n   =   C m ( 1 )                 s e c t i o n . r i g h t _ m a r g i n   =   C m ( 1 )         d o c u m e n t . a d d _ h e a d i n g ( t i t l e )   # 写 入 标 题         d o c u m e n t . a d d _ p a r a g r a p h ( t e x t )   # 写 入 文 章 内 容         d o c u m e n t . s a v e ( t i t l e + ' . d o c x ' )         p r i n t ( ' 文 章 ' + t i t l e + ' w o r d 文 档 生 成 完 毕 ！ ' ) i m p o r t   o s i m p o r t   j s o n i m p o r t   r e q u e s t s i m p o r t   t r a c e b a c k f r o m   d o c x   i m p o r t   D o c u m e n t f r o m   d o c x . s h a r e d   i m p o r t   C m f r o m   r e q u e s t s _ h t m l   i m p o r t   H T M L S e s s i o n h e a d e r s   =   { ' u s e r - a g e n t ' :   ' M o z i l l a / 5 . 0   ( W i n d o w s   N T   1 0 . 0 ;   W i n 6 4 ;   x 6 4 )   A p p l e W e b K i t / 5 3 7 . 3 6   ( K H T M L ,   l i k e   G e c k o )   C h r o m e / 7 7 . 0 . 3 8 6 5 . 1 2 0   S a f a r i / 5 3 7 . 3 6 ' s e s s i o n   =   H T M L S e s s i o n ( ) d e f   g e t _ e x c e p t i o n ( f u n c ) :         d e f   n e w ( * a r g s , * * k w a r g s ) :                 t r y :                         r e t u r n   f u n c ( * a r g s , * * k w a r g s )                 e x c e p t   E x c e p t i o n   a s   e :                         p r i n t ( ' 代 码 报 错 已 忽 略 请 自 行 d e b u g ， 错 误 信 息 为 : n ' , t r a c e b a c k . p r i n t _ e x c ( ) )         r e t u r n   n e w @ g e t _ e x c e p t i o n d e f   g e n e r a t e _ w o r d ( t i t l e , t e x t ) :         d o c u m e n t   =   D o c u m e n t ( )         s e c t i o n s   =   d o c u m e n t . s e c t i o n s         f o r   s e c t i o n   i n   s e c t i o n s :                 s e c t i o n . t o p _ m a r g i n   =   C m ( 0 )                 s e c t i o n . b o t t o m _ m a r g i n   =   C m ( 0 )                 s e c t i o n . l e f t _ m a r g i n   =   C m ( 1 )
我 就 直 接 扔 我 服 务 器 跑 就 行 了 ， 然 后 把 文 章 打 包 下 载 到 本 地 。                 s e c t i o n . l e f t _ m a r g i n   =   C m ( 1 )                 s e c t i o n . r i g h t _ m a r g i n   =   C m ( 1 )         d o c u m e n t . a d d _ h e a d i n g ( t i t l e )         d o c u m e n t . a d d _ p a r a g r a p h ( t e x t )         d o c u m e n t . s a v e ( t i t l e + ' . d o c x ' )         p r i n t ( ' 文 章 ' + t i t l e + ' w o r d 文 档 生 成 完 毕 ！ ' ) @ g e t _ e x c e p t i o n d e f   g e t _ c o n t e n t ( u r l ) :         t e x t   =   ' '         r   =   s e s s i o n . g e t ( u r l , h e a d e r s = h e a d e r s )         p   =   r . h t m l . x p a t h ( ' / / * [ @ i d = " j s _ c o n t e n t " ] ' , f i r s t = T r u e ) . t e x t . s p l i t ( ' n ' )         p   =   [ i   f o r   i   i n   p   i f   i   ! = ' ' ]         f o r   i   i n   p :                 i f   l e n ( i )   <   2 0 :                         t e x t   + =   i                 e l s e :                         t e x t   + =   i + ' n '         r e t u r n   t e x t @ g e t _ e x c e p t i o n d e f   g e t _ x v l i n k ( ) :         f   =   o p e n ( ' v x l i n k . t x t ' , ' a ' )         f o r   i   i n   r a n g e ( 1 , 2 3 ) :                 r   =   r e q u e s t s . g e t ( ' h t t p s : / / w w w . m p x i a o m i . n e t / m e n u / a r t i c l e s / ? p a g e = { } & m e n u I d = 4 1 7 5 & s o r t I d = - 1 ' . f o r m a t ( s t r ( i ) ) )                 i n f o   =   j s o n . l o a d s ( r . t e x t ) [ ' a r t i c l e s ' ]                 p r i n t ( ' 正 在 抓 取 第 { } 页 的 链 接 ' . f o r m a t ( s t r ( i ) ) )                 f o r   i   i n   i n f o :                         f . w r i t e ( i [ ' t i t l e ' ] +   ' & & & & & ' + i [ ' l i n k ' ] + ' n ' )         f . c l o s e ( ) d e f   c h e c k _ p a t h ( ) :         p a t h   =   ' . / J S R C 文 章 合 辑 '         i f   n o t   o s . p a t h . e x i s t s ( p a t h ) :   o s . m k d i r ( p a t h )         o s . c h d i r ( p a t h ) d e f   m a i n ( ) :         i f   n o t   o s . p a t h . e x i s t s ( ' v x l i n k . t x t ' ) :                 g e t _ x v l i n k ( )         w i t h   o p e n ( ' v x l i n k . t x t ' , ' r ' ) a s   f :                 u r l s   =   f . r e a d l i n e s ( )         f o r   u r l   i n   u r l s :                 ( t i t l e , u r l )   =   u r l . s p l i t ( ' & & & & & ' )                 t e x t   =   g e t _ c o n t e n t ( u r l )                 g e n e r a t e _ w o r d ( t i t l e , t e x t ) i f   _ _ n a m e _ _   = =   ' _ _ m a i n _ _ ' :         c h e c k _ p a t h ( )         m a i n ( )
这 里 是 我 打 包 好 的 文 章 合 辑 ， 全 是 原 创 技 术 文 章 ， J S R C 太 棒 了 ！ 大 家 可 以 点 这 里 下 载 。 J S R C 文 章 合 辑 文 章 合 辑 . z i p 下 载 地 址 ： 下 载 地 址 ： 链 接 链 接 : h t t p s : / / p a n . b a i d u . c o m / s / 1 K Y 0 x M m h 7 w S E 6 8 q i i T G K c G A     密 码 密 码 : t l 3 d 这 就 很 n i c e 了 ， W o r d 文 档 打 开 类 似 这 样 ， 排 版 很 紧 凑 主 要 是 我 方 便 打 印 。
把 师 傅 们 的 文 章 拿 去 打 印 出 来 ， 慢 慢 品 味 。 看 师 傅 们 是 如 何 成 长 的 ， 同 时 也 是 帮 助 自 己 成 长 ， 虽 然 我 现 在 还 不 怎 么 会 挖 洞 ， 但 我 不 断 沉 淀 ， 我 相 信 会 变 得 更 优 秀 的 。 推 荐 阅 读 推 荐 阅 读 网 络 安 全 - 思 维 导 图 集 合 h t t p s : / / g i t h u b . c o m / S e c W i k i / s e c - c h a r t 这 个 项 目 上 的 思 维 导 图 非 常 详 细 ， 推 荐 下 载 回 来 细 细 品 味 原 创 投 稿 作 者 ： z g a o 点 击 阅 读 原 文 ， 即 可 跳 转 至 原 文 地 址
阅 读 原 文
回复

举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud. 商业源码建议获取授权，如侵犯您的权益，请联系客服处理